TSDF prediction based probabilistic data fusion for dense 3D reconstruction and tracking
To realize an unknown environment for a mobile agent into virtual environment, 3D reconstruction is required after data acquisition from a sensor. In this dissertation, I propose a tracking method for estimating pose of a sensor, and a 3D reconstruction method for modeling objects or scenes by data fusion based on the estimated poses.
There are various ways to represent objects or scenes for 3D reconstruction, such as point-based or voxel-based method. Among these methods, 3D reconstruction using TSDF representation is advantageous in that sensor noise is reduced through TSDF fusion, and dense surfaces can be directly extracted from the accumulated 3D TSDF voxels.
However, even if TSDF representation is exploited, two fundamental problems remain in real applications. The first one is a scalability issue that occurs when the number of data increases to estimate camera pose, and the second one is a sensor application issue caused by inherent drawbacks of depth and RGB camera.
First, I propose a camera selection method using overlapping camera clustering to resolve the scalability problem. I define camera similarity considering geodesic distance and overlap constraint between two cameras, and perform overlapping camera clustering using the similarity. With overlapping cameras, I additionally select key cameras considering curvature of point clouds. Since only the data of selected cameras is used in 3D reconstruction, execution time and cumulative error can be reduced.
Second, I propose two methods to directly predict 3D geometry from an RGB image using deep learning to resolve the limitations of sensor. The first method predicts TSDF directly, which is more efficient in terms of computation and time than a method of estimating depth and converting it to TSDF. Moreover, since TSDF information can be used in aligning two data, more accurate and robust pose estimation is achievable. The second method is to estimate depth and uncertainty together from a single RGB image. I utilize Bayesian deep learning to capture uncertainty of prediction, and perform probabilistic TSDF fusion using the uncertainty. As a result, a global TSDF robust to noise or outlier of the depth prediction can be obtained.
Experiments were conducted on the dataset collected in indoor environment and official datasets (NYU-Depth-v2, Microsoft 7-scenes, and ICL-NUIM dataset) and the proposed methods were compared with existing methods. Experimental results showed that the scalability problem of 3D reconstruction can be resolved through efficient and robust point cloud matching using camera selection. Also, 3D reconstruction robust to noise and outlier was performed by the other proposed methods, while compensating for scale-ambiguity and sparse reconstruction issues with RGB images.
모바일 에이전트가 주변 환경을 가상 환경 속에 구현하기 위해서는 센서를 통하여 데이터를 얻은 후, 물체 또는 환경을 모델링하는 3차원 복원 (3D reconstruction) 기술이 필수적이라 할 수 있다. 본 논문에서는 센서의 위치를 추정하는 경로 추적 방법과 함께 추정된 위치를 기반으로 데이터를 융합하여 물체 및 환경을 모델링하는 3차원 복원 방법에 대해 다룬다.
물체 및 환경 복원을 위한 표현 방법으로는 포인트 기반 표현법 또는 복셀 기반 표현법 등 다양한 방법이 존재한다. 이 중에서 TSDF (Truncated Signed Distance Function)를 이용하여 3차원 복원 결과를 표현하는 방법은 TSDF 융합 (TSDF fusion)을 통해 노이즈를 줄이며, 조밀한 물체 표면을 바로 추출할 수 있다는 장점을 갖고 있다.
그러나 TSDF 기반의 표현 방법을 사용하더라도 실제 적용에 있어서 근본적인 두 가지 문제가 존재한다. 첫 번째는 3차원 데이터의 개수가 많아지게 되면 발생하는 데이터 확장성 문제이며, 두 번째는 깊이 카메라 (depth camera)와 RGB 카메라의 단점으로 인한 센서 확장성 문제이다.
첫 번째로 데이터 확장성 문제를 해결하기 위해 본 논문에서는 중첩되는 카메라 클러스터링을 이용한 카메라 선택 방법을 제안한다. 두 카메라 사이의 측지 거리 (geodesic distance)와 중첩 제한 (overlap constraint)을 고려하여 카메라의 유사도를 정의하고, 이를 이용하여 중첩 카메라 클러스터링 (overlapping camera clustering)을 수행한다. 그리고 클러스터링 간의 중첩되는 카메라와 함께 포인트 클라우드 (point cloud)의 곡률을 고려한 핵심 카메라 (key camera)를 추가로 선택한다. 3차원 복원 시 선택된 카메라 데이터만을 이용하므로 수행 시간과 누적 오차를 줄일 수 있다.
두 번째로 센서의 확장성 문제를 해결하기 위해 딥러닝을 이용하여 RGB 이미지로부터 3차원 데이터를 바로 예측하는 두 방법을 제안한다. 첫 번째 방법은 TSDF를 바로 예측하기 때문에 깊이를 추정하고 이를 TSDF를 변환하는 것보다 시간 및 계산 측면에서 효율적이며, 또한 두 데이터를 정합시키는 과정에서 TSDF 정보를 이용할 수 있으므로, 더 정확하고 강인한 위치 추정이 가능하다. 두 번째 방법은 RGB 이미지로부터 깊이와 불확실성을 함께 추정하는 방법이다. 베이지안 딥러닝을 이용하여 깊이 예측에 대한 불확실성을 함께 추정하고, 추정한 불확실성을 이용하여 확률론적 TSDF 융합을 수행한다. 그 결과 깊이 예측의 노이즈나 이상점에 강인한 광역 TSDF (global TSDF)가 얻어질 수 있다.
실내 환경에서 수집한 데이터와 공인된 데이터 셋 (NYU-Depth-v2, Microsoft 7-scenes, and ICL-NUIM dataset)을 통하여 실험을 수행하고 기존 방법과 비교하였다. 실험을 통해 카메라 선택 방법을 이용한 효율적이면서도 강인한 포인트 클라우드 정합 과정을 통해 3차원 복원의 확장성 문제를 해결할 수 있음을 확인하였다. 또한, 제안한 방법을 이용하여 RGB 이미지 이용 시 스케일 문제 및 조밀하지 않은 3차원 복원 문제를 보완하면서도, 노이즈나 이상점에 강인한 3차원 복원을 수행하였다.
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)