객체 주변 랜덤 샘플링을 이용한 단안 카메라 기반 3D 객체 검출 방법

다국어 초록 (Multilingual Abstract)

Despite the significant benefits of low cost and scalability associated with monocular 3D object detection, accurately estimating depth from a single 2D image remains challenging due to the typical ill-posed nature of the problem. To address this issue, we propose a new method that improves depth estimation accuracy by randomly sampling object-wise points instead of relying on a single center point, which is a common practice in conventional methods. To generate the object-wise multiple reference points, we create a sampling space and obtain the ground truth by moving them from the sampling space to the object space. For this reason, the proposed approach is named ODD-M3D, which stands for Object-wise Dense Depth estimation for Monocular 3D object detection. In addition, we conduct an ablation study comparing LiDAR-guided and random sampling methods to identify the limitations of using point cloud data for image-based 3D object detection tasks. The proposed network achieved better performance by allowing for dense depth estimation instead of sparse depth estimation, which is typical in conventional networks.

국문 초록 (Abstract)

단안 카메라 기반 3D Object Detection task는 오직 카메라 한 대만을 사용하기 때문에 저비용 및 확장성과 같은 상당한 이점을 가지고 있다. 그럼에도 불구하고, 2D 이미지에서 깊이를 정확하게 추정하는 것은 일반적으로 불명확하기 때문에 도전적이다. 이 문제를 해결하기 위해, 우리는 기존 방법에서 일반적으로 사용되는 단일 중심점 대신 Object별로 점들을 무작위로 샘플링하여 깊이 추정 정확도를 향상시키는 새로운 방법을 제안한다. 우선, Object별 여러 Reference point들을 생성하기 위해 임의의 샘플링 공간을 만들고, 이를 샘플링 공간에서 객체 공간으로 이동하여 Reference point들의 Ground Truth 값들을 얻는다. 이러한 이유로, 제안된 방법은 단안 3D Object Detection을 위한 Object-wise Dense Depth Estimation이 가능하고 이를 ODD-M3D으로 명명한다. 또한, 우리는 LiDAR로 얻은 Point Cloud Data를 사용하여 제안하는 Object-wise Dense Depth Estimation과 비교 실험을 수행하였고, 이미지 기반 3D Object Detection에서는 제한 사항이 있다는 것을 밝혔다. 제안된 네트워크는 기존 네트워크에서 희소한 깊이 측정 대신 밀집한 깊이 측정이 가능하여 더 나은 성능을 달성했다.

목차 (Table of Contents)

• 제 1 장 서론 1
• 1.1 연구 배경 2
• 1.2 연구 내용 6
• 1.3 논문 구성 7
• 제 2 장 배경 이론 8
• 2.1 추가적인 데이터를 활용하지 않는 방법 9
• 2.2 추가적인 데이터를 활용한 방법 11
• 2.3 Pseudo LiDAR 를 활용한 방법 13
• 제 3 장 객체 주변 랜덤 샘플링을 활용한 단안 카메라 기반 3D 객체 검출 방법 15
• 3.1 사전 연구 16
• 3.2 제안하는 네트워크 17
• 3.3 Ground Truth Reference Points 생성 19
• 3.4 Reference Point Depth Estimation Branch (RefDEB) 22
• 3.5 LiDAR 기반 샘플링 방법 25
• 제 4 장 실험결과 27
• 4.1 실험 환경 28
• 4.2 정량적 평가 30
• 4.3 정성적 평가 33
• 4.4 Ablation Study 34
• 제 5 장 결론 38
• 5.1 결론 39
• 참고문헌 40
• 국문초록 50
• Abstract 52