연속적 과거 정보를 활용한비디오 기반 객체 탐지 성능 향상 기법 = Techniques for Improving Video-based Object Detection Performance using Continuous Past Information

국문 초록 (Abstract)

최근 딥러닝 기반 단일 이미지를 활용한 객체 탐지 기술의 활발한 연구가 이루어지고 있다. 하지만, 단일 이미지는 연속적인 영상에 비해 활용할 수 있는 정보의 양이 적기 때문에, 단일 이미지만을 활용한 객체 탐지는 여러 한계점을 가진다. 이에 본 논문은 단일 이미지에서 얻을 수 없는 연속적인 영상 정보를 활용하여 비디오 기반 객체 탐지 성능 향상 기법을 제안한다. 1) RAS (Re-Assess Score) 모듈 기반 과거 탐지 정보를 활용한 탐지 점수 재평가 기법. 2) AT (Adaptive Template Matching) 모듈을 이용한 미검출 보완 기법. 3) LV (Label Voting) 모듈을 이용한 오분류 보완 기법. 제안하는 3가지 기법을 통해, 단일 이미지에서 쉽게 발생할 수 있는 오분류 및 미검출 문제를 개선할 수 있으며 전반적인 탐지 성능을 개선할 수 있다. 제안 방법은 어떠한 객체 탐지 모델에도 적용할 수 있는 플러그인 형태의 추적 기반 모듈로, CNN 계열 탐지 모델인 YOLOX와 Transformer 계열 탐지 모델인 RT-DETRv2 모델을 공개 데이터셋인 FLIR-ADAS-V2에 적용하여 평가하였다. 그 결과, YOLOX 및 RT-DETR 탐지 단독 모델 대비 mean Average Precision (mAP) 기준 각 1.4%, 3.6% 성능 향상을 확인했다. 또한, 자체적으로 구축한 데이터셋에서도 제안 기법의 강건함을 증명함으로써 일반화 성능을 검증했다.

다국어 초록 (Multilingual Abstract)

Recent research on deep learning-based object detection using single images has been actively studied. However, since single images offer less usable information compared to continuous video, object detection relying solely on single images has several limitations. This paper proposes techniques to enhance video-based object detection performance by continuous video information that cannot be obtained from single images. Specifically, we introduce three methods: 1) Re-Assess Score (RAS) module for re-assess scores based on past information, 2) Adaptive Template Matching (AT) module for supplementing missed detection, and 3) Label Voting (LV) module for correcting mis-classification. These proposed techniques aim to improve not only the issues of mis-classification and missed detection that can arise from single images but also the overall detection performance. The methods proposed in this paper designed as a plug-in tracking-based module that can be applied to any State-of-the-Art (SOTA) object detection model. Experiments were conducted with the CNN-based YOLOX and the Transformer-based RT-DETRv2 models, resulting in an increase of 1.4% and 3.6% in mAP (Mean Average Precision) compared to the existing results using only single images. In addition, the generalization performance was validated on a self-constructed dataset to demonstrated the robustness of the proposed method.