VLM 기반 이미지 품질 평가를 활용한 RGB-Thermal 융합 객체 탐지 모델 = An RGB-Thermal Fusion Object Detection Model Using VLM-Based Image Quality Assessment

국문 초록 (Abstract)

객체 탐지는 자율주행, 산업 안전, 감시 시스템 등 다양한 응용 분야에서 핵심 기술로 활용되고 있다. 그러나 RGB 기반 객체 탐지 모델은 저조도나 강한 광원 등 시각적 제약 환경에서 성능이 급격히 저하된다. 이를 보완하기 위해 Thermal 이미지를 활용한 멀티모달 기반 객체 탐지 방법이 활발하게 연구되고 있으며 특히 특징 수준 융합 방법은 계산 효율성과 구조적 유연성 측면에서 주목받고 있다. 하지만 주의 메커니즘 기반 융합 방법은 모달리티 간 품질 차이를 정량적으로 반영하지 못한다는 한계를 가진다.
본 연구에서는 이러한 한계를 극복하기 위해 사전 학습된 Vision Language Model(VLM)을 활용하여 RGB 및 Thermal 이미지의 품질을 정량화하고 이를 특징 융합 과정에서 모달리티별 동적 가중치로 반영하는 RGB-Thermal 객체 탐지 모델을 제안한다. 제안 모델은 EfficientDet을 기반으로 Bi-directional Feature Pyramid Network(BiFPN)을 통해 다중 스케일 특징을 융합하며 Convolutional Block Attention Module(CBAM)을 적용하여 유의미한 특징을 강조한다. VLM 기반 품질 평가는 프롬프트 실험을 통해 안정적인 응답을 보이는 프롬프트를 선정하여 수행하였으며 산출된 품질 점수는 단일 모달리티 기반 성능과 높은 일관성을 보여 신뢰성을 입증하였다. 또한 품질 점수와 함께 출력된 텍스트 설명을 활용하여 평가 결과의 해석 가능성과 오류 분석 기반을 제공하였다. VLM 기반 품질 점수 분석 결과 Thermal 이미지는 조도가 낮거나 빛 반사가 심한 조건에서 상대적으로 높은 품질 점수를 보였으며 RGB 이미지는 조도가 높고 복잡하지 않은 환경에서 높은 점수를 나타냈다.
성능 검증은 FLIR, M3FD, 그리고 전통시장 화재 탐지를 위해 구축한 Market 데이터셋을 활용하여 진행하였다. 실험 결과, 제안 모델은 FLIR 데이터셋에서 mAP@0.5 기준 86.4%를 기록하여 Scene-adaptive 융합 모델 대비 +0.3%p 향상되었으며, Bicycle과 같은 조도 변화에 민감한 객체에서 가장 큰 성능 개선을 보였다. Market 데이터셋에서는 RGB-only 대비 +27.9%p, Thermal-only 대비 +5.0%p 향상되었으며, 동일 구조에서 품질 가중치를 적용하지 않은 경우 대비 +1.8%p 향상되어 제안 방법의 효과성을 입증하였다. M3FD 데이터셋은 모달리티 품질 차이가 크지 않아 전반적으로 기존 모델과 유사한 성능을 보였으나, 모달리티 간 성능 차이가 있는 lamp에서 개선 효과가 확인되었다. 정성적 분석에서는 객체가 중첩된 상황, 반사광, 소형 객체 등 복잡한 장면에서도 제안 방법이 안정적으로 탐지함을 확인하였다.
본 연구는 VLM 기반 품질 평가 점수를 활용한 동적 가중치 융합 방법을 통해 멀티모달 객체 탐지의 성능을 향상할 수 있음을 입증하였다. 향후 연구에서는 Thermal 데이터로 VLM을 파인튜닝하여 도메인 특화 품질 평가 능력을 향상시키고 다양한 융합 구조에 제안 방법을 적용하여 범용성과 확장 가능성을 검증할 예정이다.

다국어 초록 (Multilingual Abstract)

Object detection is a core technology in computer vision with applications in autonomous driving, industrial safety, and surveillance systems. While RGB-based detection models perform well under standard lighting conditions, their accuracy degrades significantly in low-light or high-glare environments. To address these limitations, multimodal object detection methods that incorporate thermal image have been extensively studied, with feature-level fusion gaining attention for its balance of computational efficiency and structural flexibility. Nevertheless, attention-based fusion approaches fail to quantitatively account for modality-specific quality variations, leading to degraded detection performance when the quality of one modality deteriorates.
To overcome this limitation, this study proposes an RGB-Thermal object detection model that leverages a pre-trained Vision-Language Model (VLM) to quantify the quality of each modality and apply dynamic weights during the feature fusion process. The proposed architecture is based on EfficientDet, utilizing a Bi-directional Feature Pyramid Network (BiFPN) for multi-scale feature integration and incorporating a Convolutional Block Attention Module (CBAM) to enhance discriminative feature representation. VLM-based image quality assessment was performed using carefully designed prompt experiments to ensure response stability, and the derived quality scores exhibited strong consistency with single-modality performance, validating their reliability. Additionally, textual explanations accompanying the scores were employed to enhance interpretability and support error analysis.
The model was evaluated using the FLIR and M3FD datasets, as well as the Market dataset, which was constructed for fire detection in traditional market environments. Experimental results demonstrated that the proposed model achieved an mAP@0.5 of 86.4% on FLIR, outperforming the Scene-adaptive fusion model by +0.3%p and showing the largest improvement for objects sensitive to illumination changes, such as bicycle. On the Market dataset, the proposed method achieved a +27.9%p gain over RGB-only and a +5.0%p gain over Thermal-only models, as well as a +1.8%p improvement over the non-weighted fusion variant, validating the effectiveness of quality-aware dynamic weighting. For M3FD, where modality quality differences were relatively small, the proposed model performed comparably to the baseline but achieved notable improvement for lamp, which exhibited modality-specific quality variation.
This study demonstrates that incorporating VLM-based quality scores into feature-level fusion can effectively enhance multimodal object detection performance. Future research will explore domain-specific fine-tuning of VLMs using thermal data to improve image quality assessment accuracy and investigate the applicability of the proposed approach to diverse fusion architectures for improved scalability and generalization in real-world environments.

목차 (Table of Contents)

• I. 서론 1
• II. 이론적 배경 4
• 1. RGB, Thermal 이미지 기반 객체 탐지 4
• 2. 멀티모달 이미지 융합 방법 5
• 1) 픽셀 수준 융합 6
• 2) 특징 수준 융합 6
• 3) 결정 수준 융합 8
• 3. Vision Language Model 8
• 1) VLM 을 활용한 객체 탐지 연구 9
• 2) VLM 기반 이미지 품질 평가 연구 10
• 4. 객체 탐지 모델 10
• 1) EfficientDet 11
• 5. CNN 기반 Attention 기법 13
• 1) Convolution Block Attention Mechanism 14
• 6. RGB-X 베이스라인 모델 15
• III. 연구 방법 17
• 1. 제안 모델 17
• 1) VLM 기반 이미지 품질 평가 18
• 2) RGB-Thermal 융합 모듈 22
• 2. 데이터셋 23
• 3. 성능 평가 지표 27
• IV. 실험 및 결과분석 29
• 1. 실험 환경 29
• 2. 실험 방법 29
• 3. 실험 결과 31
• 1) VLM 기반 품질 평가 결과 31
• 2) 객체 탐지 성능 36
• 3) 정성적 결과 40
• V. 결론 및 향후 연구 44
• 참고 문헌 46
• Abstract 51