교차 어텐션 퓨전 기반의 멀티스펙트럴 객체 검출 = Multispectral Object Detection based on Cross-Attention Fusion

국문 초록 (Abstract)

본 논문에서는 나이트 비전을 위한 RGB/IR 영상 기반의 멀티스펙트럴 객체 검출 모델을 소개하고자 한다. 기존의 멀티스펙트럴 객체 검출 모델의 퓨전 방식은 연결 계층을 통해서 단순히 RGB와 IR 특징을 스택으로 쌓는 방식을 취하고 있다. 그러나 이 퓨전 방식은 RGB와 IR 영상의 특징을 상호보완하도록 설계되어 있지 않다. 따라서 본 연구에서는 RGB/IR 특징 정보를 상호교환하여 특징의 구별력을 강화할 수 있는 교차 어텐션 퓨전 모듈을 새롭게 제안하고자 한다. 실험 결과를 통해, 제안한 멀티스펙트럴 객체 검출 모델이 기존의 단일 객체 검출 모델과 멀티스펙트럴 객체 검출 모델보다 정량적 평가인 AP 수치에서 더 우수한 성능을 달성할 수 있었다. 또한 애블레이션 실험을 통해, 제안한 교차 어텐션 퓨전 모듈이 AP 성능을 0.02로 향상할 수 있음을 확인하였다.

다국어 초록 (Multilingual Abstract)

In this paper, we would like to introduce a multispectral object detection model based on RGB/IR images for night vision. The fusion method of the existing multispectral object detection model simply stacks RGB and IR features through a connection layer. However, this fusion method is not designed to complement the characteristics of RGB and IR images. Therefore, in this study, we would like to propose a new cross-attention fusion module that can strengthen the distinguishing power of features by mutually exchanging RGB/IR feature information. Through experimental results, the proposed multispectral object detection model is able to achieve better performance in AP quantitative evaluation than the existing single object detection model and multispectral object detection model. Additionally, through ablation experiments, it is confirmed that the proposed cross-attention fusion module can improve AP performance to 0.02.

참고문헌 (Reference)

• 1 J. Redmon, "You only look once: Unified, realtime object detection" 2016
• 2 Z. Ge, "YOLOX: Exceeding Yolo series in 2021, arXiv:2107.08430"
• 3 A. Newell, "Stacked hourglass networks for human pose estimation" 483-499, 2016
• 4 C. -H. Son, "Rain removal via shrinkage of sparse codes and learned rain dictionary" 1-6, 2016
• 5 L. Tang, "Piafusion : A progressive infrared and visible image fusion network based on illumination aware" 83-84 : 79-92, 2022
• 6 X. Zhou, "Objects as points, arXiv:1904.07850v2 [cs.CV]"
• 7 M. Lin, "Network in Network, arXiv preprint arXive:1312.4400"
• 8 C. H. Son, "Near-infrared fusion via color regularization for haze and color distortion removals" 28 (28): 3111-3126, 2018
• 9 J. Liu, "Multispectral deep neural networks for pedestrian detection" 73.1-73.13, 2016
• 10 C. Li, "Illumination-aware faster RCNN for robust multispectral pedestrian detection" 85 : 161-171, 2019
• 11 T. -Y. Lin, "Focal loss for dense object detection" 2980-2988, 2017
• 12 S. Ren, "Faster R-CNN : Towards real-time object detection with region proposal networks" 39 (39): 1137-1149, 2017
• 13 M. Tan, "EfficientDet : Scalable and efficient object detection" 10781-10790, 2020
• 14 A. Loza, "Automatic contrast enhancement of low-light images based on local statistics of wavelet coefficients" 3553-3556, 2010
• 15 D. P. Kingma, "Adam : A method for stochastic optimization" 2015