Informativeness-Aware Layer Freezing and Sample Replay for Efficient Online Continual Object Detection = 정보성 인지 계층 동결 및 샘플 리플레이 기반 온라인 지속 객체 탐지

국문 초록 (Abstract)

현대의 객체 탐지기는 드론이나 로봇과 같은 플랫폼에 탑재되어 새로운 클래스와 변화하는 도메인에 지속적으로 적응해야 하며, 이는 매우 제한된 연산 및 메모리 예산 내에서 이루어져야 한다. 이러한 지속 학습을 효율적으로 달성하기 위해서는 모델의 파라미터와 데이터 모두에서 '정보성(informativeness)'이 높은 신호만을 선택적으로 학습하는 것이 핵심이다. 그러나 기존의 지속 학습 기반 객체 탐지 기법들은 모든 레이어를 동일하게 업데이트하여 이미 포화된 표현에 불필요한 연산을 낭비하거나, 추가적인 추론 과정을 요구하는 고비용 샘플 선택 기법에 의존하는 한계를 보인다. 본 연구에서는 이러한 문제를 해결하기 위해, 레이어 프리징과 주파수-손실 기반 샘플 리플레이를 하나의 비용 효율적 목표로 통합한 정보성 기반 지속 객체 탐지 프레임워크를 제안한다. 제안하는 방법에서는 각 학습 단계마다 정보 대비 연산량이 가장 높은 레이어만을 선택적으로 업데이트하며, 동시에 샘플 사용 빈도와 EMA(Exponential Moving Average) 기반 탐지 손실을 결합한 확률적 샘플러를 통해 덜 학습된(hard-but-under-trained) 샘플을 우선적으로 재학습한다. 이를 통해 연산 및 메모리 자원이 학습에 가장 정보성이 높은 부분에 집중되며, 불필요한 계산 낭비 없이 빠른 적응이 가능하다. 제안된 방법은 총 저장 용량을 명시적으로 제한한 프로토콜 하에서 VOC, MS-COCO(Class-Incremental Learning), SHIFT(Domain-Incremental Learning) 벤치마크에서 YOLO 및 DETR 기반 탐지기를 대상으로 검증되었다. 그 결과, 제안한 전략은 최대 39%의 훈련 TFLOPs 절감과 함께 평균 정밀도(AP)의 향상 및 클래 스/도메인 전반의 안정성 향상을 달성하였으며, 정보성을 중심으로 한 효율적인 온라인 지속 객체 탐지의 새로운 통합 원리를 제시한다.

다국어 초록 (Multilingual Abstract)

Modern object detectors deployed on drones and robots must continually adapt to new classes and changing domains under tight computational and memory budgets. Achieving continual adaptation efficiently requires learning only from informative signals in parameters and in data. Yet existing continual detection approaches either update all layers uniformly, wasting compute on saturated representations, or rely on costly sample-selection heuristics that demand extra inference. Thus, we present an informativeness-aware continual object detection framework that unifies layer freezing and frequency-loss guided sample replay into a single cost-efficient objective. At each step, we selectively updates only the layers predicted to yield the highest information per computation while probabilistic sampler prioritizes hard-but-under-trained samples by combining sample usage frequency and exponential-moving-average updated detection loss. This joint design ensures that both computation and memory are allocated to the most informative components of learning, enabling detectors to adapt rapidly without unnecessary cost. Our method consistently outperforms existing baselines on VOC, MS-COCO (Class-Incremental Learning) and SHIFT (Domain-Incremental Learning) benchmarks using YOLO- and DETR-style detectors. The proposed strategy achieves up to 39% reductions in training FLOPs with improved average precision and enhanced stability across class and domain shifts, establishing informativeness as a unifying principle for computationally and memory-efficient online continual object detection.