MVTec AD 벤치마크에서의 비지도 이상치 탐지 모델 비교 분석 = Comparative Analysis of Unsupervised Anomaly Detection Models on the MVTec AD Benchmark

국문 초록 (Abstract)

기존 비지도 이상 탐지 벤치마크는 임계값 의존 지표의 데이터 누수, 라이브러리 기본값 의존, 모델별 전처리 미통제로 인해 공정한 비교가 어렵다. 본 연구는 이를 보완하고자 분포 모델링(PaDiM), 메모리 뱅크 기반 검색(PatchCore), 지식 증류(EfficientAD)를 기존 보고 결과가 풍부한 MVTec AD에서 지표별 평가 프로토콜에 따라 비교하였다. 임계값 비의존 지표(Image AUROC, Pixel AUROC, Pixel AUPRO)는 공식 테스트 세트 전체에서, 임계값 의존 지표(Image F1, Pixel F1)는 보정 20%와 평가 80%로 분리하여 산출하였다. 모든 지표는 Anomalib의 기본 평가 로직에 의존하지 않고 독립 산출 스크립트로 계산하였으며 15개 카테고리와 5개 시드 반복 실험을 수행하고, LMM(Linear Mixed Model)을 주 검정, Wilcoxon Signed-rank test를 강건성 검사로 사용하며 Holm-Bonferroni 보정을 적용하였다. PatchCore는 세 임계값 비의존 지표에서 가장 높은 성능을 보였으나, Pixel F1에서는 EfficientAD(0.6188)가 PatchCore(0.4786)를 14.02%p 상회하며 통계적으로 유의한 순위 역전이 관찰되었다. 이는 순위 변별 능력과 특정 운영점의 픽셀 분할 성능이 일치하지 않을 수 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

Existing unsupervised anomaly detection benchmarks hinder fair comparison due to data leakage in threshold-dependent metrics, reliance on library defaults, and uncontrolled model-specific preprocessing. To address this, we evaluated three representative paradigms, distribution modeling (PaDiM), memory-bank retrieval (PatchCore), and knowledge distillation (EfficientAD), on MVTec AD, chosen for its extensive prior results, using metric-specific protocols and independent calculation scripts instead of Anomalib defaults. Threshold-independent metrics (Image/Pixel AUROC, Pixel AUPRO) were computed on the full test set, while threshold-dependent metrics (Image/Pixel F1) utilized a 20:80 calibration-evaluation split. Across 15 categories and 5 random seeds, statistical significance was validated using a Linear Mixed Model (LMM) as the primary test and a Wilcoxon Signed-rank test with Holm-Bonferroni correction as a robustness check. Although PatchCore dominated the threshold-independent metrics, a statistically significant rank reversal occurred in Pixel F1, where EfficientAD (0.6188) outperformed PatchCore (0.4786) by 14.02 percentage points. This demonstrates that ranking discriminability does not necessarily align with pixel segmentation performance at specific operating points.