네트워크 공격 유형별 임계값 최적화를 통한 침입 탐지 비용 최소화에 대한 연구 = A Study on Minimizing Intrusion Detection Cost via Per-Class Threshold Optimization based on Network Attack Types

국문 초록 (Abstract)

지능형 지속 위협(APT)과 대용량 DDoS 공격의 증가로 머신러닝 기반 침입 탐지 시스템의 중요성이 강조되고 있으나, 기존 연구는 대부분 단순 탐지 정확도 향상에만 주력해 왔다. 그러나 실제 보안 관제 환경에서는 공격을 탐지하지 못해 발생하는 미탐(False Negative) 비용이 오탐(False Positive) 비용보다 압도적으로 높은 비대칭적 비용 구조를 가진다. 본 연구는 획일적인 분류 임계값(0.5)을 사용하는 기존 방식이 이러한 리스크를 반영하지 못해 총 운영 비용을 증가시킴을 지적하고, 이를 해결하기 위해 XGBoost 기반의 비용 민감형(Cost-Sensitive) 임계값 최적화 기법을 제안한다. 실무적 환경을 고려하여 미탐과 오탐의 비용 비율을 10:1로 정의하고, CIC-IDS2018 데이터셋을 대상으로 실험을 수행하였다. 실험 결과, 전체 트래픽에 대한 단일 최적 임계값은 0.08로 도출되어 기존 0.5 기준의 비효율성을 입증하였으나, 0.08보다 더 낮은 확률로 발생하는 교묘한 공격은 놓치거나 0.08보다 높은 확률을 가진 정상 트래픽을 과도하게 차단하는 구조적 모순이 발생하였다. 이에 본 연구가 제안한 공격 유형별 동적 임계값(Per-Class Thresholding) 전략을 적용한 결과, 베이스라인인 Random Forest 대비 약 29.1%의 총 운영 비용 절감 효과를 달성하였고, 최적화되지 못했던 DDoS attack-LOIC-UDP(33%)와 DDoS attack-LOIC-HTTP(24.6%) 공격에 대해 유의미한 방어 효율성 향상을 입증하였다.

다국어 초록 (Multilingual Abstract)

With the rise of Advanced Persistent Threats (APTs) and large-scale DDoS attacks, the importance of machine learning–based intrusion detection systems has been increasingly emphasized. However, most prior studies have focused primarily on improving simple detection accuracy. In real-world security operations, however, the cost of failing to detect an attack (False Negative) is overwhelmingly higher than the cost of raising a false alarm (False Positive), resulting in a highly asymmetric cost structure. This study points out that conventional approaches using a uniform classification threshold (0.5) do not reflect such risk asymmetry and consequently increase the total operational cost. To address this, we propose an XGBoost-based cost-sensitive threshold optimization method. Considering practical operational environments, the cost ratio between false negatives and false positives is defined as 10:1, and experiments are conducted on the CIC-IDS2018 dataset. Experimental results show that the single optimal threshold for the overall traffic is derived as 0.08, demonstrating the inefficiency of the conventional 0.5 threshold. However, a structural contradiction emerges: sophisticated attacks that occur with probabilities lower than 0.08 may be missed, while benign traffic with predicted probabilities higher than 0.08 may be excessively blocked. To resolve this, we apply the proposed per-class dynamic thresholding (Per-Class Thresholding) strategy. As a result, compared to the baseline Random Forest, we achieve approximately a 29.1% reduction in total operational cost and demonstrate meaningful improvements in defense effectiveness for previously under-optimized attacks, including DDoS attack-LOIC-UDP(33%) and DDoS attack-LOIC-HTTP(24.6%).