MLOps를 위한 효율적인 AI 모델 드리프트 탐지방안 연구 = A Study on Efficient AI Model Drift Detection Methods for MLOps

국문 초록 (Abstract)

오늘날 AI(Artificial Intelligence) 기술이 발전하면서 실용성이 증가함에 따라 실생활 속 다양한 응용 분야에서 널리 활용되고 있다.
이때 AI Model은 기본적으로 학습 데이터의 다양한 통계적 속성을 기반으로 학습된 후 시스템에 배포되지만, 급변하는 데이터의 상황 속 예상치 못한 데이터의 변화는 모델의 성능저하를 유발한다. 특히 보안 분야에서 끊임없이 생성되는 새로운 공격과 알려지지않은 공격에 대응하기 위해서는 배포된 모델의 Drift Signal을 찾는 것이 중요해짐에 따라 모델 전체의 Lifecycle 관리 필요성이 점차대두되고 있다. 일반적으로 모델의 정확도 및 오류율(Loss)의 성능변화를 통해 탐지할 수 있지만, 모델 예측 결과에 대한 실제 라벨이필요한 점에서 사용 환경의 제약이 존재하며, 실제 드리프트가 발생한 지점의 탐지가 불확실한 단점이 있다. 그 이유는 모델의 오류율의 경우 다양한 외부 환경적 요인, 모델의 선택과 그에 따른 파라미터 설정, 그리고 새로운 입력데이터에 따라 크게 영향을 받기에해당 값만을 기반으로 데이터의 실질적인 드리프트 발생 시점을 정밀하게 판단하는 것은 한계가 존재하게 된다. 따라서 본 논문에서는 XAI(eXplainable Artificial Intelligence) 기반 Anomaly 분석기법을 통해 실질적인 드리프트가 발생한 시점을 탐지하는 방안을 제안한다. DGA(Domain Generation Algorithm)를 탐지하는 분류모델을 대상으로 시험한 결과, 배포된 이후 데이터의 SHAP(Shapley Additive exPlanations) Value를 통해 Anomaly score를 추출하였고, 그 결과 효율적인 드리프트 시점탐지가 가능함을 확인하였다.

다국어 초록 (Multilingual Abstract)

Today, as AI (Artificial Intelligence) technology develops and its practicality increases, it is widely used in various application fields in real life. At this time, the AI model is basically learned based on various statistical properties of the learning data and then distributed to the system, but unexpected changes in the data in a rapidly changing data situation cause a decrease in the model's performance. In particular, as it becomes important to find drift signals of deployed models in order to respond to new and unknown attacks that are constantly created in the security field, the need for lifecycle management of the entire model is gradually emerging.
In general, it can be detected through performance changes in the model's accuracy and error rate (loss), but there are limitations in the usage environment in that an actual label for the model prediction result is required, and the detection of the point where the actual drift occurs is uncertain. there is. This is because the model's error rate is greatly influenced by various external environmental factors, model selection and parameter settings, and new input data, so it is necessary to precisely determine when actual drift in the data occurs based only on the corresponding value. There are limits to this. Therefore, this paper proposes a method to detect when actual drift occurs through an Anomaly analysis technique based on XAI (eXplainable Artificial Intelligence). As a result of testing a classification model that detects DGA (Domain Generation Algorithm), anomaly scores were extracted through the SHAP(Shapley Additive exPlanations) Value of the data after distribution, and as a result, it was confirmed that efficient drift point detection was possible.

참고문헌 (Reference)

• 1 John, M. M, "Towards mlops: A framework and maturity model" IEEE 1-8, 2021
• 2 Ola Spjuth, "The machine learning life cycle and the cloud: implications for drug discovery" Informa UK Limited 16 (16): 1071-1079, 2021
• 3 Daniel Vela, "Temporal quality degradation in AI models" Springer Science and Business Media LLC 12 (12): 2022
• 4 Tamburri, D. A., "Sustainable mlops: Trends and challenges" IEEE 17-23, 2020
• 5 Scott M. Lundberg, "From local explanations to global understanding with explainable AI for trees" Springer Science and Business Media LLC 2 (2): 56-67, 2020
• 6 Firas Bayram, "From concept drift to model degradation: An overview on performance-aware drift detectors" Elsevier BV 245 : 108632-, 2022
• 7 Bhatt, U, "Explainable machine learning in deployment" 648-657, 2020
• 8 Xu, F, "Explainable AI: A brief survey on history, research areas, approaches and challenges" Springer International Publishing 563-574, 2019
• 9 Iqbal H. Sarker, "Cybersecurity data science: an overview from machine learning perspective" Springer Science and Business Media LLC 7 (7): 2020
• 10 Darem, A. A, "An adaptive behavioral-based incremental batch learning malware variants detection model using concept drift detection and sequential deep learning" 9 : 97180-97196, 2021
• 11 Lundberg, S. M., "Advances in neural information processing systems, 30" 2017