노이즈 데이터 세트에서 강인한 표정 인식을 위한 Noise Suppression Variance Loss = Noise Suppression Variance Loss for Robust Facial Expression Recognition on Noisy Datasets

국문 초록 (Abstract)

표정 인식 (Facial Expression Recognition, FER) 이란 인간의 얼굴에 묘사된 표정을 기반으로 감정을 분류하는 것을 목표로 하는 컴퓨터 비전 작업으로 최근 개인 맞춤형 사업 및 콘텐츠의 발전으로 인해 활발한 연구가 진행되고 있는분야이다. 하지만 FER 모델을 연구하기 위해 만들어진 FER 데이터 세트들은 주석자의 주관성과 모호한 이미지들로 인해 본질적으로 데이터 자체에 노이즈가 존재한다. 그렇기에 본 논문에서는 노이즈 데이터 세트에 있는 노이즈 문제점을 해결하기 위한 Noise Suppression Variance Loss(NSV Loss) 를 제안한다.
NSV Loss 는 기존 Cross Entropy Loss 를 대체하여 사용할 수 있는 손실 함수로 예측값 벡터의 분산을 활용하여 노이즈 데이터일 가능성이 큰 데이터는 손실 가중치를 낮추어 학습을 억제하고, 어려워하는 데이터는 손실 가중치를 높여 더 집중해서 학습할 수 있게 만들어 준다.
제안하는 손실 함수의 성능을 알아보기 위해 기존 Cross Entropy Loss 와의 광범위한 비교 실험을 수행하여 노이즈를 억제하고 각 감정에 대해 더 잘 학습함을 보이며, 아주 단순한 네트워크 구조를 가지고 평가한 본 논문 모델의 성능이 복잡한 구조를 가지는 최신 대형 FER 모델들과 비교해도 경쟁력 있는 성능이라는 것을 확인한다. 또한 NSV Loss 는 기존의 FER 노이즈를 해결하려는 연구들과 다르게 여러 분기의 네트워크를 사용하지 않아도 되고, 학습 중인 레이블을 다시 설정하지 않으며, 모델의 구조를 변경하지 않고도 적용할 수 있으므로 적응성이 뛰어나다는 것을 보일 것이다. 마지막으로 FER 데이터 세트가 아닌 일반 Noise label 이미지 데이터 세트에서도 성능 향상을 보임으로써 제안하는 손실 함수의 일반화 능력과 분류하는 클래스 수가 늘어나도 노이즈를 잘 억제하며 학습할 수 있음을 보일 것이다.

다국어 초록 (Multilingual Abstract)

Facial Expression Recognition(FER) is a computer vision task aimed at classifying emotions based on facial expressions. Due to recent advancements in personalized services, FER has gained significant research interest. However, FER datasets often contain noise from annotator subjectivity and ambiguous images. To address this, we propose the Noise Suppression Variance Loss(NSV Loss).
NSV Loss, which can replace the conventional Cross Entropy Loss, utilizes the variance of predicted value vectors to assign lower loss weights to potentially noisy data and higher weights to hard data, improving learning focus.
Our extensive comparative experiments show that NSV Loss effectively suppresses noise and enhances emotion classification performance. Despite its simple network architecture, our model performs competitively with state-of-the-art FER models with more complex structures.
Unlike other FER noise reduction methods, NSV Loss does not require multiple network branches, re-labeling during training, or modifications to the model architecture, demonstrating its adaptability.
Additionally, NSV Loss improves performance on general noisy image datasets, indicating its generalization capability and effectiveness in handling noise across various classification tasks.

목차 (Table of Contents)

• 요약ⅰ
• 표목차ⅲ
• 그림목차iv
• I. 서 론 1
• II. 관련 연구 4
• 2.1. CNN 4
• 2.2. ResNet 5
• 2.3 IR 6
• 2.4 FER데이터 세트의 노이즈를 다루기 위한 기존 연구 7
• III. 제안하는 손실 함수 10
• 3.1 Noise Suppression Variance Loss 10
• 3.2 제안하는 손실 함수에 대한 정성적 분석 12
• IV. 실험 및 결과 18
• 4.1 실험에 사용한 데이터 세트 18
• 4.2 실험에 사용한 모델의 네트워크 구조 20
• 4.3 실험에 사용한 모델의 하이퍼파라미터 및 옵티마이저 20
• 4.4 NSV Loss 와 기존 CE Loss와의 성능 비교 및 분석 21
• 4.5 NSV Loss 를 사용한 모델과 최신 연구와의 결과 비교 및 분석 22
• 4.6 NSV Loss와 CE Loss를 사용해 학습한 모델의 t-SNE 및 실루엣 계수 비교 24
• 4.7 Noisy RAF-DB에 대한 NSV Loss 평가 28
• 4.8 Noisy label CIFAR 데이터 세트에 대한 NSV Loss 평가 29
• V. 결 론 33
• 참고문헌 34
• 영문초록(Abstract) 39
• 감사의글