자발적/인위적 웃음 표정 분류를 위한 시공간적 특징 기반 기계학습 모델 연구 = A study on temporal-spatial feature based machine learning model for spontaneous/posed smile facial expression classification

다국어 초록 (Multilingual Abstract)

Facial expression has been studied in many fields such as psychology, emotion engineering, and forensic science because it is a representative indicator of a human's psychological state. Over the last 40 years, studies on the difference between spontaneous and posed facial expressions have been actively studied, and it is known that spontaneous smile and posed smile are expressed by different motor cortex through clinical studies. For this reason, movement of orbicularis oculi in posed smile is less than spontaneous smile and facial asymmetry of facial muscles movement is stronger. In this paper, we propose a temporal-spatial score level fusion model that classifies spontaneous smile and posed smile by learning the temporal-spatial differences. The proposed model is based on the temporal convolutional network, which learns the facial muscle movements. Also, the model is based on the temporal facial symmetry feature, which is computed by a new facial symmetry measurement algorithm. These feature and model are new approach not used in previous studies. Experimental data were obtained for 115 adults. posed smile were taken through verbal commands, and spontaneous smile were taken through stimulus video to induce the spontaneous smile of the subject. A total of 902 spontaneous and posed smiles were captured and divided into 36,730 temporal-spatial data. The temporal-spatial data consisted of 18,443 spontaneous smiles and 18,287 posed smiles. In the proposed temporal-spatial feature-based score level fusion model, the score values of four classifiers are fused using support vector machine(SVM). The first classifier calculates the score value by learning spatial features of a single frame. The second classifier calculates the score value by inputting the temporal facial symmetry feature. The third and fourth classifiers calculate the score value by learning facial muscle movements features for 1 second, which is the results of optical flow in image sequences of the upper and lower faces, respectively. A total of four classifiers were trained with 85% of the total data and the performance was measured with the remaining 15% of the test data. The training data and the test data are composed of the experimenters who do not overlap with each other, so that the generalized performance measurement is made possible. Experimental results show that the accuracy of the temporal-spatial score level fusion model is 86.22%.

Keyword : facial expression, spontaneous facial expression, posed facial expression, machine learning, temporal-spatial feature, score level fusion model, temporal convolutional network

국문 초록 (Abstract)

얼굴 표정은 사람이 자신의 감정을 표현하는 대표적인 수단으로써 심리학, 감성공학, 법과학 등 많은 분야에서 연구되어져왔다. 이러한 연구 중 자발적 표정과 인위적 표정의 차이에 대한 연구는 지난 40년부터 지금까지 활발하게 연구되어져 왔다. 또한, 많은 임상 연구를 통해 자발적 웃음과 인위적 웃음은 서로 다른 뇌의 운동 피질에 의해 조절되는 것으로 알려져 있다. 이로 인해 인위적 표정의 경우 눈 주위의 안륜근(orbicularis oculi)의 움직임이 자발적 표정보다 적고 표정 변화에서 얼굴의 비대칭이 더 강하게 나타나는 것으로 연구되어왔다. 본 논문에서는 이러한 자발적 웃음과 인위적 웃음의 시공간적 특징의 차이를 학습하여 자발적 웃음과 인위적 웃음을 분류하는 시공간적 특징 기반 기계학습 모델을 제안한다. 제안하는 모델은 temporal convolutional network를 통해 학습되는 얼굴 근육 움직임 특징과 시계열 얼굴 대칭 특징 데이터와 같이 기존 연구에서 사용되지 않았던 특징을 학습하여 분류를 시도한다. 실험 데이터는 성인 115명을 대상으로 취득되었으며 인위적 웃음은 언어적 명령을 통해, 자발적 웃음은 자극 영상을 통해 실험자의 웃음을 자연스럽게 유도하여 촬영되었다. 촬영 결과, 총 902번의 자발적 및 인위적 웃음이 측정되었고 학습을 위해 총 36,730개의 시계열 데이터로 분할되었다. 분할된 데이터는 자발적인 웃음 18,443개 그리고 인위적 웃음 18,287개로 구성되었다. 제안하는 시공간적 특징 기반 기계학습 모델은 총 4개의 분류기의 점수를 SVM(support vector machine)의 입력으로 사용해 fusion 한다. 첫 번째 분류기는 단일프레임의 공간적 특징을 입력 받아 점수를 계산한다. 두 번째 분류기는 얼굴의 대칭성 측정 알고리즘을 통해 산출된 시계열 얼굴 대칭 특징을 입력 받아 점수를 계산한다. 세 번째 및 네 번째 분류기는 각각 얼굴의 상부, 하부의 연속된 이미지 시퀀스 30장의 optical flow를 수행한 결과를 학습함으로써 1초 동안의 얼굴의 근육 움직임을 특징으로 점수를 산출한다. 총 4개의 분류기는 총 데이터 중 85%에 해당하는 학습 데이터로 학습되어졌으며 나머지 15%의 테스트 데이터로 성능이 측정 되었다. 학습 데이터와 테스트 데이터는 서로 중복되지 않는 실험자의 데이터로 구성되어 일반화된 성능 측정이 가능하도록 하였다. 그 결과, 시공간적 특징 기반 기계학습 모델의 성능 측정 결과 86.22%의 정확도가 측정되었다.

주요어: 얼굴 표정, 자발적 얼굴 표정, 인위적 얼굴 표정, 머신 러닝, 시공간적 특징, score level fusion model, temporal convolutional network

목차 (Table of Contents)

• 차 례
• 차례 ⅰ
• 표 차례 ⅱ
• 그림 차례 ⅲ
• 국문 요약 ⅳ
• 1. 서론 1
• 1.1. 연구 배경 1
• 1.1.1. 자발적/인위적 표정의 공간적 차이 3
• 1.1.2. 자발적/인위적 웃음의 얼굴 비대칭 특징 및 시공간적 차이 5
• 1.2. 연구 목적 8
• 2. 관련 연구 9
• 3. 연구 방법 12
• 3.1. 실험 환경 12
• 3.2. 데이터 전처리 과정 16
• 3.2.1. 자발적/인위적 웃는 표정 검출 16
• 3.2.2. 얼굴 정렬 및 영상 사이즈 조절 17
• 3.2.3. 학습을 위한 시공간적 데이터베이스 구축 18
• 3.3. 공간적 특징 기반 분류 20
• 3.3.1. HOG를 사용한 공간적 특징 추출 20
• 3.3.2. PCA를 사용한 차원감소 수행 22
• 3.3.3. SVM기반 성능 측정 23
• 3.4. 시계열 얼굴 대칭성 특징 기반 분류 24
• 3.4.1. 얼굴 대칭성 측정 알고리즘 개발 24
• 3.4.2. 자발적/인위적 웃음 분류 시 얼굴 대칭성 특징이 가지는 유의성 확인 28
• 3.4.3. SVM기반 성능 측정 32
• 3.5. Temporal convolutional network 분류모델 33
• 3.5.1. Optical flow를 사용한 데이터 전처리 34
• 3.5.2. Temporal convolutional network의 구조 36
• 3.5.3. Temporal convolutional network의 성능 측정 결과 38
• 4. 실험 결과 39
• 4.1. 단일 분류 모델들의 성능 측정 결과 및 비교 39
• 4.2. 최종 score level fusion 모델의 성능 측정 결과 40
• 5. 결론 42
• 참고문헌 43
• ABSTRACT 48