Face localization for face recognition in video = 동영상에서 얼굴인식을 위한 얼굴 영역 검출에 관한 연구

국문 초록 (Abstract)

동영상에서 움직이는 인간을 검출하고 얼굴인식에 적합한 좋은 품질의 얼굴 영상을 취득하는 일은 동영상기반 얼굴인식 응용분야의 전단계로서 매우 중요한 부분이다. 본 논문에서는 실생활 환경에서 실시간으로 응용이 가능한 빠르고 신뢰할 수 있는 인간과 얼굴 검출 기법을 제안하고자 한다.
본 논문에서는 실제 응용 가능한 분야에 초점을 맞추어 시스템 환경을 제한하였다. 1) 얼굴 검출 범위는 정면 얼굴에 국한하였고, 2) 인식 대상자가 인식과정에 대해서 협조적이라는 가정을 두었으며, 협조의 정도는 인식대상자가 카메라를 의식하고 카메라 쪽으로 다가와 인식을 위해 잠시 멈추는 정도로 하였다. 그리고 마지막으로 3) 실제 환경에서 응용 가능하기 위해서 시스템은 두 명 이상의 사람이 움직이는 복잡한 실내 환경에서 실시간으로 처리 가능해야 한다는 조건을 부여하였다.
논문에서는 우선, 정지영상 기반의 빠르면서 신뢰할 수 있는 얼굴 검출 기법이 소개되었다. 변형된 평활화 기법에 기반한 조명의 영향에 강인하면서 빠른 눈 영역 추출 방법을 제안하여 얼굴 탐색을 위한 탐색 공간을 눈일 가능성이 있는 영역으로만 제한시켰다. 각각의 눈 후보 영역은 실제 인간의 눈 모양에의 근접성을 평가 받는데 이를 위해 다층 신경망 구조가 제안되었다. 그리고 그 결과는 두 개의 눈 후보 영역들이 쌍을 이루어 같은 얼굴의 한 쌍의 눈일 가능성을 평가할 때 포함되어 사용되었다. 가장 가능성이 높은 후보 영역 순으로 검증이 이루어졌으며 검증 방법으로는 고유얼굴 방법이 사용되었다.
다음으로 제안한 정지 영상 기반의 얼굴 검출 기법을 기반으로 실제 응용 분야에 초점을 맞추어 동영상 기반의 인간과 얼굴 검출 기법이 소개되었다. 이를 위하여 움직임 기반 탐색 영역 축소와 모델 기반 검출 및 추적방법이 결합되어 사용되었다. 움직임 검출의 성능 향상을 위하여 하이브리드 형태의 누적 차영상 방법이 제안되었고 얼굴 검출을 위해서는 제안한 눈 영역 기반 검출 방법이 사용되었으며 움직임 추적을 위해서는 이산 칼만 필터가 사용되었다.
실험은 오프라인과 온라인상에서 이루어 졌다. 오프라인 실험에서 424장으로 구성된 테스트 정지 영상에서 96%의 얼굴을 검출하는데 성공하였으며, Pentium III PC 에서 320×240 크기의 영상안에 있는 얼굴을 찾아내는데 약 01.-0.2초 정도의 처리 시간을 보였다. 온라인 실험은 다수의 사람들의 움직임이 있는 복잡한 배경하에서 실험 대상자가 카메라를 의식하고 다가와 정지하였을 때 그 사람을 감지하고 시스템이 자동으로 카메라의 광축을 맞추고 배율을 조절하여 얼굴 영상을 취득하는 가 여부를 확인하는 것으로 이루어 졌다. 15명의 사람들에 대해서 한 사람당 7번찍 총 105번의 실험에서 시스템은 91%의 성공률을 보였으며 평균적으로 초당 10 프레임정도를 처리하여 실제 생활 환경에서 실시간 응용에 적용 가능할 정도로 빠르고 신뢰할 만한 성능을 보였다.

다국어 초록 (Multilingual Abstract)

In this thesis, fast and reliable frontal face localization methods are presented. The goal of the thesis is to present a good scheme for being used in a real-time application of detecting a human, localizing the face, and finally obtaining the proper face image in a real-life environment including a crowded place where multiple persons are moving. It is important as a pre-step of face recognition in a video.
Although it is a difficult problem in general, it can be solved by imposing some limited conditions as follows: 1) A user is cooperative for identification : the user walks up to a camera and stands toward it. and 2) Only some limited variations are considered in tilt and in-depth rotation from a frontal face. However, to apply to our real life, the system must meet some requirements as follows: 1) The system must operate in a complex background including multiple moving persons. 2) It must work regardless of various frontal face surface conditions including glasses, beard, race, expression, and illumination change. and 3) It must perform the job described above in real-time.
In this thesis, first, still image based face localization method is presented. For robust and fast face localization, we limit search space just to a few pairs of eye candidates isolating possible eye regions using a modified histogram equalization method. The eye candidates are paired to form an eye pair and each eye pair is estimated how close it is to a true eye pair. A multi-layer perceptron neural network is used to find each eye candidate region’s closeness to the true eye image. Just a few best candidates are then verified by Eigen Faces.
For video-based face localization, the integrated technique of the motion-based approach and model-based detection and tracking is used. For robust motion detection, AAOED(Absolute Accumulated Original and Edge Difference) image is proposed. Then, we limit search space to the top region obtained by the step-by-step analysis of the projected histogram distribution in the image. We detect a face in the limited region using the proposed eye-cue based method. The detected face is tracked using Kalman filters. When the person stops, we finally acquire a picture that is zoomed in around the tracked face region.
The experimental results show that this approach is fast and reliable. We achieved 96% face detection rate with 0.1-0.2sec processing time at Pentium III PC in the offline experiments on 424 gray scale still images. And, in over a hundred times on-line experiments using image sequence, we achieved 91% success rate in detecting a moving person, localizing the face, and finally acquiring the face image of good resolution in complex background. The system was fast and reliable enough to be applied to the real-time application in a real life.

목차 (Table of Contents)

• Contents = i
• List of Figures = iii
• List of Tables = vii
• Abstract = viii
• 1 Introduction = 1
• 1.1 Biometrics = 1
• 1.2 Face Localization for Face Recognition in Video = 2
• 1.3 Overview of the Thesis = 4
• 2 Face Localization in Still Images = 6
• 2.1 Overview of the Chapter = 6
• 2.2 Search Space Reduction = 6
• 2.2.1 Modified Histogram Equalization = 7
• 2.2.2 Binarization & Labeling = 9
• 2.2.3 Shape-based Region Editing = 11
• 2.2.4 Eyeness Estimation with Neural Networks = 12
• 2.2.5 Eye-pairness Estimation = 20
• 2.2.6 Face Alignment and Normalization = 21
• 2.3 Face Verification = 22
• 2.3.1 Overview of existing methods = 22
• 2.3.2 Principal Component Analysis = 24
• 3 Face Localization for Face Recognition in Video = 31
• 3.1 Overview of the Chapter = 31
• 3.2 Motion Detection = 32
• 3.3 Search Space Reduction = 36
• 3.4 State Decision = 37
• 3.5 Tracking using Kalman Filters = 38
• 4 Experimental Results = 45
• 4.1 Overview of the Chapter = 45
• 4.2 Experimental Environments = 45
• 4.3 Face Localization in Still Images = 46
• 4.4 Face Localization for Face Recognition in Video = 49
• 5 Conclusions = 53
• References = 55
• Summary (in Korean) = 59