새로운 필터방식 얼굴검출 알고리즘과 하드웨어 구현 = A New Filter Based Face Detection Algorithm and its Hardware Implementation

국문 초록 (Abstract)

얼굴검출은 입력되는 영상에서 얼굴의 위치를 판단하는 것에 목적이 있다. 얼굴검출은 모든 얼굴 영상처리의 기본이 되는 것으로 얼굴인증, 얼굴추적, 표정인식 등의 기본적인 단계가 된다. 즉 모든 얼굴 영상처리 과정은 얼굴의 위치를 판단하는 것으로 시작하여 이후 과정을 수행하며 얼굴검출의 정확도는 전체 시스템의 성능에 지대한 영향을 미친다.
입력되는 영상에서 얼굴의 위치를 찾기 위한 문제는 밝기 변화에 따라 검출률과 정확도가 변화되는 것이다. 이것은 대부분의 영상처리에서 발생하는 문제로 얼굴 영상처리의 기본이 되는 얼굴검출 단계에서 고려해야할 과제이다. 본 논문에서는 이와 같은 문제를 해결하기 위해 ICT(Improved Census Transfrom) 변환을 적용하였다. ICT 변환은 원본 이미지의 화소를 화소간의 크기 비교값으로 변환하여 비교적 밝기 변화에 안정적이다. 본 논문에서는 ICT 변환을 근간으로 얼굴필터를 제작하고 필터를 이용한 얼굴검출 알고리즘을 제안하였다.
제안된 얼굴검출 알고리즘은 임베디드 환경에서 소프트웨어 구현시 4초에 1프래임의 영상을 처리하는 연산량을 가지므로 여러 임베디드 환경에 적용하기 위해 하드웨어 개발이 필요하다. 해당 하드웨어는 필터와 입력영상을 저장하기 위해 많은 양의 메모리가 소요되기 때문에 제한적인 자원을 갖는 임베디드 환경에 적용하기 위해서는 효율적인 메모리 구성이 필요하며 휴대폰 등의 어플리케이션에 적용하기 위해 고성능 및 저전력 설계가 요구된다.
설계된 하드웨어는 효율적인 메모리 구성을 위해 알고리즘 특성에 맞추어 적은 양의 내부 메모리를 사용하면서 한번 외부 메모리로부터 읽은 데이터를 다시 읽지 않도록 구성하였고, 데이터 양이 많아 외부 메모리에 저장되어 있는 필터를 효율적으로 사용하기 위해 필터의 일부를 내부 메모리로 복사하는 구조로 설계하였다. 또한 여러 클럭이 소모되는 데이터 패스를 파이프라인 구조를 적용하여 연속적으로 내부 메모리 데이터를 읽을 수 있는 구조로 설계하였다.
저전력 설계를 위해 본 하드웨어는 SLEEP 모드와 ACTIVE 모드를 적용하였고 ACTIVE 모드 시 하드웨어의 각 하위 모듈과 레지스터에 클럭 게이팅을 적용하여 최소의 전력을 소모하도록 하였다. 또한 내부 메모리를 전력을 적게 사용하는 작은 모듈의 조합으로 사용하여 메모리에서 소비하는 전력량을 최소화 하였다. 추가적으로 합성툴 의한 합성스타일을 정의하여 게이트에서의 전력 소모를 최소화 하였다.
결론적으로 본 논문에서 제안한 하드웨어를 ASIC 칩(삼성 0.18um CMOS 공정)으로 구현하였고, ASIC 칩은 ARM 기반의 환경에서 320×240 영상크기를 입력하고 100MHz로 동작시킬 경우 1초에 25 프레임 처리가 가능하다. 그리고 약 40KB의 내부 메모리를 사용하고 SLEEP 모드에서 0.7mW, ACTIVE 모드에서 47mW의 전력이 소모된다.

다국어 초록 (Multilingual Abstract)

Face detection is the first step in many face processing applications (face recognition, face tracking, pose estimation, expression recognition, etc.), and its detection accuracy has a great effect on the performance of the applications.
However, most face detection algorithms have limitations on their accuracy due to the fact that pixel values of input images are changed depending on the illumination variation. In this thesis, firstly, a new illumination-invariant image transformation method, called ICT (Improved Census Transform), is proposed to reduce the dependence of the face detection accuracy on illumination. The ICT transformed image is represented by only the structure of an object, which is relatively stable in various illuminations, and the corresponding face filters are trained on them. Secondly, a new multiple face detection algorithm is developed based on ICT image trained face filters. Finally, the efficient hardware architecture for the face detection algorithm is shown with the FPGA(Field Programmable Gate Array) and ASIC(Application Specific Integrated Circuits) chip implementations. The execution time for the proposed algorithm was 4 seconds for one image frame in ARM920T processor. Hence software implementation of the algorithm is not a good idea for real-time applications, and this becomes the good motivation for the hardware implementation.
To implement the face detection hardware, a large amount of memory is required, and it is necessary to design efficient memory architecture and proper memory access scheme. Moreover, low power design should be considered as one of main objectives for embedded applications such as robots, mobile phones, and various hand-held devices. In this thesis, the hardware is designed in a way that external memory access is minimized by using minimized internal buffers and their sequential access pattern through pipelined structure. For low power design, two operating modes (SLEEP and ACTIVE) are defined in the controller logic, and clock gating is used in the datapath at both internal modules and registers. Internal memory is partitioned into several memory banks to allow only a minimum part of the memory accessed, and various tool-dependent low power techniques are also applied, mostly at the gate level. Functions and performance of the hardware were verified on Xilinx FPGA and a real ASIC chip was fabricated using Samsung 0.18um CMOS technology.

목차 (Table of Contents)

• 제1장 서론 = 11
• 제2장 다중 얼굴검출 알고리즘 = 12
• 2.1. ICT(Impoved Census Transform) 알고리즘 = 13
• 2.2. 얼굴필터 = 15
• 2.3. 다중 얼굴검출 알고리즘 = 17
• 제3장 다중 얼굴검출 하드웨어 = 20
• 3.1. 다중 얼굴검출 하드웨어 = 20
• 3.2. 효율적인 메모리 구조 = 22
• 3.2.1. 효율적인 외부 메모리 엑세스를 위한 버퍼구조 = 22
• 3.2.2. 효율적인 내부 메모리 엑세스 구조 = 27
• 3.3. 효율적인 전력 소비구조 = 31
• 3.3.1. SLEEP& ACTIVE 모드 = 33
• 3.3.2. 2단계 클럭 게이팅 = 35
• 3.3.3. 메모리 분할 = 37
• 3.3.4. 게이트 레벨 전력 최적화 = 39
• 3.4. 얼굴검출 하드웨어 동작 = 41
• 3.4.1. 메모리 맵 = 41
• 3.4.2. 레지스터 맵 = 42
• 3.4.3. 동작 방법 = 47
• 제4장 결과 및 성능 분석 = 54
• 4.1. 다중 얼굴검출 칩 = 54
• 4.2. 얼굴검출 칩 테스트 = 54
• 4.3. 얼굴검출 시스템 = 56
• 4.4. 성능 분석 = 60
• 제5장 결론 = 65
• 참고문헌 = 66