실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스

국문 초록 (Abstract)

본 논문에서는 스마트 글래스 환경에서 키보드나 마우스를 이용하지 않고 실시간 손 포즈 인식을 통한 비접촉식 입 력 인터페이스 기술을 제안한다. 먼저 깊이 카메라 입력영상에서 깊이 값에 대한 1차 미분을 수행하여 히스토그램 분포도를 만들고 변곡점을 계산하여 왼손과 오른손의 영역을 분할한 뒤, 각 손 영역에 대하여 손 회전각과 손 중심 점을 계산한다. 그리고 손의 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절과 끝점을 검출한다. 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식 한 후 다음 프레임을 위하여 손 모델을 갱신한다. 또한 손의 중심으로부터 원을 확장하여 손바닥 위치를 구하여 가 상 키보드 정합을 수행하고 손 끝점과 인접픽셀의 깊이값을 비교하여 클릭을 감지한다. 본 방법은 연속된 프레임간 의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 기반으로 실시간 손 포즈 인식이 가능하고 착용형 단말기 환경에서 물리적 장치 없이 가상키보드 입력이 가능하다. 다양한 손 포즈에 대해 인식 실험을 한 결과 평균 95% 이상의 인식률을 보였으며 가상 키보드 클릭의 경우 80% 이상의 정확도를 보였다. 또한 속도는 초당 34 프레임의 성능을 보여주어 실시간 처리가 가능함을 알 수 있었다.

다국어 초록 (Multilingual Abstract)

In this paper, we proposes a contact-less input interface in a smart glass environment through real-time recognition of hand poses without using any keyboard or mouse. First, a histogram distribution chart of depth values is created through the first-order differentials of depth values in depth camera input images, and inflection points are calculated to segment the areas of left and right hands. Then the hand rotation angle and hand center point of each hand area are calculated. After that, the centroid point of the hand boundary crossing is determined while expanding the circle at a fixed interval from the center of each hand so as to detect the hand joint points and end points. The hand information obtained before is matched with the hand model of the previous frame to recognize a hand pose and the hand model is updated for the next frame. In addition, virtual keyboard is registered by calculating the position of the palm while expanding the circle from the center of left hand and the keyboard click is detected by comparing the depth values of index fingertip to those of its adjacent pixels. This method enables hand pose recognition through the hand model of the previous frame by using the temporal consistency between continuous frames and allows the virtual keyboard input with no physical input device in the wearable environment. Recognition experiments for various hand poses showed over 95% average recognition rate and over 80% accuracy rate for virtual keyboard clicks. Furthermore, the proposed method showed the processing speed of about 34 frame per second, thus enabling real-time processing.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 실시간 손 포즈 인식방법
• 3. 가상 키보드 처리
• 4. 구현
• 5. 결론
• 참고문헌

참고문헌 (Reference)

• 1 이준배, "컴퓨터 게임을 위한 텐저브 인터페이스" 3 (3): 7-12, 2007
• 2 이동우, "웨어러블 컴퓨터를 위한 음성 제스처 기반 멀티모달 융합사용자 인터페이스" 3 (3): 17-25, 2007
• 3 M. Tosas, "Virtual Touch Screen for Mixed Reality" 3058 : 48-59, 2004
• 4 Martin A. Fischler, "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" 24 (24): 381-395, 1981
• 5 Harrison, Chris, "OmniTouch: Wearable Multitouch Interaction Everywhere" ACM 2011
• 6 B. Stenger, "Hand Pose Estimation Using Hierarchical Detection" 3058 : 105-116, 2004
• 7 M. Tang, "Hand Gesture Recognition Using Microsoft Kinect" 2010
• 8 M. I. Shamos, "Computational Geometry" Yale University 1978
• 9 유종운, "Cocktail: A User-Friendly Gesture Interface for Mobile Devices" 한국차세대컴퓨팅학회 5 (5): 5-10, 2009
• 10 Otsu, Nobuyuki, "A Threshold Selection Method from Gray-level Histograms" Automatica 285-296, 1975
• 11 Min-Young Na, "A Realtime Hand Pose Recognition Method with Hidden Finger Prediction" 2170-2173, 2013
• 12 Liu Yun, "A Hand Gesture Recognition Method Based on Multi- Feature and Template Matching" 29 : 1678-1684, 2012