윈도우 제어를 위한 시각적 비접촉 사용자 인터페이스 = Visual Touchless User Interface for Window Manipulation

국문 초록 (Abstract)

최근 다양한 3차원 콘텐츠 및 응용 프로그램의 개발되고, 컴퓨터 사용자 계층이 다양화됨으로 인하여 인터페이스에 대한 연구가 활발히 진행되고 있다. 본 연구는 사용자가 손을 이용하여 윈도우를 효율적으로 제어할 수 있도록 하는 것을 목적으로 한다. 기존 인터페이스에 관한 연구들은 고가의 장비를 사용하거나 복잡한 제스처 인식, 또는 부가적인 도구인 마커 등을 사용하는 문제가 있다. 이러한 단점을 개선하기 위하여 새로운 시각적 비접촉 인터페이스를 제안한다. 손을 사용하여 윈도우를 제어하기 위하여 HSV 색상공간을 이용하여 손 영역을 검출한다. 그리고 거리변환 행렬과 손 외곽선의 곡률을 이용하여 손의 중심과 손가락의 위치를 파악한다. 손의 중심과 손가락 위치를 이용하여 본 논문에서 제안하는 7가지의 제어 동작 중 사용자가 의도하는 동작을 파악하여 인터페이스로써 활용한다. 제안하는 인터페이스는 스테레오 카메라를 사용함으로써 사용자가 3차원 공간에서 거리감을 가지고 제어할 수 있도록 하였다. 그리고 간단한 손동작으로 제어하고자 하는 객체를 시각적으로 접촉할 수 있도록 함으로써 직관적인 제어가 가능하도록 하였다. 마지막으로 제안하는 인터페이스를 활용한 응용을 통해서 효율성을 확인한다.

다국어 초록 (Multilingual Abstract)

Recently, researches for user interface are remarkably processed due to the explosive growth of 3-dimensional contents and applications, and the spread class of computer user. This paper proposes a novel method to manipulate windows efficiently using only the intuitive motion of hand. Previous methods have some drawbacks such as burden of expensive device, high complexity of gesture recognition, assistance of additional information using marker, and so on. To improve the defects, we propose a novel visual touchless interface. First, we detect hand region using hue channel in HSV color space to control window using hand. The distance transform method is applied to detect centroid of hand and curvature of hand contour is used to determine position of fingertips. Finally, by using the hand motion information, we recognize hand gesture as one of predefined seven motions. Recognized hand gesture is to be a command to control window. In the proposed method, user can manipulate windows with sense of depth in the real environment because the method adopts stereo camera. Intuitive manipulation is also available because the proposed method supports visual touch for the virtual object, which user want to manipulate, only using simple motions of hand. Finally, the efficiency of the proposed method is verified via an application based on our proposed interface.

목차 (Table of Contents)

• 요약
• Abstract
• 1. 서론
• 2. 시스템 구성
• 3. 손 정보 분석
• 4. 손을 이용한 인터페이스
• 5. 응용
• 6. 실험
• 7. 결론
• 참고문헌

참고문헌 (Reference)

• 1 승억, "테이블탑 기기와 인터랙티브 벽면 디스플레이의 기술 동향과 응용" 26 (26): 5-14, 2008
• 2 R. Sharma, "Visual touchpad: a two-handed gestural input device" 13-15, 2004
• 3 A.A. Argyros, "Vision- based interpretation of hand gestures for remote control of a computer mouse" 41-51, 2006
• 4 A. Licsara, "User-adaptive hand gesture recognition system with interactive training" 23 (23): 1102-1114, 2005
• 5 R. Almeida, "Supporting 3D Window Manipulation with a Yawing Mouse" 477-480, 2006
• 6 A.A. Argyros, "Real-time tracking of multiple skin-colored objects with a possibly moving camera" 3 : 368-379, 2004
• 7 Q. Chen, "Real- time Vision-based Hand Gesture Recognition Using Haar-like Features" 1-6, 2007
• 8 T. Lee, "Handy AR : Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking" 11-13, 2007
• 9 G. Borgefors, "Distance transformations in digital images" Computer Vision, Graphics and Image Processing, Academic Press Professional, Inc 1986
• 10 F. Dadgostar, "An adaptivereal-time skin detector based on Hue thresholding: A comparison on two motion tracking methods" 27 (27): 1342-1352, 2006