MediaPipe Face Mesh를 이용한 얼굴 제스처 기반의 사용자 인터페이스의 성능 개선 = Performance Improvement of Facial Gesture-based User Interface Using MediaPipe Face Mesh

국문 초록 (Abstract)

본 논문은 MediaPipe Face Mesh 모델을 이용해 일련의 프레임 시퀀스에서 얼굴 제스처를 인식해 해당 사용자이벤트를 처리하는 얼굴 제스처 기반의 사용자 인터페이스 선행 연구의 성능 개선 방안을 제안함에 그 목적이 있다.
선행 연구는 MediaPipe Face Mesh 모델에서 선택한 7개의 랜드마크의 3차원 좌표들로부터 얼굴 제스처를 인식해해당 사용자 이벤트를 발생시키고 이에 대응하는 명령을 수행하는 것이 특징이다. 제안된 방법은 그 과정에서 커서 위치들에 적응형 이동 평균 처리를 적용해 미세 떨림을 완화함으로써 커서 안정화를 도모하고, 양안 동시 개폐 시에 양안의 일시적 개폐 불일치를 차단해 그 성능을 개선하였다. 제안된 얼굴 제스처 인터페이스의 사용성 평가 결과, 얼굴 제스처의 평균 인식률이 선행 연구에서 95.8%였던 것에 비해 98.7%로 상향되는 것이 확인되었다.

다국어 초록 (Multilingual Abstract)

The purpose of this paper is to propose a method to improve the performance of the previous research is characterized by recognizing facial gestures from the 3D coordinates of seven landmarks selected from the MediaPipe Face Mesh model, generating corresponding user events, and executing corresponding commands. The proposed method applied adaptive moving average processing to the cursor positions in the process to stabilize the cursor by alleviating microtremor, and improved performance by blocking temporary opening/closing discrepancies between both eyes when opening and closing both eyes simultaneously. As a result of the usability evaluation of the proposed facial gesture interface, it was confirmed that the average recognition rate of facial gestures was increased to 98.7% compared to 95.8% in the previous research.

참고문헌 (Reference)

• 1 장명수 ; 이우범, "플로팅 홀로그램 캐릭터 조작을 위한 사용자 제스처 인식 시스템 구현" 한국인터넷방송통신학회 19 (19): 143-149, 2019
• 2 허경용 ; 송복득 ; 김지홍, "손 표현 인식을 위한 계층적 손 자세 모델" 한국정보통신학회 25 (25): 1323-1329, 2021
• 3 송복득 ; 이승환 ; 최홍규 ; 김성훈, "사용자 손 제스처 인식 기반 입체 영상 제어 시스템 설계 및 구현" 한국정보통신학회 26 (26): 396-402, 2022
• 4 김규민 ; 백중환, "딥러닝 기반 실시간 손 제스처 인식" 한국멀티미디어학회 22 (22): 424-431, 2019
• 5 허경용 ; 김명자 ; 송복득 ; 신범주, "가상 칠판을 위한 손 표현 인식" 한국정보통신학회 25 (25): 1770-1776, 2021
• 6 C. A. Cruz, "Sequential Eyelid Gestures for User Interfaces in VR" 2023
• 7 J. Prameela, "Mouse Handling Using Facial Gesture" 04 (04): 468-475, 2022
• 8 S. Sreeni, "Mouse Cursor Control Using Facial Movements-An HCI Application" 15 (15): 270-274, 2023
• 9 송락빈 ; 홍윤아 ; 곽노윤, "MediaPipe Hands 모델 기반의 손 제스처 인식을 이용한 사용자 인터페이스" 한국멀티미디어학회 26 (26): 103-115, 2023
• 10 G. Pala, "Machine Learning-based Hand Sign Recognition" 356-363, 2021
• 11 L. Chen, "MVHM : A Large-Scale multi-View Hand Mesh Benchmark for Accurate 3D Hand Pose Estimation" 836-845, 2021
• 12 "MANO"
• 13 Z. Fan, "Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation" 1-10, 2021
• 14 F. Karray, "Human-Computer Interaction : Overview on State of the Art" 1 (1): 137-159, 2008
• 15 B. Kumar, "Handbook of Research on AI-Based Technologies and Applications in the Era of the Metaverse" 542-358, 2023
• 16 A. Shimada, "Hand Gesture Based TV Control System— Towards Both User-Machine-friendly Gesture Applications" 121-126, 2013
• 17 N. Qian, "HTML : A Parametric Hand Texture Model for 3D Hand Reconstruction and Personalization" 54-71, 2020
• 18 "Google MediaPipe"
• 19 Y. Li, "Gesture Interaction in Virtual Reality" 84-112, 2019
• 20 S. An, "Fast Hand: Fast Monocular Hand Pose Estimation on Embedded Systems" 122 : 2022
• 21 J. Mok, "Facial Gesture-based User Interface Using MediaPipe Face Mesh" 1407-1411, 2023
• 22 Q. Gao, "Dynamic Hand Gesture Recognition Based on 3D Hand Pose Estimation for Human-robot Interaction" 17421-17430, 2021
• 23 S. Thino, "Developing a Program to Detect Face Direction and the State of Partially Closed Eyes" Naresuan University 2023
• 24 T. H. Tsai, "Design of Hand Gesture Recognition System for Human-computer Interaction" 79 (79): 5989-6007, 2020
• 25 M. Iskandar, "Artificial Intelligence-based Human Gesture Tracking Control Techniques of Tello EDU Quadrotor Drone" 2023
• 26 H. Kaur, "A Review : Study of Various Techniques of Hand Gesture Recognition" 1-5, 2016
• 27 H. Stern, "A Real-Time Hand Gesture Interface for Medical Visualization Applications" Springer 36 : 153-162, 2006
• 28 Z. Sharifisoraki, "A Novel Face Recognition Using Specific Values from Deep Neural Network-based Landmarks" 2023