손인식과 추적을 통해 실감콘텐츠 무선 제어를 위한 사용자 인터렉션 시스템 구현 = Implementation of a User Interaction System for Wireless Control of Realistic Content through Hand Recognition and Tracking

국문 초록 (Abstract)

실감콘텐츠 적용기술로 대표되는 증강현실, 가상현실 및 홀로그램 등은 5G 시대를 맞이하여 더욱 부각되고 있는 기술이며, 관련 산업 규모도 빠르게 확대되고 있다. 그러나 홀로그램 실감콘텐츠 활용은 전시관 및 박물관 등에서 정적이면서 고정된 표현 방법이거나 고비용의 하드웨어를 부착하여 이용하는 실정이다. 이에 본 연구에서는 홀로그램 실감콘텐츠를 능동적이면서 상호작용이 가능한 시스템을 개발하고자 한다. 이를 위해서 머신러닝프레임워크인 미디어파이프(mediaPipe)의 손인식 기술을 이용한다. 이를 바탕으로 손인식과 홀로그램 실감콘텐츠와 연계 및 제어가 가능하도록 연동 기술개발과 손의 형태와 움직임에 따라 콘텐츠가 상/하/좌/우 회전과 확대/축소가 가능하도록 상호작용이 가능한 사용자 인터렉션 기술을 개발한다. 본 연구 결과를 통해 박물관 및 전시관 등실감콘텐츠에 상호작용 기술을 접목함으로써 정적인 디스플레이 수준을 동적으로 실감콘텐츠 제어가 가능한 체험이 가능하다.

다국어 초록 (Multilingual Abstract)

Augmented reality, virtual reality, and holograms, which are representative of realistic content application technologies, are technologies that are increasingly highlighted in the 5G era, and the related industry scale is also rapidly expanding. However, the utilization of holographic realistic content is currently a static and fixed expression method in exhibition halls and museums, or is used by attaching expensive hardware. Therefore, this study aims to develop a system that enables active and interactive holographic realistic content. To this end, we use the hand recognition technology of MediaPipe, a machine learning framework. Based on this, we develop a linkage technology that enables linkage and control between hand recognition and holographic realistic content, and a user interaction technology that enables interactive content rotation up/down/left/right and zooming in/out according to the shape and movement of the hand.
Through the results of this study, it is possible to experience dynamic realistic content control at a static display level by grafting interactive technology onto realistic content such as museums and exhibition halls.