핸드 트래킹을 활용한 비접촉식 인터페이스 기반 VR 콘텐츠 개발- 인체치료게임 <Robot Doctor VR> = Development of VR Content Based on a Touchless Interface using Hand Tracking - Game of Curing a Human Body <Robot Doctor VR>

다국어 초록 (Multilingual Abstract)

While VR content is gaining in popularity as a result of the COVID-19 epidemic, the demand for VR material has also grown. Nevertheless, the amount of diverse content available to satisfy users is insufficient. In this paper, we planned and developed gesture-based content to pique users' interest in virtual reality and to demonstrate the range of VR content. The industry is currently generating gesture-based content in response to the growing need for new types of content. Meta Oculus incorporates gesture recognition technology into its virtual reality headsets and promotes gesture-based content on its website.
We developed and implemented features in this study that enable the generation and execution of content using a gesture-based interface. The device was made utilizing the Oculus Quest2 gesture recognition technology and the Unity game engine. C# and JSON were used as the major programming languages, and modeling and texturing were carried out using Autodesk's 3ds MAX and Blender. 'Robot Doctor VR' is a virtual reality game in which the user manipulates the organs of the human body with their own hands while wearing a head-mounted display. With conversion into a nanorobot, the process of assessing and repairing damaged organs in the human body will be gamified, providing users with an entirely new experience.
'Robot Doctor VR,' which was created to boost user immersion and present new material, aims to develop more realistic graphic content in the future to enable investigations of a wider variety of human organs. Additionally, moving to multiplayer via gesture detection will result in increased content diversity through user participation.

국문 초록 (Abstract)

코로나19로 인해 VR 콘텐츠가 주목받고 있는 가운데 VR 콘텐츠의 수요는 증가하였으나, 사용자들을 만족시킬 만한 다양한 콘텐츠의 제작은 부족한 상황이다. 본 논문에서는 VR 콘텐츠의 다양성과 사용자들의 호기심 충족을 위한 제스처 기반의 콘텐츠를 기획, 개발하였다. 새로운 형식의 콘텐츠를 찾는 사용자가 증가하게 되면서 산업계에서도 제스처 인식을 기반으로 하는 콘텐츠를 선보이고 있다. Meta Oculus에서는 제스처 인식 기술을 VR 기기에 탑재하였으며 이를 활용하는 콘텐츠들을 웹사이트에 적극적으로 소개하고 있다. 본 논문에서는 제스처 기반 인터페이스를 사용하여 콘텐츠를 제작하고, 수행할 수 있는 기능들을 설계하고 개발하였다. 디바이스는 제스처 인식 기술이 제공되는 Oculus Quest2를 이용하여 개발을 진행하였으며, Unity 게임엔진을 기반으로 콘텐츠를 제작하였다. 주언어로는 C#, JSON을 사용했으며, Autodesk 사의 3ds MAX, Blender를 사용하여 모델링 및 텍스처링을 진행했다. ‘Robot Doctor VR'은 HMD를 착용한 사용자가 자신의 손으로 직접 조작하며 인체의 기관을 치료하는 게임이다. 나노로봇이 되어 인체 내에서 병에 걸린 장기들의 모습을 살펴보고 치료하는 과정을 게임화하여 사용자들에게 새로운 경험을 제공할 것이다.
사용자의 몰입감 증진과 새로운 콘텐츠의 제시로 개발된 ‘Robot Doctor VR’은 추후 더욱 다양한 신체기관의 탐색을 위하여 현실감 높은 그래픽 콘텐츠의 개발을 목표로 하고 있다. 또한 다양한 제스처 인식을 통한 멀티플레이어로의 확장은 유저들 간의 협업을 통한 콘텐츠의 다양화를 가져오리라 생각한다.

참고문헌 (Reference)

• 1 이충구 ; 박구만, "접촉식과 비접촉식 제스처 인식기술과 제품에 관한 연구" 한국상품문화디자인학회 (31) : 21-31, 2012
• 2 이권중, "아이트래킹 기술을 통한 빅데이터 수집·활용" (504) : 134-141, 2021
• 3 이정헌, "느낌대로, 직관대로…첨단기술, 자연스러움을 낳다"
• 4 재밌는 코딩 공부, "[Oculus Go Unity] NPC와 상호작용 하기 #1 [소스 코드]"
• 5 Schechter, S, "What is gesture recognition? Gesture recognition defined"
• 6 Tobii.com, "What is eye tracking?"
• 7 Scardina, J, "Voice recognition(speaker recognition) [Article]"
• 8 최경호, "VR 체험 콘텐츠 기술 동향에 관한 연구" 한국엔터테인먼트산업학회 14 (14): 513-523, 2020
• 9 Mera Quest, "VR New York story"
• 10 Cannon, "TrueHandling [소스 코드]"
• 11 Developers Website, "Set up hand tracking [image]"
• 12 "Ravenclaw Common Room VR"
• 13 Touchless User Interface, "PCMag encyclopedia [온라인사전]"
• 14 Unit Asset Store, "Oculus integration [소스 코드]"
• 15 STEAM, "Neos VR"
• 16 TotallyNotDevs, "Modified gesture detector for hand tracking–Unity–Oculus quest [소스코드]"
• 17 Tobii.com, "Knee deep"
• 18 XBOX, "Kinect adventures"
• 19 Srinivasan, P, "In a touchless world, how will you embrace technology?"
• 20 Justin P Barnett-VR Game Dev, "How to make VR buttons | Beginner unity VR tutorial[소스 코드]"
• 21 Karl Lewis, "How to improve throwing physics in VR(Feat. Snowball Showdown) [소스 코드]"
• 22 Valem, "Hand tracking gesture detection–Unity oculus quest tutorial [소스 코드]"
• 23 TNDscript, "Gesture detectors [소스 코드]"
• 24 STEAM, "Flyinside flight simulator"
• 25 Oculus for Developers Website, "Enable hand tracking [image]"
• 26 "ELIXIR"
• 27 "BattleGroupVR"
• 28 정우준, "2020년, 차세대 VR‧UI 시장이 온다"