Study on the Diegetic User Interface Meditated as Illusion Factor for Virtual Reality Interactive Storytelling = 가상현실 인터랙티브 스토리텔링을 위한 환영적 요소로 매개된 디에제틱 유저 인터페이스 연구

다국어 초록 (Multilingual Abstract)

Virtual Reality(VR) has attracted a great deal of attention in various contents fields by providing users with a presence experience and enabling users to directly perform their activities. Immersion in VR means to form a sense of reality and belief in the virtual world by playing a role with a new identity acquired in an empathetic manner away from oneself. In order to realize the immersive environment pursued by virtual reality, the convergence of human emotions and perception is essential. This cannot occur by simply perceptual immersion through physical stimulation. It can only occur when psychological immersion occurs together. However, research and development to increase the immersion of virtual reality focuses on the approach through sensory stimulation, such as visual, auditory, and tactile sense, and research and interest in psychological immersion is relatively inactive. An important feature of virtual reality is the interface between humans and computers that allows the users to directly control and interact with the virtual environment. The user can enhance the psychological immersion feeling by utilizing the natural interface with the virtual environment.

The purpose of this study is to analyze the components of the UI that can be applied to the virtual reality environment and suggests the utilization method as the immersive virtual reality storytelling that can induce the psychological immersion with the perceptual immersion by suggesting the utilization method. In this study, we present the following research issues and identify ways of using UI in virtual reality storytelling.

First, the types of User Interface (UI) applied to a typical first-person viewpoint game are distinguished and the applicability of VR storytelling UI is identified.
There are four types of first-person viewpoint games defined by previous research that includes Diegetic UI, Non-diegetic UI, Spatial UI, and Meta UI. As a result of investigating the data of the four types of UI and the previous research, DUI can naturally interact with user's actions or movements without learning the way of interacting with contents. In other words, it was found that DUI composed of objects existing in the virtual world has the greatest influence on immersion and presence by interacting with users.

VR storytelling refers to content that is designed to deliver specific messages based on stories on virtual reality platforms. The virtual reality platform enables active participation and the presence experience of the user and enables the story to proceed through direct interaction of the user. In this study, the characteristics of VR animations, VR documentaries, VR movies, and VR games were examined. As a result of the analysis of the four VR storytelling fields, VR game showed that active interaction is performed through user interface. Four story-based VR games were selected to analyze the interface to determine whether the UI of first-person viewpoint games can also be applied to virtual reality storytelling UI. As a result of the analysis of the UI form and function in story-based VR games, the DUI was able to identify the cases applied to first-person viewpoint story-based VR games and establish that they can be applied to first-person viewpoint VR interactive storytelling.

Second, in order to utilize DUI in VR storytelling, we identified how to distinguish the mediating DUI and the illusion elements that exist in VR environments. In this study, we presented a new way of DUI that allows users to immerse themselves in the real world by interacting with all the components that make up the virtual reality, which thereby maximizes the sensations that users can actually feel in the real world. To distinguish these illusion factors from mediated DUI, we selected a game with a score of 9 out of 10 in Steam among the story-based VR games that were produced within the last three years. As a result of analyzing the components of DUI mediated as an illusion, there are three types of illusion elements and mediated DUI(DUI mediated as Place Illusion, DUI mediated as agency illusion, and DUI mediated as sensory illusion)in the VR environment.

DUI mediated as Place Illusion is where the experient can experience various levels of communication and interaction through space and objects. The virtual world can be classified as a spatial form, and the place can be represented as objects constituting the space. The player can provide a realistic experience as a friendly place that can be easily visited as usual, and it can provide a fantastic experience as an imaginary place that is difficult to experience in reality.

DUI mediated as agency illusion means an illusion that the experient is identified in empathy with the virtual character who is leading the story's progression in virtual reality. In virtual reality, a character becomes a subject of a story and plays a role to help the story progress. The illusion through the agency means that the user is identified in the virtual reality, and that the user is empathized with the virtual character who is leading the progress of the story. An illusion through the agency means that the user is identified in empathy with the virtual character who is leading the story's progression and can form social bonds.

DUI mediated as sensory illusion means that the experient enhances the sense of immersion by increasing interaction with the human senses such as visual, auditory, tactile, and gesture. The means of interaction of virtual reality is not limited to auditory-visual only, but it is also related to a highly immersive virtual reality environment through tactile interaction. Sensory illusion can increase the illusion of participating as the subject of the VE by not only relying on a single sense but also by inducing a chain reaction of sense to create an illusion and induce perceptual immersion.

Third, we examined how the DUI mediated as illusion factors can be applied to actual production cases.
In order to construct the immersive VR environment, we applied the DUI mediated by three illusion factors to the UI creation of the VR storytelling project. DUI mediated as place illusion is an experience of a fantasy place that seems to be floating in space, which induces the interest of the player. As the next moving place, the children's room is designed to navigate by picking up, touching, and feeling objects in the room that have been used as a realistic experience of acting in the real room. The last place, the Fjord terrain, which is a place of reality and fantasy, is where the events of the full story takes place. This creates a illusion through which the player can interact and navigate naturally through the place and the objects that make it up. DUI mediated by agency illusion creates an illusion where the player becomes the main character and the subject of a story that can interact with all the environments. In addition, the appearance of an agent to help the story progress has given a more likely and empathetic illusion. DUI mediated as sensory illusion provides an auditory cue as a diegetic sound generated from all the objects that constitute a virtual environment and provides visual effects for smooth progress by generating effects on all interacting objects. In addition, the player does not rely on one sense but induces a chain reaction of senses to create a sensory illusion.

In virtual reality storytelling, users need to utilize a user interface that can naturally interact with the virtual environment and immerse themselves in the story without learning how to interact with the content. In other words, we can feel immersion as illusion through smooth interaction with diegetic elements composed of entities existing in the virtual world. This study analyzed the components of DUI that can be applied to virtual reality storytelling and suggests ways to utilize it as a highly immersive virtual reality content that can induce psychological immersion with perceptual immersion by presenting utilization methods. This study is expected to contribute to the creation of the virtual reality storytelling user interface by providing data about the user interface that can enhance the immersion feeling of virtual reality storytelling contents. As the interest in the field of virtual reality storytelling is increasing due to the rapid technological development and expansion of the platform, it is considered that the interface research for user's psychological immersion is very valuable, and further research and utilization can be expected in the future.

This research shows that the diegetic UI is the useful user interface that can maximize user immersion and presence of VR contents, and that sensory input through sensory stimulation and psychological immersion should be induced in order to produce the high immersion diegetic UI. In addition, the illusion elements of UI that can maximize immersion and presence can be largely divided into Place Illusion, Agency Illusion, and Sensory Illusion mediated with places, characters, and senses. The most important thing is that the three illusion elements are maximized by the user's sense of immersion and presence when multiple illusion elements are closely linked rather than being present individually. When the complex illusions are mediated in a cascade, the user's sense of immersion increases and psychological immersion is possible with perceptual immersion. The use of DUI mediated by the illusion factor through the utilization of various entities existing in the VR environment will induce perceptual immersion and psychological immersion through a human sensory chain reaction, and optimal immersion will be achieved through the user's illusion.

국문 초록 (Abstract)

가상현실(Virtual Reality, 이하 VR)은 사용자에게 현존감 높은 체험을 제공하고 사용자의 직접적인 활동을 가능하게 하여 다양한 분야의 콘텐츠에서 많은 관심을 불러일으키고 있다. VR에서의 몰입은 자신에서 벗어나 감정이입을 통해 획득한 새로운 정체성을 가지고 새로운 역할과 임무를 실행함으로써 가상세계에 대한 실제성과 현존감을 만들어 가는 것을 의미한다. 가상현실이 추구하는 몰입감 높은 환경을 구현하기 위해서는 인간이 가진 다양한 감각과 지각의 융합이 필수적으로 요구되는데 이는 단순하게 신체적인 자극을 통한 지각적 몰입만으로는 불가능하며 심리적 몰입이 함께 일어날 때 비로소 가능하다. 하지만 현재 가상현실의 몰입감 증대를 위한 연구와 개발은 시각, 청각, 촉각 등의 감각적 자극을 통한 접근에 집중되어 있으며 심리적인 몰입에 대한 연구와 관심은 상대적으로 활발하지 않은 것이 현실이다.
가상현실은 사용자가 직접 가상환경을 제어하며 상호작용할 수 있는 인간과 컴퓨터 사이의 인터페이스로서, 사용자는 가상환경과의 자연스러운 인터페이스 활용을 통해 심리적 몰입감을 높일 수 있다는 중요한 특징이 있다. 사용자의 환경이나 스토리의 맥락과 연관된 다양한 인터페이스의 활용은 인간과 컴퓨터 간의 상호작용성을 높여 사용자의 심리적 몰입에 중요한 요소가 된다.
본 연구에서는 가상세계에 존재하는 다양한 객체(entity)들과 자연스러운 상호작용을 통하여 몰입감을 높일 수 있는 유저 인터페이스(User Interface, 이하 UI)의 활용방법을 제시한다. 또한 사용자에게 지각적 몰입과 함께 심리적 몰입을 유도할 수 있는 유저 인터페이스를 제시함으로써 몰입감 높은 가상현실 인터랙티브 스토리텔링(Virtual Reality Interactive Storytelling)으로의 활용방안도 제시한다. 이에 본 연구에서 다루게 될 연구 문제를 살펴보면 다음과 같다.
첫째, 일반적인 1인칭 시점 게임에 적용된 UI 종류를 구분하고, VR 인터랙티브 스토리텔링 UI로의 적용 가능성과 활용도를 규명한다. 선행 연구를 통해 정의된 1인칭 시점 게임의 UI의 형태는 크게 네 가지로 분류할 수 있는데, 그것은 ‘디에제틱(Diegetic) UI’, ‘논-디에제틱(Non-diegetic) UI’, ‘스페이셜(Spatial) UI’, 그리고 ‘메타(Meta) UI’이다. 디에제틱 유저 인터페이스(Diegetic User Interface, 이하 DUI)는 가상 세계에 포함된 인터페이스로서 공간, 배경, 소도구, 사운드 및 캐릭터와 함께 게임 세계에 자연스럽게 포함된다. 이러한 UI는 가상현실 속 캐릭터가 가상 세계 내에서 보고 들을 수 있게 만든다. 논-디에제틱 UI는 현실 세계의 플레이어들에게만 보이고 들리며 가상 세계 외부에서 렌더링되는 전형적인 UI를 의미한다. 그리고 스페이셜 UI는 실제 가상 세계의 실체와 관계없이 게임의 3D 공간에 표시되는 인터페이스이다. 또한 메타 UI는 게임 세계에 존재할 수 있지만, 공간적으로 시각화되기보다는 필요할 때만 은유적으로 시각화되는 것을 의미한다.
위에서 언급한 네 가지 형태의 UI가 VR 인터랙티브 스토리텔링에 적용 가능한지 알아보기 위해‘VR 스토리텔링’에 대한 정의를 먼저 살펴볼 필요가 있다. VR 스토리텔링이란 가상현실 플랫폼에서 스토리를 기반으로 특정한 메시지를 전달하고자 제작된 콘텐츠를 의미한다. 가상현실 플랫폼은 사용자의 능동적인 참여와 현존감 높은 체험을 가능하게 만든다. 또한 사용자의 직접적인 활동을 통한 이야기 전개가 가능하여 여러 분야에서 다양하게 활용되고 있다. VR 인터랙티브 스토리텔링의 가장 큰 특징은 2차원의 스크린에서 시간적 순서대로 진행되는 선형적이고 고정적인 서사와 달리 3차원 공간에서 이루어지는 비선형적이고 고정되지 않는 인터랙티브 스토리텔링이라는 점이다. 본 연구에서는 VR 애니메이션, VR 다큐멘터리, VR 영화, VR 게임, 총 4개 분야로 나누어 VR 스토리텔링의 특징을 살펴보았다. 네 개 분야를 분석한 결과, 사용자 인터페이스를 통한 적극적인 상호작용이 가장 잘 이루어지고 있는 분야는 VR 게임인 것으로 나타났다.
앞서 살펴본 1인칭 시점 게임의 네 가지 UI 형태가 가상현실 스토리텔링 UI에도 적용될 수 있는지를 규명하기 위해 인터페이스를 통한 상호작용성 조사가 가능한 네 개의 VR 게임을 선정하여 인터페이스를 분석하였다. <Lone echo>, <Subnautica>, <Firewall Zero>, <Sairento>의 가상현실 UI 형태와 기능을 분석한 연구 결과, 일반적인 1인칭 시점 게임의 UI가 가상현실 게임에도 적용된 사례들을 확인할 수 있었으며, 이 중에서도 콘텐츠와 상호작용하는 방법을 따로 배우지 않아도 자연스럽게 사용자의 행동이나 움직임으로 상호작용할 수 있는 UI, 즉 가상세계에 존재하는 것들로 구성된 DUI가 가상현실 환경에서 사용자의 몰입감과 현존감에 가장 큰 영향을 미친다는 것을 알 수 있었다. 연구 결과를 통해 1인칭 시점 게임 UI를 가상현실 스토리텔링에도 적용할 수 있다는 것을 규명할 수 있었고, 가상현실 스토리텔링에서 DUI의 활용도가 가장 높다는 사실도 확인하였다.
둘째, VR 스토리텔링에서 DUI의 활용을 위해 VR 환경 안에 존재하는 환영적 요소들과 매개된 DUI를 어떻게 구분할 수 있는지를 규명한다. 본 연구에서는 가상현실을 구성하는 모든 요소들과 상호작용하여 실제로 사용자가 현실세계에서 느낄 수 있는 감각을 최대한으로 이끌어냄으로써 몰입 구조를 방해하지 않는 새로운 방식의 UI 개발이 요구된다고 판단하고 DUI와 매개된 환영적 구성요소를 분석하고 활용방법을 제시하였다. 인간의 오감 중 하나의 감각에만 의존하는 것이 아닌 다른 감각과의 연쇄적 반응을 통하여 공감각적 지각으로 확대시키고, 공감각적 환상의 세계에서 가상된 몸은 감각을 극대화시켜 최대의 환각체험을 한다. 이러한 환영적 요소들과 매개된 DUI를 구분하기 위하여 최근 3년 내에 제작된 스토리 기반 VR 게임들 중 스팀(Steam)에서 10점 중 9점 이상의 높은 점수를 받은 <Moss>, <Lone echo>, <Form>의 스토리 기반 VR 게임 작품을 선정하여 분석하였다. 환영에 매개된 DUI의 구성요소를 분석한 결과, VR 환경 안에 존재하는 환영적 요소들과 매개된 사용자의 몰입은 다음과 같이 세 가지 형태로 구분할 수 있었다.
장소 환영(Place Illusion)은 체험자가 공간과 물체를 통한 다양한 차원의 소통과 상호작용을 경험할 수 있는 것이다. 장소를 통한 환영을 조성하기 위해서는 VR 콘텐츠의 목적과 의도에 따라서 공간의 구조부터 사물의 배치까지 모든 구성 요소를 활용하여야 하며, 공간과 사물에 어포던스(Affordance)를 부여하여 사용자의 행동을 유도할 수 있다.
캐릭터는 VR 환경에서 이야기의 흐름을 돕는 에이전시(Agency) 역할을 하는데, 에이전시(agency)는 제어의 주체(locus of control)에 따라서 에이전트(agent)와 아바타(avatar)로 분류된다. 에이전트는 컴퓨터에 의해 제어되는 객체이며, 아바타는 사용자가 실시간으로 제어할 수 있는 객체를 의미한다. 에이전시 환영(Agency illusion)으로 매개된 DUI는 가상현실에서 사용자가 이야기의 진행을 주도하고 있는 가상 캐릭터에 공감되어 동일시되었다는 것에 대한 환영을 의미한다. 몰입감 높은 캐릭터 제작은 비언어커뮤니케이션 이론을 바탕으로 생각해볼 수 있는데 본 연구에서는 캐릭터의 외형, 캐릭터의 행위로 나누어 캐릭터를 통한 환영을 연구하였다.
감각적 환영 (Sensory illusion)으로 매개된 DUI를 통한 몰입은 시각, 청각, 촉각, 제스처 등 인간의 감각을 활용하여 상호작용을 증대시켜 몰입감을 향상시키는 것을 의미한다. 감각적 환영은 하나의 감각에만 의존하는 것이 아니라 감각의 연쇄적 반응을 일으켜 실제적 환영을 만들고 심리적 몰입까지 유도함으로써 이야기의 주체자로서 참여하고 있다는 환영을 증대시킬 수 있다.
셋째, 환영적 요소들로 매개된 DUI를 연구자의 실제 프로젝트 제작 사례를 통해 어떻게 적용할 수 있는지를 규명한다. 몰입감 높은 VR 환경을 구성하기 위하여 세 가지 환영적 요소들로 매개된 DUI를 실제 VR 스토리텔링 콘텐츠인 ‘피오르드(Fjord) 탐험’프로젝트 UI 제작에 적용하였다. 장소 환영으로서 매개된 DUI는 플레이어가 처음 시작하는 장소인 우주에 떠 있는 듯한 환상적인 체험을 가능하게 만들어 흥미를 불러일으킨다. 그리고 다음 이동 장소인 아이 방은 마치 실제 자기 방에서 행동하는 듯한 현실적 체험으로 평소에 익숙하게 다루던 방 안의 물체들을 집어보고 만지면서 탐색할 수 있도록 제작하였다. 마지막 장소인 피오르드 지형은 현실과 환상이 함께하는 장소로서 이야기의 사건이 본격적으로 시작되는 장소이다. 이와 같이 장소와 그 장소를 구성하고 있는 물체들을 통하여 플레이어가 자연스럽게 상호작용하며 탐색할 수 있는 환영을 만들어 주는 것이다. 에이전시 환영으로 매개된 DUI는 플레이어가 주인공이 되어 모든 환경과 상호작용이 가능하도록 이야기의 주체가 되는 환영을 만들어 주었다. 또한, 이야기의 진행을 도와주는 에이전트를 등장시킴으로써 개연성을 높여 공감할 수 있는 환영을 제공하였다. 감각적 환영으로 매개된 DUI는 가상환경을 구성하고 있는 모든 객체로부터 생성되는 디에제틱 사운드로서 청각적 단서를 제공한다. 또한, 상호작용할 수 있는 모든 객체에서 비주얼 이펙트(Visual effect)가 생성되어 사용자의 주의를 끌어 단서를 제공함으로써 원활한 진행을 위한 도움을 제공하였다. 이로써 하나의 감각에만 의존하는 것이 아니라 감각의 연쇄 반응을 유도하여 지각적 환영을 만들어 줬다. 이러한 환영에 매개된 DUI로서 장소의 이동, 사건의 발생과 이야기 진행의 환영을 유도하는 요소들을 분석하여 심리적 몰입과 지각적 몰입 요소들로 구성된 분석틀을 제시하였다. 이러한 몰입요소들을 실제 제작에 활용하여 심리적 몰입과 지각적 몰입을 부여함으로써 주체자로서 참여하고 있다는 환영을 증대시킬 수 있다.
본 연구 결과 VR 콘텐츠의 사용자 몰입감과 현존감을 극대화시킬 수 있는 유저 인터페이스로는 디에제틱 UI가 유용하며, 몰입감 높은 디에제틱 UI 제작을 위해서는 감각의 자극을 통한 지각적 몰입은 물론 심리적인 몰입을 유도해야 함을 알 수 있었다. 또한 몰입감과 현존감을 극대화할 수 있는 UI의 환영적 요소는 장소, 캐릭터, 감각과 매개된 ‘장소 환영’, ‘에이전시 환영’, ‘감각적 환영’으로 크게 구분할 수 있다. 여기서 중요한 것은 세 가지 환영 요소는 개별적으로 존재하는 것보다 여러 환영 요소가 밀접하게 연계될 때 사용자의 몰입감과 현존감이 극대화된다는 것이다. 그리고 하나의 환영에만 의존하는 것이 아닌 복합적인 환영 요소들이 연쇄적으로 매개될 때 사용자의 몰입감은 증대되며 지각적 몰입을 동반한 심리적 몰입이 가능하다. VR 환경에 존재하는 다양한 객체의 활용을 통한 환영 요소에 매개된 DUI의 활용은 인간의 감각 연쇄반응을 통한 지각적 몰입과 심리적 몰입을 유도하여 사용자의 환영을 통한 최적의 몰입이 이루어질 것이다.
본 연구는 VR 인터랙티브 스토리텔링 UI에 대한 연구로서 VR 스토리텔링 콘텐츠의 몰입감을 높여줄 수 있는 인터페이스에 관한 자료를 제공함으로써 향후 VR 인터랙티브 스토리텔링 UI 제작에 도움이 될 것으로 기대한다. 사용자의 심리적 몰입을 위한 인터페이스 연구는 매우 가치가 있다고 판단되며 앞으로 더욱 심도 깊은 연구와 활용을 기대할 수 있을 것이다.

목차 (Table of Contents)

• 1. Introduction 1
• 2. Virtual Reality 8 2.1 The Concept of Virtual Reality 8
• 2.2 Virtual Reality Storytelling 21
• 2.3 User Interface in Virtual Reality 35
• 3. Diegetic User Interface Mediated as an Illusion 46
• 3.1 Diegetic UI Mediated as Place Illusion 48
• 3.2 Diegetic UI Mediated as Agency Illusion 57
• 3.3 Diegetic UI Mediated as Sensory Illusion 64
• 4. The VR Storytelling Project 72
• 4.1 Planning for Virtual Reality Storytelling 73
• 4.2 Virtual World Created by Illusion 77
• 4.2.1 Fantasy and Reality of Space 80
• 4.2.2 Sense of Physical Possession 89
• 4.2.3 Extension of Sensory 92
• 4.3 Completion of Illusion World 100
• 5. Conclusion and Future Work 103
• 5.1 Conclusion 105
• 5.2 Future Work 110
• References 112
• 국문초록 121