휴먼 안면인식 기술을 이용한 AR 영상 콘텐츠 개발 연구 = A study on development of AR video contents using human facial recognition technology

다국어 초록 (Multilingual Abstract)

As the media market changes rapidly, the market demand is increasing for contents that can be consumed on online platforms. It's required to produce differentiated video contents that are optimized for online platforms and can attract viewers' interest. In order to increase the productivity and efficiency of content creation, cases of content production using AR engine are increasing. In this study, the faces of famous Western classic musicians, such as Mozart, Beethoven, Chopin, and List are created as 3D characters, and they augment on human’s faces based on facial recognition technology. It Analyizes and traces the change of facial expression of the person, then apply to 3D character’s facial expression in real time. Each of persons who augmented musicians' faces can become the musicians who lived in different times, deliver information and communicate with viewers of the present era based on the music educational scripts. This study proposes one of new video production system with AR game engines, and present the new direction of the video production in line with the media market for diversification.

국문 초록 (Abstract)

미디어 시장이 급변하면서 온라인 플랫폼에서 소비 가능한 콘텐츠에 대한 시장의 요구가 커지고 있다. 온라인 플랫폼에 최적화되어 시청자의 흥미를 끌 수 있는 차별화된 영상 콘텐츠 제작이 요구된다. 콘텐츠 제작의 생산성과 효율성을 높이기 위해 AR엔진을 이용한 콘텐츠 제작 사례가 늘고 있다. 본 연구는 유명한 서양의 클래식 음악가인 모차르트, 베토벤, 쇼팽, 리스트의 얼굴을 3D 캐릭터로 제작하여, 실제 사람 얼굴 위에 증강할 수 있도록 안면인식 기술을 적용하였다. 이 기술은 실제 사람의 표정 변화를 분석 및 추적하여 3D 캐릭터의 표정에 실시간으로 적용되어, 3D 캐릭터의 얼굴이 증강된 사람은 유명한 음악가 캐릭터로 변신한다. 증강된 음악가의 얼굴이 씌워진 사람들은 음악 교육 시나리오를 바탕으로 다른 시대에 살았던 음악가가 되어 정보를 전달하고, 현 시대의 시청자들과 소통할 수 있게 된다. 본 연구를 통해 AR 게임엔진을 통한 새로운 영상 제작 시스템을 제시하고, 다변화는 미디어 시장에 맞춰 영상 제작의 새로운 방향성을 제시하고자 한다.

참고문헌 (Reference)

• 1 김현조, "뉴미디어 애니메이션 콘텐츠 제작접근 방향" 한국디지털디자인학회 10 (10): 185-195, 2010
• 2 K. W. E. Lin, "VocalistMirror: A Singer Support Interface for Avoiding Undesirable Facial Expressions" 2518-3672, 2019
• 3 Hypresense, "Hypresense"
• 4 H. G. Seo, "Domestic virtual characters that go beyond YouTubers and game promotion models"
• 5 H. Y. Jeon, "Domestic and foreign AR/VR industry status and implications" Hyundai Economic Research Institute 2017
• 6 김용관, "AU 기반으로 한 얼굴 모션캡처 활용을 위한 마커 위치추적 연구로우 폴리곤 캐릭터 적용을 기준으로" 한국애니메이션학회 10 (10): 45-60, 2014