온 디바이스 얼굴 라이트필드 합성 시스템 = On-Device Facial Light Field Synthesis System

다국어 초록 (Multilingual Abstract)

In this paper, we propose a light field synthesis system using a monocular facial image as input in an on-device environment. In order to overcome the difficulty of acquiring the ground truth facial light field in supervised learning, the proposed technique uses the synthesized light field acquired for various faces using a 3D modeling tool as learning data. In addition, a network compression method and mobile optimized deep learning framework are used for on-device implementation. The proposed system also includes viewpoint change and depth estimation functions that can be applied to the acquired light field image. For these, we apply OpenCL base GPU parallel processing so that these functions can be processed quickly in an on-device environment. Finally, this paper evaluates the operation results and processing time of our system implemented as GUI program on each platform.

국문 초록 (Abstract)

본 논문에서는 온 디바이스 환경에서 단안의 얼굴 영상을 입력받아 라이트필드 영상을 합성하는 시스템을 제안한다. 제안하는 기법은 지도학습에서의 참값(ground truth) 얼굴 라이트필드 취득의 어려움을 극복하기 위해, 3차원 모델링 도구를 이용하여 다양한 얼굴에 대해 취득한 합성 라이트필드를 학습데이터로 이용한다. 또한, 온 디바이스 구현을 위해 네트워크 경량화 기법과 모바일에 최적화된 딥러닝 프레임워크를 사용한다. 제안하는 시스템은 취득한 라이트필드 영상에 적용될 수 있는 시점변환과 깊이추정 기능을 포함한다. 이를 위해, OpenCL기반 GPU 병렬처리를 적용하여 온 디바이스 환경에서 라이트필드 응용효과들이 신속히 처리될 수 있도록 하였다. 마지막으로, 본 논문은 제안하는 시스템을 GUI 프로그램으로 구현해 각 플랫폼에서의 동작결과 및 처리시간을 평가했다.

참고문헌 (Reference)

• 1 C. Godard, "Unsupervised monocular depth estimation with left-right consistency" 2017
• 2 R. Garg, "Unsupervised CNN for single view depth estimation:Geometry to the rescue" 2016
• 3 D. S. Ma, "The Chicago Face Database: A free stimulus set of faces and norming data" 47 (47): 1122-1135, 2015
• 4 P. P. Srinivasan, "Pushing the boundaries of view extrapolation with multiplane images" 2019
• 5 J. E. Stone, "OpenCL: A parallel programming standard for heterogeneous computing system" 12 (12): 66-72, 2010
• 6 J. Kopf, "One shot 3D photography" 39 (39): 76:1-76:13, 2020
• 7 A. Ivan, "Light field depth estimation on off-the-shelf mobile GPU" 2018
• 8 P. P. Srinivasan, "Learn ing to synthesize a 4D RGBD light field from a single image" 2017
• 9 A. Ivan, "Joint light field spatial and angular super-resolution from a single Image" 8 : 112562-112573, 2020
• 10 J. Thies, "IGNOR: Image- guided neural object rendering" 2020
• 11 "Caffe-HRT"
• 12 "Blender 3D"
• 13 "ARM Compute Library"
• 14 S. M. Seitz, "A comparison and evaluation of multi-view stereo reconstruction algorithms" 2006
• 15 B. Egger, "3D morphable face models-past, present and future" 39 (39): 157:1-157:38, 2020