시점 합성을 이용한 다시점 비디오와 깊이 영상의 동시 부호화 방법 = A Joint Coding Algorithm for Multi-view Video and Corresponding Depth Maps using View Synthesis

국문 초록 (Abstract)

본 논문에서는 다시점 비디오 데이터와 동일 시점의 깊이 영상을 동시에 부호화하는 새로운 방법을 제안한다. 우

선 이웃 시점의 깊이 영상에 3차원 워핑(warping) 방법을 이용하여 현재 부호화하려는 시점의 가상 깊이 영상을 미리

합성하였다. 이렇게 합성된 깊이 영상에 시점 보간 예측(VIP: View Interpolation Prediction) 방법을 적용하여 깊이

영상을 부호화할 때 시점간 예측 성능을 향상시켰다. 위 방법으로 다시점 깊이 영상을 모두 부호화한 후, 부호화된 깊

이 영상을 이용하여 같은 방법으로 다시점 비디오 데이터를 부호화했다. 위 과정 중 가상 영상을 만들 때 이용되는 3

차원 워핑 단계에서 폐색(occlusion) 영역과 비폐색(disocclusion) 영역으로 인해 겹침 현상과 빈 공간이 발생했다.

전경이 배경에 의해 가려지는 겹침 현상은 깊이 정보가 사상되어있는 깊이 영상을 이용해 전경과 배경을 구분함으로써

해결하였다. 또한 작은 빈 공간은 이용 가능한 이웃한 화소들의 중간값을 이용했고 전경의 경계에서 발생하는 비교적

큰 빈 공간은 대부분 배경에서 발생하므로 배경의 화소값을 이용하여 채웠다. 본 논문에서 제안한 방법을 다시점 비디

오 부호화 참조소프트웨어인 JMVM 1.0에 추가했을 경우에 다시점 깊이 영상 부호화에서는 평균 약 0.65dB, 다시점

비디오 부호화에서는 평균 약 0.17dB의 PSNR 이득이 발생했다.

참고문헌 (Reference)

• 1 L. Zhang, "Stereoscopic Image Generation Based on Depth Images for 3DTV" 51 (51): 2005
• 2 T. Wiegand, "Overview of the H.264/AVC video coding standard" 13 (13): 2003
• 3 R. S. Wand, "Multiview Video Sequence Analysis, Compression, and Virtual Viewpoint Synthesis" 10 (10): 2000
• 4 ISO/IEC MPEG & ITU-T VCEG JVT-W100, "Multi-view video plus depth (MVD) format for advanced 3D video systems"
• 5 K. J. Oh, "Multi-view Video Coding based on the Lattice-like Pyramid GOP Structure" 2006
• 6 S. T. Na, "Multi-view Depth Video Coding using Depth View Synthesis" 2008
• 7 ISO/IEC MPEG & ITU-T VCEG JVT-T208, "Joint Multiview Video Model (JMVM) 1.0"
• 8 A. Smolic, "Interactive 3D Video Representation and Coding Technologies" Proc 93 (93): 2005
• 9 C. L. Zitnick, "High-quality video view interpolation using a layered representation" ACM SIGGRAPH 2004
• 10 P. Merkle, "Efficient Compression of Multi-view Video Exploiting Inter-view Dependencies Based on H.264/MPEG4- AVC" 2006
• 11 P. Merkle, "Efficient Compression of Multi-view Depth Data based on MVC" 2007
• 12 S. Ince, "Depth Estimation for View Synthesis in Multiview Video Coding" IEEE 3DTV Conference
• 13 ISO/IEC JTC1/SC29/WG11 N6720, "Call for Evidence on Multi-view Video Coding"
• 14 G. Bjontegaard, "Calculation of Average PSNR Differences between RD-Curves" Doc 2001
• 15 H. Schwarz, "Analysis of Hierarchical B Pictures and MCTF" 2006
• 16 M. Leonard, "An Image-Based Approach to Three-Dimensional Computer Graphics" University of North Carolina at Chapel Hill 1997
• 17 C. Fehn, "An Evolutionary and Optimized Approach on 3D-TV" 2002
• 18 C. Lee, "An Efficient View Interpolation Scheme and Coding Method for Multi-view Video Coding" 2007
• 19 A. Smolic, "3D Video and Free Viewpoint Video Technologies, Applications and MPEG Standards" 2006