2D 콘텐츠의 3D 입체 콘텐츠로의 변환 기법 = Algorithms for 2D to 3D Contents Conversion

국문 초록 (Abstract)

본 논문에서는 3D 입체영상 생성 기법에 대한 기본 원리를 설명하고 기존에 제안되었던 다양한 기법들을 소개하고자 한다. 또한 성능이 우수한 변환 기술을 새로이 제안한다. 3D 입체영상 생성 기술은 지난 20년간 꾸준히 연구 개발이 진행되어온 분야로 최근 3DTV 보급과 더불어 3D 콘텐츠의 수요 증가와 함께 관심을 받는 분야이다. 본 논문에서는 영상이나 동영상 등 2D 콘텐츠에서 좌, 우 스테레오 3D 콘텐츠 변환 기법과 좌우 스테레오 콘텐츠로부터 다수의가상 시점(다시점) 콘텐츠를 생성하는 IVR 기법을 3D 콘텐츠 변환 기법에 포함하였다. 좌, 우 스테레오 영상 생성시발생하는 가려짐 영역을 보상하기 위하여 심카빙(seam carving) 기법을 이용하여 에너지 패턴을 구하고 이를 이용하는 새로운 기법을 제안한다. 또한 다시점 영상 생성시 발생하는 공통 홀(common hole)을 보상하기 위하여 나선형 가중 평균 기법(spiral weighted average method)도 제안한다. 심카빙 기법은 에너지 변화가 가장 작은 패턴을 찾아가려짐 영역 보상에 해당 영역을 이용하여 보상된 영역의 자연스러움을 최대로 할 수 있다는 장점이 있다. 나선형 가중 평균 기법도 공통 홀 주변 화소의 깊이 정보 차이값과 거리의 가중치를 이용하여 가장 근사한 화소의 색상값으로 보상을 하기 때문에 객체 정보를 반영할 수 있다는 장점이 있다. 실험 결과를 통해 제안하는 기법이 기존 기법들 보다 성능이 우수하다는 것을 보였다.

참고문헌 (Reference)

• 1 윤종철, "이미지리사이징을위한 플로우 기반의 심카빙 기법" 한국정보과학회 36 (36): 251-255, 2009
• 2 김지홍, "에지 방향성 히스토그램을 이용한 2차원 동영상의 3차원 입체변환기법" 한국통신학회 34 (34): 782-789, 2009
• 3 김태준, "다시점 카메라 모델의 기하학적 특성을 이용한 가상시점 영상 생성 기법" 한국통신학회 34 (34): 1154-1166, 2009
• 4 최미남, "다시점 동영상의 중간시점영상 생성을 위한 변이 예측 기법" 한국방송공학회 13 (13): 915-929, 2008
• 5 박세환, "다시점 동영상에서 임의시점영상 생성을 위한 가려진 영역 보상기법" 한국통신학회 33 (33): 1029-1037, 2008
• 6 강근호, "객체 추출과 Non-Local 필터를 이용한 2D 영상의 3D 변환" 184-187, 2010
• 7 Y. Mori, "View generation with 3D warping using depth information for FTV" 229-232, 2008
• 8 Y. Mori, "View generation with 3D warping using depth information for FTV" 24 (24): 65-72, 2009
• 9 Y. Mori, "View generation with 3D warping using depth information for FTV" 239-232, 2008
• 10 Y. Wang, "Video processing and communications" Prentice Hall 2001
• 11 Yao Wang, "Use of 2-D deformable mesh structures for video coding" 6 (6): 1966
• 12 G. Um, "Threedimensional scene reconstruction using multiview images and depth camera" 5664 : 271-280, 2005
• 13 Ross J., "Stereopsis by binocular delay" 248 : 354-364, 1974
• 14 Lenny Lipton, "Stereo-vision formats for video and computer graphics" 3012 : 239-244, 1997
• 15 M. B. Kim, "Stereo conversion of mono-scopic video by the transformation of vertical-horizontal disparity" 3295 : 65-74, 1998
• 16 D. F McAlister, "Stereo Computer Graphics and Other True 3D Technologies" Princeton University Press 1993
• 17 안재우, "Seam carving을 이용한 가려짐 영역 보상 기법" 159-162, 2010
• 18 S. Avidan, "Seam Carving for Content-Aware Image Resizing" 26 (26): 2007
• 19 W. Mark, "Post-rendering 3D warping" 7-9, 1997
• 20 M. B. Kim, "On the implementation of Ross phenomenon for stereoscopic conversion of 2D video" 187-192, 1999
• 21 A. Criminisi, "Object removal by exemplar-based inpainting" 2 : 721-729, 2003
• 22 T. Okino, "New television with 2D/3D image conversion techniques" 2653 : 96-103, 1995
• 23 T. Okino, "New television with 2D/3D image conversion techniques" 2653 : 1996
• 24 K. H. Bae, "New disparity estimation scheme based on adaptive matching window for intermediate view reconstruction" 42 (42): 1778-1786, 2003
• 25 Richard Hartley, "Multiple View Geometry" Cambridge University 152-247, 2003
• 26 Y. Kang, "Multi-depth camera system for 3-D video generation" 44-, 2010
• 27 "Methodology for subjective assessment of the quality of television picture"
• 28 J. S. McVeigh, "Intermediate view synthesis considering occluded and ambiguously referenced image regions" 9 : 21-28, 1996
• 29 A. Smolic, "Intermediate view interpolation based on multiview video plusdepth for advanced 3D video systems" 2448-2451, 2008
• 30 M. Rubinstein, "Improved seam carving for video retargeting"
• 31 "Implementation of Hole Filling Methods for VSRS 3.5.alpha"
• 32 J. Y. Goulermas, "Hybrid symbiotic genetic optimisation for robust edge-based stereo correspondence" 34 (34): 2477-2496, 2001
• 33 P. Harmon, "Home-based 3D entertainment: an overview" 1 : 1-4, 2002
• 34 C. L. Zitnick, "High-quality video view interpolation using a layered representation" 23 (23): 600-608, 2004
• 35 J. Zhu, "Fusion of time-of-flight depth and stereo for high accuracy depth maps" 1-8, 2008
• 36 C. Fehn, "Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3DTV" 5291 : 93-104, 2004
• 37 김수동, "Depth layer partition을 이용한 2D 동영상의 3D 변환 기법" 한국방송공학회 16 (16): 44-53, 2011
• 38 Y. Matsumoto, "Conversion system of monocular image sequence to stereo using motion parallax" 3012 : 108-115, 1997
• 39 "Boundary Filtering on Synthesized Images for 3D Video"
• 40 B. J. Garcia, "Approaches to stereoscopic video based on spatio-temporal interpolation" 2635 : 85-95, 1996
• 41 A. Telea, "An image in-painting technique based on the fast marching method" 9 (9): 25-36, 2003
• 42 "ATTEST"
• 43 A. Buades, "A non-local algorithm for image denoising" 2 : 60-65, 2005
• 44 M. B. Kim, "A new method for the conversion of MPEG encoded data into stereoscopic video" 1 (1): 48-59, 2000
• 45 E. Lee, "3-D video generation using hybrid camera system" 5-, 2009
• 46 S. D. Cochran, "3-D surface description from binocular stereo" 14 (14): 981-994, 1992
• 47 김만배, "2차원 동영상의 3차원 입체 변환 방법" 6 (6): -35, 2001
• 48 백윤기, "2차원 동영상으로부터 다시점 동영상 생성 기법" 한국통신학회 33 (33): 53-61, 2008
• 49 C. Weerasighe, "2D-to-pseudo 3D conversion if head-and-shoulder images using feature-based parametric disparity maps" 3 : 963-966, 2001
• 50 T. Okino, ""New television with 2D/3D image conversion techniques" 2653 : 96-103, 1995