다양한 조명 색상에서 합성 이미지의 시각적 균일성 향상을 위한 이미지 조화 기법 = An Image Harmonization Method with Improved Visual Uniformity of Composite Images in Various Lighting Colors

국문 초록 (Abstract)

이미지 합성은 배경 이미지 위에 다른 이미지에서 추출한 전경 객체를 배치하여 새로운 이미지를 생성하는 기법이다. 이러한 합성 이미지의 시각적 균일성 향상을 위해 전경 객체의 조명 색상을 배경 이미지와 일치되게 조정하는 딥러닝 기반의 이미지 조화 기법들이 최근 활발히 제안되고 있다. 하지만, 기존 기법들은 학습에 사용된 데이터셋의 조명 색상 분포에 대해서만 색상을 조정하기 때문에 시각적 균일성에서 성능이 제한적이다. 이에 본 논문은 다양한 조명 색상에 강건한 성능을 보이는 새로운 이미지 조화 기법을 제안한다. 우선, 데이터 전처리를 통해 다양한 조명 색상 분포로 구성된 새로운 데이터셋인 iHColor를 먼저 구축하고, 사전 훈련된 GAN 기반 Harmonization 모델을 iHColor 데이터셋을 사용하여 미세 조정을 수행한다. 실험을 통해 제안 기법이 다양한 조명 색상에서 기존 모델보다 합성 이미지의 시각적 균일성을 개선시킴을 보인다.

다국어 초록 (Multilingual Abstract)

Image composition is a technique that creates a composite image by arranging foreground objects extracted from other images onto a background image. To improve the visual uniformity of the composite images, deep learning-based image harmonization techniques that adjust the lighting and color of foreground objects to match the background image have been actively proposed recently. However, existing techniques have limited performance in visual uniformity because they adjust colors only for the lighting color distribution of the dataset used for training. To address this problem, we propose a novel image harmonization scheme that has robust performance for various lighting colors. First, iHColor, a new dataset composed of various lighting color distributions, is built through data preprocessing. Then, a pre-trained GAN-based Harmonization model is fine-tuned using the iHColor dataset. Through experiments, we demonstrate that the proposed scheme can generate harmonized images with better visual uniformity than existing models for various lighting colors.

참고문헌 (Reference)

• 1 Song-Hai Zhang, "What and where : A context-based recommendation system for object insertion" 6 (6): 79-93, 2020
• 2 Su Xue, "Understanding and improving the realism of image composites" 2012
• 3 Olaf Ronneberger, "U-net : Convolutional networks for biomedical image segmentation" 234-241, 2015
• 4 Yaxing Wang, "Transferring gans : generating images from limited data" 218-234, 2018
• 5 Yifan Jiang, "SSH : A Self-Supervised Framework for Image Harmonization" 4832-4841, 2021
• 6 Shuchen Weng, "MISC : Multi-Condition Injection and Spatially-Adaptive Compositing for Conditional Person Image Synthesis" 7741-7749, 2020
• 7 Xiaodong Cun, "Improving the harmony of the composite image by spatial-separated attention module" 29 : 4759-4771, 2020
• 8 Guilin Liu, "Image inpainting for irregular holes using partial convolutions" 85-100, 2018
• 9 Zhanghan Ke, "Harmonizer : Learning to Perform White-Box Image and Video Harmonization" 690-706, 2022
• 10 Ian Goodfellow, "Generative adversarial nets" 2672-2680, 2014
• 11 Sangwoo Mo, "Freeze the discriminator : a simple baseline for fine-tuning gans"
• 12 Jiahui Yu, "Free-form image inpainting with gated convolution" 4471-4480, 2019
• 13 Konstantin Sofiiuk, "Foreground-aware Semantic Representations for Image Harmonization" 1620-1629, 2021
• 14 Egor Zakharov, "Few-Shot Adversarial Learning of Realistic Neural Talking Head Models" 2019
• 15 Wenyan Cong, "DoveNet : Deep Image Harmonization via Domain Verification" 8394-8403, 2020
• 16 Yi-Hsuan Tsai, "Deep image harmonization" 2799-2807, 2017
• 17 Jingdong Wang, "Deep high-resolution representation learning for visual recognition" 5685-5696, 2020