고해상도 광학영상 복원을 위한 딥러닝 기반 SAR-광학 영상 변환 모델 비교 = Comparison of Deep Learning-Based SAR-to-Optical Image Translation Models for High Spatial Resolution Optical Image Restoration

국문 초록 (Abstract)

초소형 군집위성을 포함한 시간해상도가 높은 고해상도 위성영상의 이용이 증가하고 있지만, 광학영상 내 구름이나 구름 그림자로 인한 결측 지역의 복원은 여전히 시계열 영상 구성에서 매우 중요하다. 합성 개구레이더(synthetic aperture radar, SAR) 영상을 광학영상으로 변환하는 SAR-광학영상 변환은 광학영상의 결측 지역 복원에 효과적인 방법으로 적용되고 있다. 그러나 SAR-광학영상 변환을 고해상도 광학영상의 결측 지역 복원에 적용한 사례는 많지 않다. 이 연구에서는 고해상도 광학영상 복원을 위한 생성적 적대 신경망(generative adversarial networks, GAN) 기반 SAR-광학영상 변환 모델의 성능을 비교하고자 한다. 대표적인 GAN 기반 모델인 Pix2Pix, CycleGAN 그리고 다중시기 영상 페어를 추가로 이용하는 multi-temporal conditional GAN (MTcGAN)을 선정하였다. 김제 평야 일대에서 촬영된 단일 편파 COSMO-SkyMed 영상과 다중분광 PlanetScope 영상을 이용하여 SAR-광학영상 변환 실험을 수행하였고, 다양한 다중시기 영상 페어에 따른 예측 성능을 비교하였다. 실험 결과, Pix2Pix, CycleGAN, MTcGAN의 다중 분광밴드 유사도를 나타나내는 spectral angle mapper 값은 각각 최소 9.1°, 13.4°, 6.9°로 나타나MTcGAN이 실제 광학영상과 분광학적으로 가장 유사한 예측 결과를 생성하였다. 또한MTcGAN은 정량 및 정성적 평가에서 고해상도 구조 정보를 효과적으로 반영하였다. 이러한 결과는 딥러닝 기반 SAR-광학영상 변환에서 추가 입력 특징의 사용이 예측 정확도를 향상시킬 수 있음을 나타낸다.

다국어 초록 (Multilingual Abstract)

Despite the increased availability of high spatial resolution satellite images with high temporal resolution, including micro-satellite constellations, the restoration of missing regions due to clouds and cloud shadows in optical imagery remains crucial for constructing optical image time series. The translation of synthetic aperture radar (SAR) imagery into optical imagery, known as SAR-to-optical image translation, has been effectively applied for optical image restoration. However, few studies have applied SAR-to-optical image translation to restore missing regions in high spatial resolution optical imagery. This study evaluates the performance of SAR-to-optical image translation models using generative adversarial networks (GAN) for high spatial resolution optical image restoration. Three representative GAN-based models, including Pix2Pix, CycleGAN, and multi-temporal conditional GAN (MTcGAN), were selected in this study. MTcGAN, which utilizes additional multi-temporal SAR and optical image pairs, was particularly selected to investigate the effects of input images. SAR-to-optical image translation experiments were conducted using COSMO-SkyMed single-polarization images and multi-spectral PlanetScope images from the Gimje Plain area, with performance evaluation of predictions across various multi-temporal image pairs. The results showed that the spectral angle mapper values, which represent the multi-spectral band similarity, for Pix2Pix, CycleGAN, and MTcGAN were 9.1°, 13.4°, and 6.9° respectively, indicating that MTcGAN generated predictions most spectrally similar to actual optical images. Furthermore, MTcGAN effectively preserved detailed structural information in both quantitative and qualitative evaluations. These findings suggest that incorporating additional input features in deep learning-based SAR-to-optical image translation can improve prediction accuracy.