Semi-supervised Learning Framework for Very High Resolution Image Classification Using CycleGAN = 초고해상도 영상 분류를 위한 순환 적대적 생성 신경망 기반의 준지도 학습 프레임워크
저자
발행사항
서울 : 서울대학교 대학원, 2021
학위논문사항
학위논문(석사)-- 서울대학교 대학원 : 건설환경공학부 2021. 8
발행연도
2021
작성언어
영어
주제어
DDC
624
발행국(도시)
서울
형태사항
vii, 71 ; 26 cm
일반주기명
지도교수: 김용일
UCI식별코드
I804:11032-000000167384
소장기관
Image classification of Very High Resolution (VHR) images is a fundamental task in the remote sensing domain for various applications such as land cover mapping, vegetation mapping, and urban planning. In recent years, deep convolutional neural networks have shown promising performance in image classification studies. In particular, semantic segmentation models with fully convolutional architecture-based networks demonstrated great improvements in terms of computational cost, which has become especially important with the large accumulation of VHR images in recent years.
However, deep learning-based approaches are generally limited by the need of a sufficient amount of labeled data to obtain stable accuracy, and acquiring reference labels of remotely-sensed VHR images is very labor-extensive and expensive. To overcome this problem, this thesis proposed a semi-supervised learning framework for VHR image classification. Semi-supervised learning uses both labeled and unlabeled data together, thus reducing the model’s dependency on data labels. To address this issue, this thesis employed a modified CycleGAN model to utilize large amounts of unlabeled images.
CycleGAN is an image translation model which was developed from Generative Adversarial Networks (GAN) for image generation. CycleGAN trains unpaired dataset by using cycle consistency loss with two generators and two discriminators. Inspired by the concept of cycle consistency, this thesis modified CycleGAN to enable the use of unlabeled VHR data in model training by considering the unlabeled images as images unpaired with their corresponding ground truth maps.
To utilize a large amount of unlabeled VHR data and a relatively small amount of labeled VHR data, this thesis combined a supervised learning classification model with the modified CycleGAN architecture. The proposed framework contains three phases: cyclic phase, adversarial phase, and supervised learning phase. Through the three phase, both labeled and unlabeled data can be utilized simultaneously to train the model in an end-to-end manner.
The result of the proposed framework was evaluated by using an open-source VHR image dataset, referred to as the International Society for Photogrammetry and Remote Sensing (ISPRS) Vaihingen dataset. To validate the accuracy of the proposed framework, benchmark models including both supervised and semi-supervised learning methods were compared on the same dataset. Furthermore, two additional experiments were conducted to confirm the impact of labeled and unlabeled data on classification accuracy and adaptation of the CycleGAN model for other classification models. These results were evaluated by the popular three metrics for image classification: Overall Accuracy (OA), F1-score, and mean Intersection over Union (mIoU).
The proposed framework achieved the highest accuracy (OA: 0.796, 0.786, and 0.784, respectively in three test sites) in comparison to the other five benchmarks. In particular, in a test site containing numerous objects with various properties, the largest increase in accuracy was observed due to the regularization effect from the semi-supervised method using unlabeled data with the modified CycleGAN. Moreover, by controlling the amount of labeled and unlabeled data, results indicated that a relatively sufficient amount of unlabeled and labeled data is required to increase the accuracy when using the semi-supervised CycleGAN. Lastly, this thesis applied the proposed CycleGAN method to other classification models such as the feature pyramid network (FPN) and the pyramid scene parsing network (PSPNet), in place of UNet. In all cases, the proposed framework returned significantly improved results, displaying the framework’s applicability for semi-supervised image classification on remotely-sensed VHR images.
고해상도 영상 분류는 토지피복지도 제작, 식생 분류, 도시 계획 등에서 다양하게 활용되는 대표적인 영상 분석 기술이다. 최근, 심층 합성곱 신경망 (deep convolutional neural network)은 영상 분류 분야에서 두각을 보여왔다. 특히, 심층 합성곱 신경망 기반의 의미론적 영상 분할 (semantic segmentation) 기법은 연산 비용을 매우 감소시키며, 이러한 점은 지속적으로 고해상도 데이터가 축적되고 있는 고해상도 영상을 분석할 때 중요하게 작용된다.
심층 학습 (deep learning) 기반 기법이 안정적인 성능을 달성하기 위해서는 일반적으로 충분한 양의 라벨링된 데이터 (labeled data)가 확보되어야 한다. 그러나, 원격탐사 분야에서 고해상도 영상에 대한 참조데이터를 얻는 것은 비용적으로 제한적인 경우가 많다. 이러한 문제를 해결하기 위해 본 논문에서는 라벨링된 영상과 라벨링되지 않은 영상 (unlabeled image)을 함께 사용하는 준지도 학습 프레임워크를 제안하였으며, 이를 통해 고해상도 영상 분류를 수행하였다. 본 논문에서는 라벨링되지 않은 영상을 사용하기 위해서 개선된 순환 적대적 생성 신경망 (CycleGAN) 방법을 제안하였다.
순환 적대적 생성 신경망은 영상 변환 모델 (image translation model)로 처음 제안되었으며, 특히 순환 일관성 손실 함수 (cycle consistency loss function)를 통해 페어링되지 않은 영상 (unpaired image)을 모델 학습에 활용한 연구이다. 이러한 순환 일관성 손실 함수에 영감을 받아, 본 논문에서는 라벨링되지 않은 영상을 참조데이터와 페어링되지 않은 데이터로 간주하였으며, 이를 통해 라벨링되지 않은 영상으로 분류 모델을 함께 학습시켰다.
수많은 라벨링되지 않은 데이터와 상대적으로 적은 라벨링된 데이터를 함께 활용하기 위해, 본 논문은 지도 학습과 개선된 준지도 학습 기반의 순환 적대적 생성 신경망을 결합하였다. 제안된 프레임워크는 순환 과정(cyclic phase), 적대적 과정(adversarial phase), 지도 학습 과정(supervised learning phase), 세 부분을 포함하고 있다. 라벨링된 영상은 지도 학습 과정에서 분류 모델을 학습시키는 데에 사용된다. 적대적 과정과 지도 학습 과정에서는 라벨링되지 않은 데이터가 사용될 수 있으며, 이를 통해 적은 양의 참조데이터로 인해 충분히 학습되지 못한 분류 모델을 추가적으로 학습시킨다.
제안된 프레임워크의 결과는 공공 데이터인 ISPRS Vaihingen Dataset을 통해 평가되었다. 정확도 검증을 위해, 제안된 프레임워크의 결과는 5개의 벤치마크들 (benchmarks)과 비교되었으며, 이때 사용된 벤치마크 모델들은 지도 학습과 준지도 학습 방법 모두를 포함한다. 이에 더해, 본 논문에서는 라벨링된 데이터와 라벨링되지 않은 데이터의 구성에 따른 영향을 확인하였으며, 다른 분류 모델에 대한 본 프레임워크의 적용가능성에 대한 추가적인 실험도 수행하였다.
제안된 프레임워크는 다른 벤치마크들과 비교해서 가장 높은 정확도 (세 실험 지역에 대해 0.796, 0.786, 0.784의 전체 정확도)를 달성하였다. 특히, 객체의 크기나 모양과 같은 특성이 다른 실험 지역에서 가장 큰 정확도 상승을 확인하였으며, 이러한 결과를 통해 제안된 준지도 학습이 모델을 우수하게 정규화(regularization)함을 확인하였다. 또한, 준지도 학습을 통해 향상되는 정확도는 라벨링된 데이터에 비해 라벨링되지 않은 데이터가 상대적으로 많았을 때 그 증가 폭이 더욱 커졌다. 마지막으로, 제안된 준지도 학습 기반의 순환 적대적 생성 신경망 기법이 UNet 외에도 FPN과 PSPNet이라는 다른 분류 모델에서도 유의미한 정확도 상승을 보였다. 이를 통해 다른 분류 모델에 대한 제안된 프레임워크의 적용가능성을 확인하였다
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)