딥러닝 모델에 따른 당뇨성 망막질환 안저영상의 자동진단 성능평가

다국어 초록 (Multilingual Abstract)

Purpose: In recent years, the application of deep learning to the medical and biomedical research fields is increasing exponentially. Convolutional neural networks have high accuracy in the field of image recognition. It is improving accuracy. However, since medical and biomedical fields deal with human life, it is difficult to expect active medical data collection due to conservative diagnosis and treatment and research ethical aspects such as patient privacy.
Diabetic retinal disease, which is reported as a leading cause of blindness in adults, causes irreversible vision loss due to vascular complications of chronic diabetes. For this reason, the necessity of fundus examination for the early diagnosis and prevention of diabetic retinopathy is emphasized. In the case of fundus images, highly skilled specialists are needed to precisely read minute lesions, but there are many difficulties in reading test results due to the lack of specialists for fundus image preparation for domestic demand. In addition, there is a report that there is a difference in the coincidence rate of fundus images among ophthalmologists with sufficient expertise and experience. Due to the lack of skilled ophthalmologists and subjective reading results, there is a difficulty in securing the reliability of reading results. Although research is being conducted using running models and algorithms, the situation in Korea is still relatively low.
For this reason, this study aims to implement the deep learning model for the automatic diagnosis of fundus image for the accurate and objective detection of diabetic retinal disease by applying various deep learning models and algorithms developed previously. And we want to perform performance evaluation and automatic diagnosis according to deep learning model.
The purpose of this study is to provide useful information on early prevention and early treatment of blindness as an automatic diagnosis of diabetic retinal disease of fundus images using deep learning, which is the final purpose of this study. It is intended to be used as basic data in related industries and research of automatic diagnosis of diseases.

Material and Methods: In this study, deep learning modeling was implemented by applying 7 types of deep learning models developed and fundus image dataset. By implementing the first deep learning modeling, we obtained performance indicators and optimized kernels for seven types of deep learning models. And, pre-trained deep learning modeling was implemented to obtain performance indicators and to compare and evaluate performance before and after pre-trained. For performance evaluation, the Cohen Kappa coefficient, QWK, 2-QWK, accuracy, and loss function were set as indicators of performance evaluation. In addition, the automatic diagnosis results based on the seven types of deep learning models obtained by implementing test modeling with pre-trained were evaluated by the agreement rate of two ophthalmologists with randomly selected 180 ocular fundus images.

Results: The evaluation of the validation modeling Cohen Kappa coefficients for the 7th primary deep learning model for the validation modeling and the final epoch of the second deep learning modeling with pre-trained is based on the Cohen kappa of the seven deep learning models. The coefficients were 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012. In the second deep learning modeling with pre-trained, the Cohen kappa coefficients of the seven types of deep learning models showed 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, and 0.909. As a result, deep learning modeling with pre-trained improved its performance compared to the first deep learning modeling. The QWK values for the training modeling and the validation modeling in the QWK values were higher for all seven types of pre-trained deep learning modeling than for the first deep learning modeling. It was found that the accuracy of the classification was improved.
In the evaluation of the 2-QWK values, the pre-trained deep learning models of the 2-QWK values for the validation modeling were higher than the first deep learning modeling. In this case, it was found that the accuracy of image classification was improved.
In addition, the evaluation of the accuracy of the first deep learning modeling and the pre-trained deep learning modeling applied with pre-trained showed higher accuracy than the first deep learning modeling. In the evaluation of the loss function, the pre-trained deep learning model with pre-trained tends to have lower overall loss function than the first deep learning model.
The coincidence rate between the ophthalmologist 2's readings on 7 randomly selected fundus images and the auto diagnosis results of 7 types of deep learning models applied with pre-trained was 68.89% for Inception V3, 70.00% for VGGNet 19, and ResNet 50 for 76.11%, 72.78% for DenseNet 121, 70.00% for Xception, 70.56% for Inception ResNet V2, and 78.89% for EfficientNet B5. As a result, EfficientNet B5 showed the highest agreement rate and Inception V3 showed the lowest agreement rate.

Conclusion: In this study, we implemented first deep learning model with first deep learning modeling applied pre-trained for the automatic diagnosis of diabetic retinal disease, and performance evaluation of pre-trained deep learning model showed better performance than the first deep learning model. I could confirm that. As a result, it is considered that performance will be improved in the feature extraction and classification of the image data if the pre-trained deep learning modeling is implemented by reapplying the optimized kernel acquired through the first deep learning modeling in the deep learning study using the medical image as the data set.

국문 초록 (Abstract)

목적: 최근의 딥러닝은 의료 및 생명의학연구 분야에 대한 적용이 기하급수적으로 증가하고 있으며, 컨볼루션 신경망은 영상인식 분야에서 높은 정확도를 나타내어 의료영상처리 분야에서도 컨볼루션 신경망을 적용한 자동진단 기법을 도입하여 정확도를 개선하고 있다. 그러나 의료 및 생명 의학 분야는 인간의 생명을 다루기 때문에 진단이나 치료가 보수적이고 환자 개인정보 등의 연구 윤리적 측면으로 인하여 적극적인 의료데이터 수집을 기대하기는 어려운 여건이다.
성인의 대표적인 실명 원인으로 보고되고 있는 당뇨성 망막질환은 만성 당뇨병의 혈관 합병증으로 비가역적인 시력 상실을 초래한다. 이러한 이유로 당뇨성 망막질환에 대한 조기 진단 및 예방 목적의 안저검사에 대한 필요성이 강조되고 있다. 안저영상의 경우 미세한 병변을 정밀하게 판독하기 위해서는 고도의 숙련된 전문의가 필요하나 현재 국내의 경우 수요에 대비한 안저영상의 판독 전문의가 부족하여 검사 결과의 판독에 많은 어려움이 있다. 뿐만 아니라 충분한 전문성과 경험을 보유한 안과 전문의 사이에서도 안저영상의 판독 일치율에 차이가 있다는 보고도 있다. 이와 같이 숙련된 안과의사의 부족 및 주관적인 판독결과 등으로 인하여 판독결과에 대한 신뢰성의 확보에 대해 어려움 등이 있으며, 안저영상의 당뇨성 망막질환에 대한 자동진단의 딥러닝 연구는 국외의 경우 다양한 딥러닝 모델 및 알고리즘 등을 이용하여 연구가 진행되고 있으나 국내의 경우 상대적으로 아직 미진한 실정이다.
이러한 이유로 본 연구에서는 기존에 개발된 다양한 딥러닝 모델 및 알고리즘 등을 적용하여 정확하고 객관적인 당뇨성 망막질환 검출을 위한 안저영상의 자동진단에 대한 딥러닝 모델을 단계별로 구현하고자 한다. 그리고 딥러닝 모델에 따른 성능평가 및 자동진단을 수행하고자 한다.
이러한 연구를 통하여 본 연구의 최종 목적인 딥러닝을 이용한 안저영상의 당뇨성 망막질환에 대한 자동진단으로 실명의 조기 예방 및 조기 치료 등에 있어 유용한 정보를 제공하고자 하며, 안저영상 기반의 당뇨성 망막질환에 대한 자동진단의 관련 산업 및 연구에 있어 기초자료로 활용되고자 한다.

재료 및 방법: 본 연구에서는 기존에 개발된 7종류의 딥러닝 모델과 안저영상 데이터 세트를 적용하여 딥러닝 모델링을 구현하였다. 1차 딥러닝 모델링을 구현하여 7종류의 딥러닝 모델에 대한 성능지표 및 최적화된 커널을 획득하였다. 그리고 사전학습을 적용한 2차 딥러닝 모델링을 구현하여 성능지표를 획득하였으며 사전학습 전과 후의 성능을 비교 평가하였다. 성능평가는 코헨 카파계수, QWK, 2차 QWK, 정확도, 손실함수 값을 성능평가의 지표로 설정하여 사전학습 전과 후의 7종류의 딥러닝 모델링에 대한 성능을 비교 평가하였다. 그리고 사전학습을 적용한 테스트 모델링을 구현하여 획득한 7종류의 딥러닝 모델에 따른 자동진단결과는 무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2인과의 판독결과에 대한 일치율로 평가하였다.

결과: 검증 모델링에 대한 7종류의 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델링의 최종 에포크에 대한 코헨 카파계수의 평가는 1차 딥러닝 모델링의 경우 7종류의 딥러닝 모델의 코헨 카파계수는 0.867, 0.815, 0.823, 0.783, 0.895, 0.883, -0.012의 결과를 나타내었다. 사전학습을 적용한 2차 딥러닝 모델링의 경우, 7종류의 딥러닝 모델의 코헨 카파계수는 0.895, 0.899, 0.906, 0.909, 0.891, 0.883, 0.909의 결과를 나타내었다. 그 결과 사전학습을 적용한 딥러닝 모델링은 학습 초기 모델과 비교하여 성능이 개선되었다. 그리고 QWK 값에서 학습 모델링 및 검증 모델링에 대한 QWK의 값은 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다.
2차 QWK 값의 평가는 검증 모델링에 대한 2차 QWK의 값의 경우 7종류의 모든 2차 딥러닝 모델이 1차 딥러닝 모델보다 높게 나타났으며, 그 결과 사전학습을 적용한 2차 딥러닝 모델의 경우, 이미지 분류에 대한 정확성이 개선되었음을 알 수 있었다. 그리고 1차 딥러닝 모델과 사전학습을 적용한 2차 딥러닝 모델 전체에 대한 정확도의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 정확도의 결과가 높게 나타나는 경향을 나타내었으며, 손실함수 값의 평가는 사전학습을 적용한 2차 딥러닝 모델이 1차 딥러닝 모델보다 전체적으로 손실함수 값의 결과가 낮게 나타나는 경향을 나타내었다.
무작위로 선정한 180장의 안저영상에 대한 안과 전문의 2의 판독결과와 사전학습을 적용한 7종류의 딥러닝 모델의 자동진단 결과에 대한 일치율은 Inception V3는 68.89%, VGGNet 19는 70.00%, ResNet 50은 76.11%, DenseNet 121은 72.78%, Xception은 70.00%, Inception ResNet V2는 70.56%, EfficientNet B5는 78.89%를 나타내었다. 그 결과 안과 전문의 2인과의 일치율 평가는 EfficientNet B5가 가장 높은 일치율을 나타내었으며, Inception V3는 가장 낮은 일치율을 나타내었다.

결론: 본 연구에서는 당뇨성 망막질환의 자동진단을 위하여 1차 딥러닝 모델링과 사전학습을 적용한 2차 딥러닝 모델링을 구현하였으며, 사전학습을 적용한 2차 모델링의 성능평가가 1차 모델링보다 우수한 성능을 나타내는 것을 확인할 수 있었다. 그 결과 향후 의료영상 데이터를 적용한 딥러닝 연구 시, 1차 모델링을 통하여 획득한 최적화된 커널을 재적용하여 2차 모델링을 구현한다면 이미지 데이터의 특징 추출 및 분류에 있어 성능이 개선된다고 사료 된다.

목차 (Table of Contents)

• Ⅰ. 서 론 1
• Ⅱ. 이론적 배경 5
• Ⅲ. 기술현황 분석 22
• Ⅳ. 재료 및 방법 38
• 1. 실험재료 38
• 가. 딥러닝 모델링 아키텍쳐 38
• 나. 프로그래밍 언어 39
• 다. 프레임워크 & 가상환경 40
• 라. 웹 기반의 파이썬 개발환경 41
• 마. 데이터 세트 42
• 바. 딥러닝 모델 46
• 2. 실험방법 63
• 가. 딥러닝 모델링 선정 64
• 나. 성능평가 82
• Ⅴ. 결 과 87
• 1. Metric 평가 87
• 가. Cohen Kappa score 87
• 나. 딥러닝 모델에 따른 QWK 평가 95
• 다. 딥러닝 모델에 따른 2차 QWK 평가 102
• 2. 성능평가 105
• 가. 1차 딥러닝 모델에 따른 성능평가 106
• 나. 1차 실험 딥러닝 모델 전체 성능평가 134
• 다. 2차 딥러닝 모델에 따른 성능평가 142
• 라. 2차 실험 딥러닝 모델 전체 성능평가 170
• 마. 전체 딥러닝 모델링 성능평가 178
• 3. 사전학습 적용 테스트 모델링의 자동진단 평가 183
• 가. 사전학습 적용 딥러닝 모델링에 따른 자동진단 라벨링 결과 184
• 나. 당뇨성 망막질환 안저영상의 딥러닝 모델 자동진단 결과와 안과 전문의 2인의 판독결과 일치율 평가 191
• Ⅵ. 고 찰 200
• Ⅶ. 결 론 205
• 참고문헌 208
• Abstract 217

참고문헌 (Reference)

• 1 박응용, "점프 투 파이썬", 이지스 퍼블리싱, 2016
• 2 문용혁, 이용주, 박준용, 민옥기, "경량 딥러닝 기술 동향", 한국전자통신연구 원, 34(2), 40-50, 2019
• 3 김종혁, "AI 시대의 의료환경변화", 대한외과학회 학술대회 초록집, 12-13, 2019
• 4 박유미, 최완, 임은지, 안신영, "딥러닝 분산처리 기술동향", 한국전자통신연구 원, 31(3), 131-141, 2016
• 5 사이토 고키, "밑바닥부터 시작하는 딥러닝", 한빛 미디어, 2017
• 6 문성은, 장수범, 이종석, 이정혁, "기계학습 및 딥러닝 기술동향", 한국통신학 회지(정보와통신), 33(10), 49-56, 2016
• 7 정지훈, "딥러닝 상용화를 위한 해결 과제들", 한국정보과학회지, 37(2), 46-51, 2019
• 8 이건명, 한찬식, 최승명, 이상현, "딥러닝을 활용한 다발성 골절 분류", 한국지 능시스템학회 논문지, 29(4), 285-290, 2019
• 9 김대원, 정수헌, "ICML과 NIPS 발표논문 6,163건 메타 분석", 카카오 AI 리포 트, 3, 6-23, 2017
• 10 김경섭, 송철규, 서승연, 김정환, "망막혈관 검출을 위한 영상분할기법", 한국 컴퓨터정보학회 학술발표논문집, 27(1), 397-398, 2019
• 11 박찬연, "2018 ICML을 통해 살펴보는 AI 연구 동향", 카카오 AI 리포트, 14, 126-136, 2018
• 12 정동규, "인공지능 기술과 주요적용 산업 동향", 한국정보기술학회지, 15(2), 21-28, 2017
• 13 김봉모, "딥러닝 기반의 이미지 분류 기술 동향", 한국통신학회지(정보와통 신), 35(12), 8-14, 2018
• 14 김범상, 이익현, "딥러닝 기법을 이용한 망막 혈관 분할", 한국정보기술학회논 문지, 17(5), 77-82, 2019
• 15 김재환, 최대성, 박형민, 민세윤, "딥러닝 기법을 이용한 태풍 강도 분석", 한국 기상학회 학술대회 논문집, 95-95, 2019
• 16 오일석, "기계학습(Machine Learning), 한빛 아카데미", 대한민국 통계청, 2019, 2017
• 17 안수득, 유정옥, "당뇨병 환자의 안저검사 수검 영향요인", 한국보건간호학회 지, 32(1), 44-55, 2018
• 18 정규환, "인공지능기반 의료영상 분석 기술 동향", 정보통신기술진흥센터, 2-13, 2018
• 19 서영민, 한종기, "딥러닝 기반 암세포 사진 분류 알고리즘", 방송공학회논문 지, 23(5), 669-681, 2018
• 20 곽진태, 조현우, 이대근, 김경은, "대장암 종양 분류를 위한 딥러닝 모델 연구", 한국정보과학회 학술발표논문집, 1866-1868, 2019
• 21 이광엽, 최세진, 이상일, "활성화 함수의 근사화를 통한 MLP 가속기 구현", 한국전기산업공학회지, 22, (1), 197-200, 2018
• 22 백정열, "최근 인공지능 프로젝트 동향. 정보통신기획평가원", 주간기술동향, 13-26, 2016
• 23 정재훈, 조현성, "녹내장 감별을 위한 안저영상 기반의 딥러닝 모델 개발", 대한안과학회 학술발표지, 2018
• 24 김명하, 임승택, 심용기, 송재철, 나경필, 김문철, "딥러닝 분석을 이용한 미세 먼지 농도 예측에 관한 연구", 대한전자공학회 학술대회, 1400-1405, 2019
• 25 이승규, 장원희, "MRI 영상 및 Deep Learning을 이용한 병변 인식 알고리즘 개발", 한국정보과학회 학술발표논문집, 2137-2139, 2018
• 26 김선범, 이희준, 배준우, 박희진, 김영민, "딥러닝을 이용한 데이터 소실로 인 한 훼손된 문서의 복구", 한국정보과학회 학술발표논문집, 2109-2111, 2018
• 27 강송희, 홍은영, 최재영, 이은애, 김동식, "GAN 구조의 딥러닝을 사용한 방사 선 디텍터의 화소 결함 보정", 대한전자공학회 학술대회, 536-539, 2019
• 28 김동환, 김태현, 김수명, "딥러닝을 통한 차등간격의 조향각 노드 결정에 의 한 자율주행", 제어로봇시스템학회 논문지, 25(8), 677-683, 2019
• 29 강준혁, 이재길, 우요, "딥러닝을 활용한 시계열 자료의 이상치 탐지 모델에 대한 조사", 한국정보과학회 학술발표논문집, 919-921, 2019
• 30 곽노준, 박성현, 김대식, "딥러닝 기술 동향: CNN과 RNN을 중심으로. 정보 통신기술진흥센터", 주간기술동향, 13-25, 2009
• 31 윤혜진, 조정원, "안과 의료영상 대상 딥러닝 연구 동향 분석 및 윤리적 이슈 고찰", 한국정보과학회 학술발표논문집, 927-929, 2018
• 32 조현성, "인공지능을 이용한 안저영상 판독 기술 동향정보통신기술진흥센 터", 17-29, 2018
• 33 권오원, 추준욱, 이동규, 서준호, 김창원, "딥러닝 기술을 적용한 운전자 맞춤 형 긴급자동제동 시스템 파라메터 추출", 제어로봇시스템학회 논문지, 25(8), 671-676, 2019
• 34 김도연, 박성욱, "가중치 초기화 및 매개변수 갱신 방법에 따른 컨벌루션 신 경망의 성능 비교", 한국멀티미디어학회지, 21(4), 441-449, 2018
• 35 김명찬, 송경두, 도신호, "딥러닝 알고리즘 개발과정을 통해 본 영상의학분야 에서 딥러닝의 최신 경향", 대한영상의학회지, 80(2), 202-212, 2019
• 36 김민영, 서준호, 박해준, 김성민, "안저영상의 영역분할에 사용된 합성곱 신 경망 방식의 혈관 조영 영상의 적용", 한국정밀공학회 학술발표대회 논문집, 354-354, 2019
• 37 신승원, "오지은, 김광기 2차원 의료영상에서 컴퓨터 보조 진단(Computer Aided Diagnosis)의 역할", 대한전기학회지, 64(7), 16-25, 2015
• 38 황일형, "성인 한국인에서 백내장에 영향을 미치는 요인 분석-당뇨와 백내장 의 관련성 중심으로-", 서울대학교 보건대학원 보건학 석사학위 논문, 2014
• 39 박상수, 정기석, "CPU 기반 장치에서 효율적인 딥러닝 추론을 위한 컨볼루션 신경망의 가속 방법의 성능 비교", 한국통신학회 학술대회논문집, 1327-1329, 2019
• 40 김남규, "딥러닝 기반의 전력수요예측을 통한 건물에서의 에너지 관리 전략. 인하대학교 대학원 전기공학과", 공학석사학위 논문, 2018
• 41 김성철, "신경원, 김성준, 김동민, 최흥호 초음파 영상의 딥러닝 영상분할에 서 스페클 노이즈 제거 필터의 적용이 분할 정확도에 미치는 영향에 대한 연 구", 대한전자공학회 학술대회, 595-596, 2019