SAM 미세조정을 이용한 대장 내시경 용종이미지 분할 성능분석 및 성능향상 연구 = Performance Analysis and Performance Improvement Study on Colonoscopy Polyp Image Segmentation Using SAM Fine-tuning

국문 초록 (Abstract)

Segment Anything Model (SAM)은 광범위한 대용량 일반이미지 데이터셋으로 학습된 이미지 분할 모델이다. 본 연구에서는 대규모 이미지 분할 모델이 소규모 데이터를 이용하는 특정 의료 영상 분야인 대장 내시경 용종분할에서 충분한 성능을 보이는지 확인하고, 미세조정을 통한 성능향상 방법에 대해 연구하였다. 세 가지 학습 방법을 제안하였는데, 첫째는 Generative Adversarial Networks (GAN)기반의 실제와 유사한 용종이미지 생성을 통해 생성된 이미지 데이터를 추가하여 학습데이터를 확장하는 것, 둘째는 copy-pasting 방법을 이용하여 기존 이미지 데이터를 합성하여 새로운 이미지 데이터를 만들고, 이를 학습데이터에 추가하는 것, 셋째는 앞서 사용한 생성된 이미지 데이터와 copy-pasting로 만든 이미지 데이터를 이용하여 SAM을 사전학습하고, 모델을 기존의 학습데이터로 미세조정 하는 것이다. 이 세 가지 방법을 통해 SAM의 성능을 향상하려는 시도가 이루어졌으며, 기존 모델에 비해 Dice Similarity Coefficient (DSC)와 Mean Intersection over Union (mIoU) 성능향상을 확인하였다.

다국어 초록 (Multilingual Abstract)

Segment Anything Model (SAM) is an image segmentation model trained on a large-scale, general image dataset. In this study, we investigated whether such a large-scale image segmentation model can perform adequately in the specific medical imaging field of colonoscopy polyp segmentation using small-scale data, and we explored methods to enhance performance through fine-tuning. Three training methods were proposed. First, expanding the training dataset by incorporating generated images through Generative Adversarial Networks (GAN), aiming for realistic polyp image synthesis. Second, synthesizing new image data by merging existing images through copy-pasting, and adding them to the training data. Third, pre-training SAM with the generated and copy-pasted images, followed by fine-tuning the model with the original training data. These three methods were an attempt to improve the performance of SAM, and we observed enhancements in the Dice Similarity Coefficient (DSC) and Mean Intersection over Union (mIoU) compared to the original model.

참고문헌 (Reference)

• 1 하성화 ; 신영학, "딥러닝기반 대장내시경 용종 검출에서 작은 용종의 검출 성능분석 및 성능향상 연구" 32 (32): 68-75, 2022
• 2 Jorge Bernal, "WM-DOVA maps for accurate polyp highlighting in colonoscopy:Validation vs. saliency maps from physicians" 43 : 2015
• 3 송훈, "SemanticStyleGAN을 이용한 대장용종 생성 연구" 2198-2201, 2023
• 4 Yichun Shi, "SemanticStyleGAN : Learning Compositional Generative Priors for Controllable Image Synthesis and Editing" 11254-11264, 2022
• 5 Alexander Kirillov, "Segment Anything"
• 6 Deng-Ping Fan, "Pranet : Parallel reverse attention network for polyp segmentation" 263-273, 2020
• 7 S. Zhao, "Magnitude, risk factors, and factors associated with adenoma miss rate of tandem colonoscopy : A systematic review and meta-analysis" 156 (156): 1661-1674, 2019
• 8 Dominic Williams, "Leaf Only SAM : A Segment Anything Pipeline for Zero-Shot Automated Leaf Segmentation"
• 9 Debesh Jha, "Kvasir-SEG : A Segmented Polyp Dataset" 451-462, 2020
• 10 Ian J. Goodfellow, "Generative Adversarial Nets" 27 : 2014
• 11 통계청, "2022년 사망원인통계 결과" 2023
• 12 국립암센터, "2020년 국가암등록사업 연례 보고서" 2022