심층강화학습을 이용한 Convolutional Network 기반 전산화단층영상 잡음 저감 기술 개발 = Development of Convolutional Network-based Denoising Technique using Deep Reinforcement Learning in Computed Tomography

다국어 초록 (Multilingual Abstract)

Supervised deep learning technologies for improving the image quality of computed tomography (CT) need a lot of training data. When input images have different characteristics with training images, the technologies cause structural distortion in output images. In this study, an imaging model based on the deep reinforcement learning (DRL) was developed for overcoming the drawbacks of the supervised deep learning technologies and reducing noise in CT images. The DRL model was consisted of shared, value and policy networks, and the networks included convolutional layers, rectified linear unit (ReLU), dilation factors and gate rotation unit (GRU) in order to extract noise features from CT images and improve the performance of the DRL model. Also, the quality of the CT images obtained by using the DRL model was compared to that obtained by using the supervised deep learning model. The results showed that the image accuracy for the DRL model was higher than that for the supervised deep learning model, and the image noise for the DRL model was smaller than that for the supervised deep learning model. Also, the DRL model reduced the noise of the CT images, which had different characteristics with training images. Therefore, the DRL model is able to reduce image noise as well as maintain the structural information of CT images.

국문 초록 (Abstract)

전산화단층영상 품질 개선을 위해 사용되는 지도학습 기반의 딥러닝 기술은 사전 학습을 위해 많은 양의 데이터를 필요로 하는 단점이 있다. 또한 지도학습 기반의 딥러닝 기술은 학습에 사용된 영상의 특징과 학습된 모델에 입력된 영상의 특징이 다른 경우 영상 내부 구조적 왜곡이 유발되는 한계점이 있다. 본 연구에서는 기존 지도학습 기반 딥러닝 기술의 단점을 보완하고 전산화단층영상의 잡음을 감소시킬 수 있는 심층강화학습 기반 영상화 모델을 개발하였다. 심층강화학습 기반 영상화 모델은 shared, value 및 policy 네트워크로 구성하였으며, 영상 잡음 특징 추출 및 모델의 성능 향상을 위해 합성곱, rectified linear unit(ReLU) 활성화 함수, dilation factor 및 게이트순환유닛을 사용하였다. 또한 기존 지도학습 기반 딥러닝 기술을 통해 획득한 영상의 영상품질 비교를 통해 본 연구에서 개발한 영상화 모델의 성능을 평가하였다. 연구결과 기존 기술에 비해 본 연구에서 개발한 영상화 모델 적용 시 전산화단층영상의 정량적 정확도는 큰 폭으로 향상, 잡음은 큰 폭으로 감소함을 확인하였다. 또한 영상화 모델 학습 시 사용한 영상과 구조적 특징이 다른 영상에 대해서도 잡음 감소 효과를 확인하였다. 따라서 본 연구에서 개발한 심층강화학습 기반 영상화 모델을 통해 전산화단층영상의 구조적 특징을 보전함과 동시에 잡음을 감소시킬 수 있다.

참고문헌 (Reference)

• 1 김성준, "영상 잡음 제거에서의 디테일 향상을 위한 심층 신경망" 한국멀티미디어학회 22 (22): 646-654, 2019
• 2 "The Cancer Imaging Archive(TCIA)collections"
• 3 "The Cancer Imaging Archive (TCIA) Public Access, SPIE-AAPM Lung CT Challenge, Calibration Set"
• 4 남기복, "Super-resolution Convolutional Neural Network를 이용한 전산화단층상의 화질 평가" 한국방사선학회 14 (14): 211-220, 2020
• 5 Baojun Li, "Resolution and noise trade-off analysis for volumetric CT" Wiley 34 (34): 3732-3738, 2007
• 6 J. Bergstra, "Random Search for Hyper-Parameter Optimization" 13 : 281-305, 2012
• 7 V. Mnih, "Playing Atari with Deep Reinforcement Learning" 2013
• 8 R. Furuta, "PixelRL : Fully Convolutional Network with Reinforcement Learning for Image Processing" 22 (22): 1704-1719, 2020
• 9 Shuai Leng, "Noise reduction in spectral CT: Reducing dose and breaking the trade-off between image noise and energy bin selection" Wiley 38 (38): 4946-4957, 2011
• 10 Issa Ali, "Lung Nodule Detection via Deep Reinforcement Learning" Frontiers Media SA 8 : 1-7, 2018
• 11 H. Sak, "Long short-term memory recurrent neural network architectures for large scale acoustic modeling" 2014
• 12 K. Cho, "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation" 1724-1734, 2014
• 13 Chenyang Shen, "Intelligent Parameter Tuning in Optimization-Based Iterative CT Reconstruction via Deep Reinforcement Learning" Institute of Electrical and Electronics Engineers (IEEE) 37 (37): 1430-1439, 2018
• 14 A. Horé, "Image Quality Metrics : PSNR vs. SSIM" 2010
• 15 Z. Wang, "Image Quality Assessment: From Error Visibility to Structural Similarity" Institute of Electrical and Electronics Engineers (IEEE) 13 (13): 600-612, 2004
• 16 Evan Shelhamer, "Fully Convolutional Networks for Semantic Segmentation" Institute of Electrical and Electronics Engineers (IEEE) 39 (39): 640-651, 2017
• 17 F. Navarro, "Deep Reinforcement Learning for Organ Localization in CT" 121 : 544-554, 2020
• 18 이준구, "Deep Learning in Medical Imaging: General Overview" 대한영상의학회 18 (18): 570-584, 2017
• 19 Y. J. You, "Correlation with covariance" 42 (42): 423-425,
• 20 Y. L. Cun, "Convolutional networks and applications in vision" 253-256, 2010
• 21 David J. Brenner, "Computed Tomography — An Increasing Source of Radiation Exposure" Massachusetts Medical Society 357 (357): 2277-2284, 2007
• 22 D. Kingma, "Adam: A method for stochastic optimization" 2015