초음파 ATS-539팬텀의 Dynamic Range항목 평가시 인공지능을 이용한 평가비교
저자
조용범(Yong-Bum Cho) ; 정양화(Yang-Hwa Jung) ; 진미경(Mi-Kyung Jin) ; 김현진(Hyun-Jin Kim)
발행기관
학술지명
권호사항
발행연도
2021
작성언어
Korean
주제어
자료형태
학술저널
수록면
91-92(2쪽)
제공처
목적 : 초음파 정도 관리 ATS-539 phantom(A CIRS company, USA)의 항목 중 Dynamic Range 영상출력(이하 Grayscale)의 합격여부 결정시 평가자의 주관적인 파단으로 평가되고 있다. 그에 대한 재현성 저하와 오류 가능성을 증명하고 이를 해결할 수 있도록 인공지능 프로그램을 적용해 평가 가능한지를 알아보았다.
대상 및 방법 : 2011년부터 2021년 까지 Supersonic Imagine사의 Aixplorer(Flance Ver 6.04) 장비로 분기마다 시행한 정도관리 Grayscale영상 38장을 재취합하여 정도관리 경험이 있는 평가자 30명에게 보여주고 인공물의 보이는 개수를 체크하였다. 4개 이하로 보이는 영상을 취합한 기준으로 평가 시 조절가능한 파라메터인 영상의 B모드 밝기, TGC조절, 동적범위(DR: danamic range), 변화를 조합한 3500장의 영상을 만들어 불합격영상으로 인공지능을 학습시켰고 합격영상도 마찬가지로 4개이상이 잘 보인 영상을 조합하여 1000장의 영상을 학습시켰다. 실험에 사용된 인공지능(이하 AI)은 Google사의 TecherbleMachine을 이용하였다. AI와 평가자가 판단한 영상을 서로 비교하였고 38장의 영상을 다시 평가자들에게 보여주고 평가하도록 실시하여 재현성이 있는지 비교하였으며 신호강도를 분석하여 평가자들이 4개 이하로 보이는 팬텀의 신호강도 차이를 규정해보았다. 통계는 사람과 AI의 결과비교를 위한 독립표본 T검정과 평가자들의 평가 신뢰도를 위한(Cronbach’s) 알파값을 구하였다.(P<0.05)
결과 : 평가자들의 평가를 통해 38장의 영상 중 평균 5개 이상 보이는 사진은(1차평가/2차평가) (4/2) 장이었으며 4개이상 (24/23)장, 4개미만 (10/13), 3장이하는 (0/0)로 나타났으며 4개미만을 불합격으로 판정했을 때 38장중 불합격 비율은 (26.3/34.2)%였다. 똑 같은 영상으로 AI로 판정하였을 때 90%이상의 합격이 25장, 80%이상의 합격이 5장, 60%이하의 불합격이 8장으로 비율이 21%로 나타났다. 또한 평가자들이 재평가를 실시하였을 때 똑 같은 영상의 보이는 개수 차이율은 1개이상 차이 14.75(38.8%)개, 2개이상 차이는 5개(13.1%)로 차이가 났다.
결론 : 평가자들과 AI를 비교했을 때 불합격 판정율의 차이는 (5.3/13.2)%(1차평가/2차평가)로 나타났으며 평가자들이 영상을 재 평가했을 시 다시 1차 평가와의 차이율이 평균 51.9%로 재현성이 저하될 우려가 있다. 정도관리 Grayscale항목 평가 시 AI를 활용한다면 재현성 저하를 예방하고 보다 객관적인 평가가 가능하리라 사료된다.
Purpose: It is evaluated by the evaluator’s subjective judgment when deciding whether to pass the gray scale among the items of ATS-539 phantom. We checked whether it can be evaluated by applying an artificial intelligence program to prove and solve the reproducibility degradation and error possibility.
Materials and Method : From 2011 to 2021, 38 quality control gray scale images conducted quarterly by Supersonic Image’s Aixplorer (Flance Ver 6.04) equipment were re-collected and shown to 30 evaluators with quality control experience and cheked the number of artifacts. Based on the collection of images that appear to be less than four, 3,500 images of B mode brightness, TGC control, and dynamic range (DR), which are adjustable parameters, were created to learn artificial intelligence as rejected images. Artificial intelligence (AI) used Google’s Techerble Machin. AI and evaluators compared passing rejected images to each other, compared 38 images to show and evaluate them again to see if they were reproducible, and analyzed the signal strength to determine the difference in the signal strength of Phantom with less than four evaluators. Statistics obtained independent sample T tests for comparison of human and AI outcomes and alpha values for evaluators’ evaluation reliability (Cronbach’s).(P>0.05)
Results : Evaluators assessed that the average number of images of more than five of the 38 images was 4/2, with more than four (24/23), less than four (10/13), and less than three(0/0), with less than four rejected (26.3/34.2). Judging the same image by artificial intelligence, more than 90% had 25 chapters, 80% had 5 chapters, and less than 60%, had 8 chapters (21%). In addition, when the evaluators re-evaluated, the difference in the number of the same images was 14.75 (38.8%) if there were more than one difference and 5 (13.1%) if there were more than two differences.
Conclusion : Comparing evaluators and AI, the difference in rejection rates was (5.3/13.2)% (first evaluation/secondary evaluation), and when evaluators re-evaluated the images, again, the difference rate from the first evaluation is feared to decrease reproducibility to an average of 51.9%. It is believed that if AI is used to evaluate quality control gray scale items, it will prevent reproducibility and enable more objective evaluation.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)