인공 지능을 이용한 읽기 선다형 문항 선택지의 정답 확률 예측 가능성 탐색 - 사실적 및 추론적 이해 문항을 중심으로 = A Study on the Predictive Method of Response Rate in Reading Multiple-choice Questions Using Artificial Intelligence

국문 초록 (Abstract)

본고는 이 글은 읽기 선다형 문항의 선택지에 대한 정오답 확률을 인공 지능을 이용하여 구하고자 하는 논문이다. 분석 대상으로 10년 간의 국가수준 학업성취도 읽기 문항과 20년 간의 대학수학능력시험, 모의 평가, 전국연합학력평가 읽기 문항 중 사실적 읽기와 추론적 읽기에 해당하는 813개 문항 4065개 선택지를 선정하였다. KoELECTRA 모델로 지문에서 관련 부분을 추출하고, KoBigBird 모델을 파인 튜닝하여 학습을 수행한 결과 정확도 83%의 언어 모델을 구축할 수 있었다. 구축된 언어 모델을 통해 개별 선택지의 정오답 확률을 예측할 수 있는 가능성을 확인할 수 있었다. 후속 연구를 통해 정확도를 제고하고 연구 대상을 확장할 필요가 있다. 이 연구는 읽기 선다형 문항의 개별 선택지에 대한 답지 반응 계량화 가능성을 탐색했다는 점에서 의의가 있다.

다국어 초록 (Multilingual Abstract)

This study aims to obtain the probability of being correct or incorrect for the choice of multiple-choice questions using artificial intelligence. The subjects of analysis are the reading questions in 10 years of NAEA and 20 years of CSAT, MockCSAT, NAAT. As a result of performing learning by fine tuning the KoELECTRA model and KoBigBird model, a language model with an accuracy of 83% could be constructed. Through the established language model, the possibility of predicting the probability of correct and incorrect answers of individual options was confirmed. This study is significant in that it explored the possibility of quantifying the probability of response rate for individual options for reading multiple-choice questions.