합성곱 신경망 기반 채점 모델 설계 및 적용을 통한 운동학 그래프 답안 자동 채점 = The Automated Scoring of Kinematics Graph Answers through the Design and Application of a Convolutional Neural Network-Based Scoring Model

다국어 초록 (Multilingual Abstract)

This study explores the possibility of automated scoring for scientific graph answers by designing an automated scoring model using convolutional neural networks and applying it to students’ kinematics graph answers. The researchers prepared 2,200 answers, which were divided into 2,000 training data and 200 validation data. Additionally, 202 student answers were divided into 100 training data and 102 test data. First, in the process of designing an automated scoring model and validating its performance, the automated scoring model was optimized for graph image classification using the answer dataset prepared by the researchers. Next, the automated scoring model was trained using various types of training datasets, and it was used to score the student test dataset. The performance of the automated scoring model has been improved as the amount of training data increased in amount and diversity. Finally, compared to human scoring, the accuracy was 97.06%, the kappa coefficient was 0.957, and the weighted kappa coefficient was 0.968. On the other hand, in the case of answer types that were not included in the training data, the s coring was almos t identical among human s corers however, the automated scoring model performed inaccurately.

국문 초록 (Abstract)

본 연구는 합성곱 신경망을 활용한 자동 채점 모델을 설계하고학생의 운동학 그래프 답안에 적용함으로써, 과학 그래프 답안에 대한 자동 채점의 가능성을 탐색하였다. 연구자가 작성한 2,200개의답안을 2,000개의 훈련 데이터와 200개의 검증 데이터로 데이터셋을구성하고, 202개의 학생 답안을 100개의 훈련 데이터와 102개의 시험데이터로 데이터셋을 구성하여 연구를 진행하였다. 먼저, 자동 채점모델을 설계하고 성능을 검증하는 과정에서는 연구자가 작성한 답안데이터셋을 활용하여 그래프 이미지 분류에 최적화되도록 자동 채점모델을 완성하였다. 다음으로 자동 채점 모델에 훈련 데이터셋을 여러 유형으로 학습시키면서 학생의 시험 데이터셋에 대한 채점을 수행하여 훈련 데이터의 양이 많고 다양할수록 자동 채점 모델의 성능이향상된다는 것을 확인하였고, 최종적으로 인간 채점과의 일치율은97.06%, 카파 계수는 0.957, 가중 카파 계수는 0.968을 얻었다. 한편, 훈련 데이터로 학습되지 않은 유형의 답안의 경우 인간 채점자들 간에는 채점이 거의 일치하였으나, 자동 채점 모델은 일치하지 않게채점하는 것을 확인하였다.

참고문헌 (Reference)

• 1 이재봉, "합성곱 신경망(CNN)을 활용한 그래픽 답안 자동 채점 가능성 탐색" 한국물리학회 73 (73): 138-149, 2023
• 2 하민수 ; 이경건 ; 신세인 ; 이준기 ; 최성철 ; 주재걸 ; 김남형 ; 이현주 ; 이종호 ; 이주림 ; 조용장 ; 강경필 ; 박지선, "학습 도구로서의 서술형 평가 그리고 인공지능의 활용: WA3I 프로젝트 사례" 한국현장과학교육학회 13 (13): 271-282, 2019
• 3 김태선 ; 배덕진 ; 김범기, "중학생의 그래프 능력과 논리적 사고력 및 과학 탐구 능력의 관계" 한국과학교육학회 22 (22): 725-739, 2002
• 4 이재원 ; 박가영 ; 노태희, "중학생의 과학 그래프 구성에 관한 문제 해결 과정 연구" 한국과학교육학회 39 (39): 655-668, 2019
• 5 김태선 ; 김범기, "중고등학생들의 과학 그래프 작성 및 해석 능력" 한국과학교육학회 22 (22): 768-778, 2002
• 6 이만형 ; 유선아, "전문가의 형태소 분류를 활용한 과학 논증 자동 채점" 한국과학교육학회 40 (40): 321-336, 2020
• 7 김영환, "인공지능교육 관련 연구주제 분석: 네트워크 텍스트 분석을 중심으로" 교육발전연구소 31 (31): 197-217, 2021
• 8 이경건 ; 하민수, "인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머" 한국교육공학회 36 (36): 353-382, 2020
• 9 조준휘 ; 박현규 ; 김정, "손목 관절 거동 측정을 위한 착용형 센싱 수트 및 심층 신경망을 이용한 캘리브레이션 기법의 개발" 한국정밀공학회 37 (37): 691-697, 2020
• 10 이만형 ; 유선아, "기계 학습을 활용한 논증 수준 자동 채점 및 논증 패턴 분석" 한국과학교육학회 41 (41): 203-220, 2021
• 11 임준홍 ; 이봉우, "고등학생들이 역학 문제 풀이 과정에서 겪는 과정 지식 관련 어려움 분석" 한국물리학회 65 (65): 888-899, 2015
• 12 김희경 ; 이나래, "고등학생들의 물리 그래프 작성에서 나타난 오류 유형과 과학성취도 수준과의 관계" 한국물리학회 63 (63): 252-258, 2013
• 13 김태선 ; 김범기 ; 고수경, "고등학생들의 그래프 능력과 과학 탐구 능력 및 과학 학업 성취도의 관계" 한국과학교육학회 25 (25): 624-633, 2005
• 14 Neñer, J., "Wealth exchange models and machine learning : Finding optimal risk strategies in multiagent economic systems" 104 (104): 014305-, 2021
• 15 Liu, O. L., "Validation of automated scoring of science assessments" 53 (53): 215-233, 2016
• 16 Jeong, D., "Trend on artificial intelligence technology and its related industry" 15 (15): 21-28, 2017
• 17 Eshach, H., "The use of intuitive rules in interpreting students’ difficulties in reading and creating kinematic graphs" 92 (92): 1-8, 2014
• 18 Kwon, S. G., "The Effect of Force and Motion Conceptions into the Kinematics Graph Construction" 17 (17): 383-393, 1997
• 19 Bertolini, R., "Testing the impact of novel assessment sources and machine learning methods on predictive outcome modeling in undergraduate biology" 30 : 193-209, 2021
• 20 Obilor, E. I., "Test for significance of Pearson’s correlation coefficient" 6 (6): 11-23, 2018
• 21 Vitale, J. M., "Taking advantage of automated assessment of student-constructed graphs in science" 52 (52): 1426-1450, 2015
• 22 Goldt, S., "Stochastic thermodynamics of learning" 118 (118): 010601-, 2017
• 23 Li, Q., "Statistical mechanics of deep linear neural networks : The backpropagating kernel renormalization" 11 (11): 031059-, 2021
• 24 Linn, M. C., "Science learning and instruction: Taking advantage of technology to promote knowledge integration" Routledge 2011
• 25 Hubel, D. H., "Receptive fields of single neurones in the cat’s striate cortex" 148 (148): 574-, 1959
• 26 Eshach, H., "Re-examining the power of video motion analysis to promote the reading and creating of kinematic graphs" 11 (11): 2010
• 27 "Papers with code. (n. d. )"
• 28 Muñoz-Gil, G., "Objective comparison of methods to decode anomalous diffusion" 12 (12): 6253-, 2021
• 29 Aggarwal, C. C., "Neural networks and deep learning" Springer 3-, 2018
• 30 Carleo, G., "Machine learning and the physical sciences" 91 (91): 045002-, 2019
• 31 Huang, F., "Is chatgpt better than human annotators? potential and limitations of chatgpt in explaining implicit hate speech"
• 32 Brasell, H. M., "Graphs, graphing, and graphers" 6 : 69-85, 1990
• 33 Park, Y., "General physics education II[물리교육학 총론 II]" Bookshill 69-136, 2002
• 34 Warrens, M. J., "Five ways to look at Cohen’s kappa" 5 (5): 1-, 2015
• 35 Uzair, M., "Effects of hidden layers on the efficiency of neural networks" 1-6, 2020
• 36 Saito, G., "Deep learning from scratch" Hanbit Media 2017
• 37 Goodfellow, I., "Deep learning" MIT press 2016
• 38 LeCun, Y., "Deep learning" 521 (521): 436-444, 2015
• 39 Rawat, W., "Deep convolutional neural networks for image classification : A comprehensive review" 29 (29): 2352-2449, 2017
• 40 Mitnik, R., "Collaborative robotic instruction : A graph teaching experience" 53 (53): 330-342, 2009
• 41 Kowalek, P., "Classification of diffusion modes in single-particle tracking data : Feature-based versus deep-learning approach" 100 (100): 032410-, 2019
• 42 LeCun, Y., "Backpropagation applied to handwritten zip code recognition" 1 (1): 541-551, 1989
• 43 Abreu, S., "Automated architecture design for deep neural networks"
• 44 Zhai, X., "Applying machine learning to automatically assess scientific models" 59 (59): 1765-1794, 2022
• 45 An, S., "An ensemble of simple convolutional neural network models for MNIST digit recognition"
• 46 Li, Z., "A survey of convolutional neural networks: analysis, applications, and prospects" IEEE transactions on neural networks and learning systems 2021
• 47 주강진 ; 이민화 ; 양희진 ; 류두진, "4차 산업혁명과 인공지능 : 현황, 사례, 규제에 대한 개괄적 고찰" 한국경영과학회 42 (42): 1-14, 2017