쓰기 자동채점 알고리듬의 성능 비교 : 최대 엔트로피 기법과 서포트 벡터 회귀 기법 = The comparison of performances of the automated scoring algorithms: the maximum entropy and support vector regression methods

국문 초록 (Abstract)

한국교육과정평가원에서는 국가영어능력평가시험에 최적화된 쓰기 자동채점 프로그램을 개발 중에 있다. 자동채점 프로그램의 성능은 기계학습에 적용되는 알고리듬에 의해 많은 영향을 받으며, 현재 국가영어능력평가시험 쓰기 자동채점 프로그램에서는 가장 일반적으로 사용되고 있는 알고리듬인 최대 엔트로피 기법과 서포트 벡터 회귀 기법을 적용하고 있다. 본 논문에서는 쓰기 자동채점 프로그램에 적용된 두 가지 알고리듬에 따른 채점 성능을 비교・분석하였다. 이를 위해 n-fold 방식을 이용한 모의실험과 실제 채점자료를 이용한 실증 연구를 통하여 두 가지 알고리듬의 성능을 비교하였다. 분석 결과, 모의실험 및 실증 분석 모두에서 서포트 벡터 회귀 기법이 최대 엔트로피 기법보다 국가영어능력평가시험 쓰기 영역 채점에 더 적합한 알고리듬인 것으로 확인되었다.

다국어 초록 (Multilingual Abstract)

Korea Institute for Curriculum and Evaluation is developing an automated scoring system for the writing test that is optimized to the National English Ability Test(NEAT). It is expected that the performance of an automated scoring system is influenced by the algorithms to be applied to machine learning. The current automated scoring system for the NEAT adopts the maximum entropy and support vector regression algorithms, which are most commonly used. In this paper, we analyzed and compared the performances of two algorithms that have been applied to the automated scoring system for the NEAT. For this purpose, we conducted a simulation study using the n-fold method and empirical study using the actual data set. Our study supports that the support vector regression method is performing better than the maximum entropy method in the writing test of the NEAT in both empirical and simulation studies.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 이론적 배경
• 1. 기계학습 알고리듬
• 2. 알고리듬 비교 선행 연구
• Ⅲ. 모의실험 연구
• 1. 분석 방법
• 2. 분석 결과
• Ⅳ. 실증 연구
• 1. 분석 방법
• 2. 분석 결과
• Ⅴ. 결론 및 제언

참고문헌 (Reference)

• 1 시기자, "국가영어능력평가시험 쓰기 자동채점 프로그램 개발" 한국교육과정평가원 2012
• 2 신동광, "국가영어능력평가시험 말하기 자동채점 프로그램 도입 방안" 한국교육과정평가원 2012
• 3 Nigam, K., "Using maximum entropy for text classification" 61-67, 1999
• 4 Cortes, C., "Support vector networks" 20 : 273-297, 1995
• 5 Vapnik, V., "Support vector method for function approximation: Regression estimation and signal processing" MIT 9 : 281-287, 1997
• 6 Page, E. B., "Project Essay Grade: PEG, In Automated essay scoring: A cross-disciplinary perspective" Lawrence Erlbaum Associates 43-54, 2003
• 7 Sukkarieh, J. Z., "Maximum entropy for the automatic content scoring of free-text responses" 2010
• 8 Vantage Learning, "How IntelliMetric Works"
• 9 Refaeilzadeh, P., "Cross-validation. Encyclopedia of Database Systems" 532-538, 2009
• 10 Thomas, K. L., "Automatic essay assessment" 10 (10): 295-308, 2003
• 11 Attali, Y., "Automated essay scoring with e-rater v.2" 4 (4): 1-30, 2006
• 12 Valenti, S., "An overview of current research on automated essay grading" 2 : 2003
• 13 Dikli, S., "An overview of automated scoring of essays" 5 (5): 2006
• 14 Guyon, I., "An introduction to variable and feature selection" 3 : 1157-1182, 2003
• 15 Li, Y., "An effective automated essay scoring system using support vector regression" 2012
• 16 Smola, A. J., "A tutorial on support vector regression" 14 (14): 199-222, 2004
• 17 Adam, L. Berger, "A maximum entropy approach to natural language processing" 22 (22): 39-71, 1996