국가수준 학업성취도 평가의 점수화를 위한 문항반응이론의 적용 = Scoring based on Item Response Theory for the National Assessment of Educational Achievement

다국어 초록 (Multilingual Abstract)

The National Assessment of Educational Achievement (NAEA) has been focused on quality control of national education. In order to establish accountability of school education based on NAEA results, estimates of students' ability should be reliable and valid. This study examined the current scoring method of the NAEA from psychometric aspects. The Item Response Theory (IRT) true scores were estimated and compared with the NAEA scale scores for sixth, ninth, and tenth graders' responses on Korean, English, and Mathematics tests from 2006 to 2008. As a result of the analysis, the scores were highly correlated and the correlations between the scores for Below-Basic groups were lower than those for the other groups. The ranks of the IRT scores differed from those of the NAEA scores, and the IRT scores for students with the same NAEA scores ranged widely. These findings show that the results of the NAEA may vary according to the scoring method. Therefore, we suggest adopting the IRT scoring method which is consistent with the measurement model used in the NAEA test equating.

국문 초록 (Abstract)

국가수준 학업성취도 평가 자료의 분석과 결과 활용을 통하여 학교교육의 질을 점검하고 교육정책의 효과를 검증하기 위해서는 학생들의 학업성취도와 그 추이를 정확하게 추정하는 것이 전제되어야 한다. 이에 본 연구에서는 국가수준 학업성취도 평가의 현행 점수화 방법의 문제점을 분석하였으며, 문항반응이론을 적용한 점수화 방안의 필요성을 검토하였다.
2006년에서 2008년까지의 3개 학년(초6, 중3, 고1), 3개 교과(국어, 영어, 수학)에 대한 국가수준 학업성취도 평가 결과에 문항반응이론을 적용하여 추정한 진점수와 현행 성취도-척도점수를 비교한 결과, 두 점수 간 상관은 높았으나 상대적으로 능력이 낮은 집단에서의 상관이 낮았고, 두 점수에서 학생들의 상대적인 서열도 차이를 보였다. 또한 성취도-척도점수가 동일한 학생들의 진점수 범위도 넓게 나타나 점수화 방법에 따라 평가 결과가 다르게 나타날 수 있음을 확인하였다.
따라서 국가수준 학업성취도 평가의 현행 점수 체제에 의한 척도점수가 원점수에 기반하여 산출되기 때문에 갖게 되는 측정학적 문제점을 해소하고, 점수화 및 척도화 과정에서의 측정이론과 동등화 과정에서의 측정이론간 일치를 도모할 수 있도록 문항반응이론을 적용한 진점수를 새로운 척도점수로 사용하는 방안을 적극 검토할 필요가 있을 것이다.

목차 (Table of Contents)

• Ⅰ. 서론
• Ⅱ. 국가수준 학업성취도 평가의 점수체제
• Ⅲ. 연구 방법
• 1. 분석 자료
• 2. 분석 방법
• Ⅳ. IRT 진점수와 성취도-척도점수 비교
• 1. IRT 진점수와 성취도-척도점수의 상관
• 2. IRT 진점수와 성취도-척도점수 차이
• Ⅴ. 결론 및 제언
• 참고문헌
• Abstract

참고문헌 (Reference)

• 1 성태제, "문항반응이론의 이해와 적용" 교육과학사 2001
• 2 김성숙, "국가수준 학업성취도 평가 개선 연구 -점수체제 개선과 결과활용 방안-" 한국교육과정평가원 2009
• 3 박정, "국가수준 학업성취도 평가 -기술보고서-" 한국교육과정평가원 2006
• 4 김경희, "국가수준 교육성취도 평가 점수체제 개발 연구" 한국교육과정평가원 2003
• 5 Birnbaum, A., "Some latent trait models and their use in inferring an examinee's ability. in: Statistical Theories of Mental Test Scores" Addison-Wesley 1968
• 6 Petersen, N. S., "Scaling, norming, and equating. in: Educational Measurement (3rd ed.)" Macmillan 221-262, 1989
• 7 Muraki, E., "PARSCALE 4.01 for Windows [Computer program]" Scientific Software, Inc. 2003
• 8 Kolen, M. J., "Defining score scales in relation to measurement error" 25 : 97-110, 1988
• 9 Ban, J.-C., "Defining a score scale in relation to measurement error for mixed format tests" 2007
• 10 Kolen, M. J., "Conditional standard errors of measurement for scale scores" 29 : 285-307, 1992
• 11 Muraki, E., "A generalized partial credit model: Application of an EM algorithm" 10 : 355-367, 1992
• 12 반재천, "2003~2008년 국가수준 학업성취도 평가의 조건적 측정오차와 분류일관성" 한국교육평가학회 23 (23): 323-345, 2010