온라인 시스템을 활용한 대규모 서답형 평가의 채점 일관성 = Rater Consistency for Constructed-Response Items Using On-Line Scoring System in a Large-scale Assessment

국문 초록 (Abstract)

대규모 학업성취도 평가의 서답형 문항에 대한 응시자들의 응답은 합숙형 수기 채점 방식으로 채점되어 왔으나,이 방식은 채점자 섭외,채점 장소 확보 등 여러 가지 현실적인 어려움이 있었다.이러한 어려움을 해소하기 위하여 기존 방식의 대안으로 온라인 시스템을 활용하는 방식을 고려할 수 있다.본 연구는 온라인 채점 시스템을 설계․구현하여 실제 적용 가능성을 검증하였다.채점자간 신뢰도를 산출한 결과, 0.810이상의 높은 상관으로 보여 채점자 신뢰도는 상당히 높았다.채점자간 점수 차이가 일정 기준을 초과할 경우 채점자들에 의한 재채점이 진행되었는데,1,2차 시기의 답안을 통합하여 구한 채점의 신뢰도는 1차 시기답안만을 대상으로 한 경우보다 모든 교과에서 증가하였다.이러한 결과로부터 온라인 채점시스템을 활용하면 채점 과정을 실시간으로 인터넷을 통해 모니터할 수 있기 때문에 채점 오류를 최소화하고 채점의 공정성과 신뢰도를 현격히 제고할 수 있으리라 기대된다.

다국어 초록 (Multilingual Abstract)

National Assessment of Educational Achievement(NAEA) in Korea, a large-scale national assessment has scored students' constructed-response items through in-hands by gathering in one secure dplace. This method had a several difficulties such as recruiting raters, booking a large enough places to keep all the raters and test book lets. This study examined the applicability of on-line scoring system for constructed-response items in a large-scale assessment. The performance samples of about 10,000 nine-graders for five subject areas such as Korean, Social Science, Mathematics, Science, English in NAEA were used. Every construct responses were scored by at least two raters. The responses were re-scored when differences between two raters' scores were greater than a certain criterion. The inter-rater reliabilities were above the 0.81, which is a very high. The result of this study shows that the correlations and agreements between scores by two raters were very high, and re-scoring improved the rater consistency evenmore.This study proved that on-line scoring system would be a stable scoring method of constructed responses for the large-scale assessment.

참고문헌 (Reference)

• 1 성태제, "타당도와 신뢰도" 학지사 2002
• 2 김경희, "채점척도에 따른 채점자의 일관성과 피험자 능력 추정의 정확성 비교.교육평가연구,14(1)호" 교육평가연구 14 (14): 327-347, 2001
• 3 남명호, "서답형 평가 온라인 채점 시스템 도입 연구(I)" 한국교육과정평가원 2008
• 4 남명호, "서답형 평가 온라인 채점 시스템 개발․적용 연구" 한국교육과정평가원 2009
• 5 한국교육평가학회, "교육평가용어사전" 학지사 2004
• 6 NCES, "The NAEP 1998 Technical Report" NCES 2001
• 7 EduWin, "CROSS Online Scoring System: User Manual (Version 5.1)" EduWin 2006