다국면 라쉬모형을 적용한 논술 채점 상황에서 채점 설계 및 채점자 특성이 채점의 정확성에 미치는 효과 = Effects of Using Mani-Faceted Rasch Model on Accuracy of Essay Scoring Under Various Scoring Designs and Rater Characteristics

국문 초록 (Abstract)

본 연구는 다국면 라쉬모형을 적용하여 채점자 특성을 사후에 보정하는 논술 채점 상황에서 다양한 채점 설계 방식 및 채점자 특성이 채점의 정확성에 어떠한 영향을 미치는 지를 탐색하기 위하여 채점자 수, 채점자 배치 방식, 채점자간 엄격성 차이의 정도, 채점자내 일관성 수준, 피험자 점수 산출 방식 등 5가지 요인을 고려하여 모의실험을 수행하였다. 각 조건하에서 산출된 채점 결과의 정확성을 피험자의 진점수를 기준으로 비교한 결과 다음과 같은 결론을 도출하였다. 첫째, 채점자간 엄격성 차이가 존재할 경우 라쉬보정 방식을 적용하면 채점자간 엄격성 차이가 크고 채점자내 일관성 수준이 낮다 할지라도 채점의 정확성을 상당 부분 확보할 수 있으며 이러한 결과는 채점 설계 및 합격선을 변화시켜도 일관되게 관측되었다. 둘째, 무보정 방식 적용시에는 채점자 수와 관계없이 채점자를 무선 배치하는 설계가 군집 배치 설계에 비해 채점의 정확성이 대체로 높았으며, 라쉬보정 적용시에는 채점자 엄격성 차이가 매우 큰 경우를 제외하고는 채점자 배치방식에 관계없이 채점자수를 증가시키는 것이 보다 효과적이었다. 셋째, 무보정 방식 적용시에는 채점자간 엄격성 차이의 효과가 채점자내 일관성 수준의 효과에 비해 채점의 정확성에 큰 영향을 미친 반면, 라쉬보정을 적용한 경우 동일한 채점자내 일관성 수준 내에서 채점자간 엄격성 차이는 상대적으로 크지 않은 것으로 나타났다.

다국어 초록 (Multilingual Abstract)

This study investigated effects of making score adjustments using the many-faceted Rasch model on the accuracy of essay scoring under various simulation conditions, considering factors such as the number of raters, the way raters are assigned, the level of inter-rater and intra-rater consistency, and score adjustment methods. Performances of Rasch measurement under each condition was compared against those based on true scores under various degrees of differences in average rating severity and intra-rater consistency. The following observations were made from this study. First, even in situations where the level of inter-rater and the intra-rater consistency was fairly low, the accuracy of Rasch measurement was high regardless of scoring designs and pass rates. Second, the random assignment design performed better than the cluster assignment design regardless of the number of raters, when scores were produced without adjustments, whereas increasing the number of raters produced more accurate results regardless of rater assignment designs under the Rasch measurement. Third, inter-rater consistency was more influential than the intra-rater consistency on the accuracy of scoring when no adjustments were made, whereas the opposite pattern was observed under the Rasch measurement.

참고문헌 (Reference)

• 1 성병창, "초등학교 신규교원 선발을 위한 교직적성 심층면접 평가 방안 탐색" 한국교육과정평가원/한국교육평가학회 2008
• 2 김성숙, "채점의 변동요인 분석방법에 대한 고찰:일반화가능도 이론과 다국면 라쉬모형의 적용과 재해석" 14 (14): 303-325, 2001
• 3 법무부, "법무부령 제567호 - 사법시험법시행규칙 일부개정령" 법무부 2005
• 4 채선희, "문항반응이론의 이론과 실제" 서현사 2003
• 5 박? 정, "대규모 평가 자유 반응형 문항 채점 영향 요소" 18 (18): 35-27, 2005
• 6 채선희, "논술시험 채점의 공정성과 효율성 확보방안-채점과정의 엄격성과 FACETS 모형에 의한 채점결과 분석" 9 (9): 5-29, 1996
• 7 지은림, "논술고사의 신뢰성에 영향을 미치는 채점자 특성 분석" 21 (21): 97-113, 2008
• 8 허명회, "논술 채점의 신뢰도에 관한 연구" 9 (9): 45-53, 1996
• 9 박도순, "교육평가-이해와 적용" 교육과학사 2007
• 10 지은림, "many-facet Rasch 모형을 적용한 대입 논술고사 채점의 객관성 연구" 9 (9): 5-22, 1996
• 11 Congdon, P. J., "The stability of rater severity in large-scale assessment programs" 37 (37): 163-178, 2000
• 12 Messick,S., "The interplay of evidence and consequences in the validation of performance assessment" 23 (23): 13-23, 1994
• 13 지은림, "Rasch 모형의 이론과 실제" 교육과학사 2000
• 14 Press, W. H., "Numerical Recipes in C" Cambidge University Press 1992
• 15 Lunz, M. E., "Measuring the impact of judge severity on examination scores" 3 : 331-345, 1990
• 16 Linacre, J. M., "Many-faceted Rasch Measurement" MESA Press 1989
• 17 Hambleton, R. K., "Item response theory: Principles and applications" ijhoff Publishing 1985
• 18 Engelhard,G., "Evaluating rater accuracy in performance assessments" 33 (33): 56-70, 1996
• 19 Ebel, R. L., "Essentials of educational measurement" Prentice Hall 1991
• 20 Linacre, J. M., "A user's guide to FACETS"
• 21 대학교육협의회, "2009학년도 수시2학기 보도자료" 대학교육협의회 2008
• 22 대학교육협의회, "2009학년도 대학입학전형계획주요사항 보도자료" 대학교육협의회 2008