한국어 말하기 평가의 최적의 채점자 배정 방식 연구 - 일반화가능도 이론을 중심으로 - = A Study on the Optimal Rater Assigning Method of Korean Speaking Proficiency Test

다국어 초록 (Multilingual Abstract)

This study intended to propose the method of assigning raters for Korean speaking proficiency test that considered both reliability and practicality of test tool by applying the generalizability theory. Prior to the discussion of the relevant research problem, G-Study was conducted to analyze the influence of the error source of the speaking test tool, and as a result, errors related to the task effect and the interaction effect of the task with the examinee acted as a major error source that interfered with the generalization of the test results. Relatively speaking, the interaction effect between the rater and the interaction effect of the rater with examinee was very small, confirming that the raters consistently participated in the grading without showing any difference in severity or generosity.
The G-Study of multi-facet fully crossed design was linked to a D-Study with an embedded rater in the task, comparing the reliability of the test tool with changes in the rater assigning method. The analysis confirmed that the reliability of the test tool when the rater divided the tasks one by one was higher than that of the current test tool in which the two raters scored all the tasks, and that higher reliability of the test tool could be expected compared to the current measurement design, even if only one rater was assigned to each task. In addition, the reliability of the test tool was analysed by adjusting the number of raters assigned to each task from one to three. As a result, assigning two raters to each task was an optimal method of allocating raters, which resulted in a significant drop in error variance and a increase in reliability compared to the measurement design in which one rater was assigned to each task.

참고문헌 (Reference)

• 1 성태제, "현대교육평가" 학지사 2004
• 2 노대규, "해외 자녀 교육의 현황과 과제: 외국어로서의 한국어 시험과 평가" 1 : 139-170, 1983
• 3 김정숙, "한국어 표준 말하기 시험 측정 도구를 위한 기초 연구" 한민족어문학회 (51) : 227-258, 2007
• 4 김경선, "한국어 말하기 평가의 면대면 인터뷰 방식과 컴퓨터 기반 평가 방식 간 측정학적 특성 비교 연구" 연세대학교 대학원 2017
• 5 김지영, "한국어 말하기 평가 채점자의 채점 경향 연구" 연세대학교 대학원 2018
• 6 전나영, "한국어 말하기 능력 평가 도구 개발 연구" 언어연구교육원 한국어학당 32 : 259-338, 2007
• 7 원진숙, "한국어 말하기 능력 평가 기준 설정을 위한 연구" 6 : 101-133, 1992
• 8 강승혜, "한국어 고급 말하기 평가 도구 개발 기초 연구 - 고급 말하기 토론 활동을 중심으로 -" 언어연구교육원 한국어학당 30 : 1-21, 2005
• 9 김상경, "한국어 CBT 말하기 평가의 개선 방안-CBT 와 인터뷰시험의 수험자 담화 비교를 중심으로" 65-77, 2010
• 10 김상경, "학문 목적 한국어 학습자의 말하기 능력 평가 방안 연구" 경희대학교 일반대학원 2015
• 11 이미혜, "컴퓨터 기반 한국어 초급 말하기 평가의 타당도 검증 연구" 한국어교육학회 (159) : 311-338, 2017
• 12 박동호, "제1차 한국어능력시험 말하기 평가 개발 연구 보고서" 국립국제교육원 2012
• 13 양지승, "일반화가능도 이론을 적용한단위검사 구성 검사점수의 신뢰도 추정" 한국교육평가학회 20 (20): 119-139, 2007
• 14 황지유, "일반화가능도 이론을 적용한 한국어 말하기 숙달도 평가의 신뢰도 및 타당도 분석" 국제어문학회 (81) : 321-349, 2019
• 15 김경선, "일반화가능도 이론을 적용한 한국어 말하기 성취도 평가의 신뢰도와 오차요인 분석" 국제한국어교육학회 21 (21): 51-75, 2010
• 16 신동일, "일반화가능도 이론 적용을 중심으로 한 말하기 평가도구 타당도검증 연구" 17 (17): 199-221, 2001
• 17 원미진, "언어능력 평가로서의 말하기 평가 내용 연구- 한국어 말하기 평가 개발을 위한 국내외 말하기 평가의 비교 분석을 중심으로" 한국문학언어학회 (75) : 45-78, 2018
• 18 이향, "말하기 수행 평가에서 발음 범주 채점의 최적화 방안 연구 -일반화가능도 이론을 활용하여-" 국제한국어교육학회 23 (23): 301-329, 2012
• 19 박순옥, "대규모 주관식 검사 상황에서 일반화가능도이론에 의한 신뢰도 추정에 관한 연구" 연세대학교 대학원 2001
• 20 Lin, C. K., "Working with sparse data in rated language tests: Generalizability theory applications" 34 (34): 271-289, 2017
• 21 Brown, J. D., "What do the L2 Generalizability Studies Tell Us? 1" 1 : 1-37, 2011
• 22 Lynch, B. K., "Using G-theory and manay-facet Rasch measurement in the development of performance assessments of the ESL speaking skills of immigrants" 15 : 158-180, 1998
• 23 Canale, M., "Theoretical bases of communicative approaches to second language teaching and testing" 1 (1): 1-47, 1980
• 24 Cronbach, L. J., "The dependability of behavioral measurements: Theory of generalizability of scores and profiles" John Wiley 1972
• 25 In’nami, Y., "Task and rater effects in L2 speaking and writing:A synthesis of generalizability studies" 33 (33): 341-366, 2016
• 26 Shavelson, R. J., "Sampling variability of performance assessments" 30 (30): 215-232, 1993
• 27 Dunbar, S. B., "Quality control in the development and use of performance assessments" 4 (4): 289-303, 1991
• 28 Brennan, R. L., "Performance assessments from the perspective of generalizability theory" 24 (24): 339-353, 2000
• 29 Schoonen, R., "Measuring writing: Recent insights into theory, methodology and practice" Brill 1-22, 2012
• 30 Bachman, L. F., "Language testing in practice: Designing and developing useful language tests (Vol. 1)" Oxford University Press 1996
• 31 Xi, X., "Investigating the utility of analytic scoring for the TOEFL Academic Speaking Test (TAST)" ETS Research 1-71, 2006
• 32 Brennan, R. L., "Generalizability theory: Educational Measurement: Issues and Practice" 11 (11): 27-34, 1992
• 33 Shavelson, R. J., "Generalizability theory: A primer" Sage 1991
• 34 Brennan, R. L., "Generalizability Theory" Springer-Verlag 2001
• 35 "GENOVA(GENeralized analysis Of VAriance) 3.0 프로그램"
• 36 Lee, Y. W., "Dependability of scores for a new ESL speaking test: Evaluating prototype tasks" Educational Testing Service 2005