한국어 숙달도 평가 도구로서 유럽공통참조기준 자가진단표의 타당도 검증 및 활용 방안 = Validation of CEFR Can-Do Statements as a Self-assessment Instrument of Korean Proficiency

국문 초록 (Abstract)

본 연구는 구성 및 내용 타당도와 문항난이도 및 차별도를 중심으로 중급 및 고급 한국어 학습자의 목표 언어 숙달도를 측정할 수 있는 자가평가 도구의 타당도를 검증하였다. 본 연구에서는 중급 및 고급 학습자의 숙달도를 가늠하기 위해 유럽공통참조기준(CEFR, Council of Europe, 2001)의 B1, B2, C1 레벨의 자가평가표를 참고하여 읽기/듣기/말하기/쓰기로 대표되는 언어기술영역을 모두 포괄하는 24개의 6점 리커트 척도 문항을 구성하였으며, 이를 바탕으로 서울 소재 4년제 대학교에서 학부에 재학 중인 217명의 중국인 유학생들을 대상으로 중국어로 번역된 설문지를 배포하였다. 이를 통해 축적된 데이터는 개별문항과 해당 언어기술 간의 수렴타당도 그리고 해당 언어기술 간의 구조 및 변별 타당도를 확인하기 위해 구조방정식을 활용한 확인적 요인분석을 거쳤으며, 개별 문항의 난이도 및 변별도를 검증하기 위해 일반화부분점수모형을 기반으로 한 문항반응이론 분석을 거쳤다. 분석에 사용된 통계 프로그램은 각각 AMOS 20과 R package 3.4.3이었다. 확인적 요인분석 과정을 통해 이해능력(읽기와 듣기) 및 산출능력(쓰기와 말하기) 두 가지 구인이 변별력 있게 구성되었다. 적절한 난이도와 변별도를 보이지 않은 소수의 문항을 분석한 결과, 설문응답자들은 이들 문항에 대체로 보수적으로 답변을 하는 경향을 보였다. 이는 하나의 문항에 지나치게 다양한 의사소통 환경이 포함되어 있다는 점, 그리고 설문응답자가 확신을 가지고 답변하기 힘든 낯선 경험을 묻고 있다는 점에서 기인하는 것으로 보인다. 본 연구는 유럽공통참조기준에서 추출된 자가평가 도구가 중/고급 한국어 학습자의 숙달도를 타당하게 측정 및 변별하고 있음을 입증하였다. 본 검사 도구는 북미 지역 한국어 프로그램에서의 반 배치 의사결정에 보조자료로써 활용될 수 있으며, 국내 한국어 교육의 맥락에서는 학습자의 목표 언어 습득 및 발달과정을 장기적인 관점에서 추적할 수 있는 손쉬운 도구로 기능할 수 가능성을 내포하고 있다.

다국어 초록 (Multilingual Abstract)

This study demonstrates empirical evidence of the self-assessment battery designed to distinguish between intermediate and advanced learners of Korean with a focus on structural, content, and construct aspect of validity. All 24 statements were selected from the CEFR self-assessment grid and converted into 6-point Likert scale items and administered to 217 university-level Chinese students (Council of Europe, 2001). The item responses were analyzed by the AMOS version 20.0 and the R package version 3.4.3, using a structural equation modeling (SEM) and a generalized partial credit model (GPCM). The confirmatory factor analysis showed that the selected 24 statements constructed four factors (i.e., RC, LC, SP, and WR) and grouped into two meta-criteria (i.e., understanding vs. production skills) which are structurally aligned with the CEFR skill description. The Logit scale of item difficulty indexes showed that the items are sensitive and systematically distributed in relation to the expected difficulty range. The discrimination indexes revealed that only one item showed a low discrimination index below threshold, suggesting that the quality of items is generally acceptable

참고문헌 (Reference)

• 1 홍종명, "한국어 말하기 평가 개발을 위한 ACTFL OPIc 분석 연구" 학습자중심교과교육학회 19 (19): 387-407, 2019
• 2 김정숙, "한국어 말하기 능력 평가기준 설정을 위한 연구" 이중언어학회 (10) : 24-33, 1993
• 3 정광, "한국어 능력 평가 방안 연구: 언어 숙달도(profciency) 의 측정을 중심으로" 한국어학회 (1) : 481-538, 1994
• 4 안미란, "입학 전 한국어 교육과정에서의 유럽공통참조기준의 사용" 한국독일어교육학회 (21) : 303-311, 2007
• 5 김희섭, "글로벌화와 한국의 외국어교육 - CEFR의 도입과 의의를 중심으로 -" 인문사회과학연구소 20 (20): 79-96, 2019
• 6 김중섭, "국제 통용 한국어 표준 교육과정 적용 연구" 국립국어원 2017
• 7 김정숙, "“한국어 말하기 능력 평가를 위한 기초연구 및 평가 모형 개발” 최종 보고서" 국립국어원･한국어세계화재단 2006
• 8 Llosa, L., "Validating a standards-based classroom assessment of English proficiency : A multitrait-multimethod approach" 24 (24): 489-515, 2007
• 9 Hulstijn, J., "The shaky ground beneath the CEFR : Quantitative and qualitative dimensions of language" 91 : 663-667, 2007
• 10 Shin, S. -Y., "The encyclopedia of applied linguistics" Wiley-Blackwell 1-7, 2013
• 11 North, B., "The development of a common framework scale of language proficiency" Peter Lang 2000
• 12 Fang, X., "The background of and approach to Can-Do description of language ability : Taking CEFR as an example" 25 : 246-257, 2011
• 13 Little, D., "The Common European Framework and the European Language Portfolio : Involving learners and their judgments in the assessment process" 22 : 321-336, 2005
• 14 In'nami, Y., "Structural equation modeling in language testing and learning research : A review" 8 (8): 250-276, 2011
• 15 Messick, S., "Standards of validity and the validity of standards in performance asessment" 14 (14): 5-8, 1995
• 16 Malabonga, V. M., "Self-assessment, preparation and response time on a computerized oral proficiency test" 22 : 59-92, 2005
• 17 Heilenman, L. K., "Self-assessment of second language ability : The role of response effects" 7 : 174-201, 1990
• 18 Suzuki, Y., "Self-assessment of Japanese as a second language : The role of experiences in the naturalistic acquisition" 32 : 63-81, 2015
• 19 Ross, S., "Self-assessment in second language testing : A meta-analysis and analysis of experiential factors" 15 : 1-20, 1998
• 20 North, B., "Scaling descriptors for language proficiency scales" 15 : 217-263, 1998
• 21 Kline, R. B., "Principles and practices of structural equation modeling" Guilford Press 2016
• 22 Knekta, E., "One size doesn’t fit all: Using factor analysis to gather validity evidence when using surveys in your research" 18 (18): rm1-, 2019
• 23 Butler, Y. G., "On-task versus off-task self-assessments among Korean elementary school students studying English" 90 : 506-518, 2006
• 24 윤소영, "Observations on the Use of Two Pedagogical Tools for Korean language learning/teaching in France - Case study of French Learners of Korean at INALCO" 국제한국어교육학회 21 (21): 249-272, 2010
• 25 ACTFL, "NCSSFL-ACTFL can-do statements"
• 26 Wong, W., "Modality and attention to meaning and form in the input" 345-368, 2001
• 27 Weir, C., "Limitations of the Common European Framework for developing comparable examinations and tests" 22 : 281-300, 2005
• 28 Alderson, J. C., "Language testing and assessment(Part 2)" 35 (35): 79-, 2002
• 29 Embretson, S. E., "Item response theory" Psychology Press 2013
• 30 Summers, M. M., "Investigating the use of the ACTFL can-do statements in a self-assessment for student placement in an Intensive English Program" 80 : 269-287, 2019
• 31 Trofimovich, P., "Flawed self-assessment : Investigating self-and other-perception of second language speech" 19 : 1-19, 2014
• 32 Sawaki, Y., "Factor structure of the TOEFL Internet-based test" 26 (26): 005-30, 2009
• 33 Kim, M., "Exploring the Construct Validity of the ECCE : Latent Structure of a CEFR-Based High-Intermediate Level English Language Proficiency Test" 17 (17): 434-457, 2020
• 34 Thompson, B., "Exploratory and confirmatory factor analysis: Understanding concepts and applications" 2004
• 35 Shin, S. K., "Did they take the same test? Examinee language proficiency and the structure of language tests" 22 (22): 31-57, 2005
• 36 Council of Europe. Council for Cultural Co-operation. Education Committee. Modern Languages Division, "Common European Framework of Reference for Languages: learning, teaching, assessment" Cambridge University Press 2001
• 37 Jones, N., "Case studies on the use of the Common European Framework of Reference" Cambridge University Press 167-183, 2002
• 38 Kunnan, A. J., "Baptism's 91 Witnesses" 1995
• 39 Gu, L., "At the interface between language testing and second language acquisition : Language ability and context of learning" 31 (31): 111-133, 2014
• 40 Nikolov, M., "Assessing young learners of English: Global and local perspectives" Springer International 65-92, 2016
• 41 Butler, Y. G., "Assessing young learners of English: Global and local perspectives" Springer International 291-315, 2016
• 42 Brown, N. A., "Assessing the validity of can-do statements in retrospective(then-now)self-assessment" 47 : 261-285, 2014
• 43 Tigchelaar, M., "Assessing the validity of ACTFL can do statements for spoken proficiency : A Rasch analysis" 50 (50): 584-600, 2017
• 44 Haladyna, T., "A review of multiple-choice item-writing guidelines for classroom assessment" 15 : 309-, 2002
• 45 Fornell, C., "A comparative analysis of two structural equation models: LISREL and PLS applied to market data" 1981
• 46 Embretson, S. E., "A cognitive design system approach to generating valid tests : Application to abstract reasoning" 3 (3): 380-, 1998