고비중 한국어 시험 설계의 타당도 연구 : 듣기 영역을 중심으로
저자
발행사항
대전 : 배재대학교, 2009
학위논문사항
학위논문(석사) -- 배재대학교 대학원 , 국어국문학과 외국어로서의 한국어교육전공 , 2009
발행연도
2009
작성언어
한국어
KDC
710.7 판사항(4)
DDC
495.707 판사항(21)
발행국(도시)
대전
형태사항
vii, 86장 ; 26 cm
일반주기명
참고문헌: 장 77-83
소장기관
교육 내용을 평가할 때에 평가가 교육에 종속된 것처럼 생각했던 적이 있으나, 사실은 교육이 평가에 종속되었던 경우가 더 많이 있었다. 특히 개인과 사회에 큰 영향을 끼칠 수 있는 고비중 평가(high-stake tests)는 교육내용을 평가한다는 차원을 넘어서서 학습자들과 교사들에게 학습해야 할 방향을 제시해주기도 하며 교육에 큰 영향력을 끼친다.
현재 의사소통 능력을 평가하기 위한 고비중 시험으로 TOPIK과 KLPT가 대표적이다. 이 두 시험은 한국어 의사소통 능력을 측정한다는 점에서 동일한 목적을 가졌다고 할 수 있다. 또한 TOPIK과 KLPT 모두 대학 입학 및 졸업, 취업 등의 자료로 활용되고 있으며, 한국어 교육 현장에서도 한국어 학습과 평가의 자료로서 사용되고 있다. TOPIK과 KLPT 지침서에는 이 시험의 결과를 입학의 자료로 사용한다고 밝혔으나 의사소통 능력을 측정하는 두 시험으로는 학업 능력을 측정할 수 없다는 의견이 나오면서 각 대학교에서 대학입학시험을 자체적으로 개발하여 활용하고 있는 학교가 늘어나고 있다. TOPIK, KLPT, 외국인 대학입학시험은 고비중 시험으로서 수험자들의 한국어 학습 방향에 많은 영향을 끼치며, 수험자의 인생을 결정지을 수 있을 만큼 중요한 의사결정 수단으로 사용되기 때문에 평가 도구에 대한 면밀한 검토가 필요하다.
듣기는 의사소통 능력의 네 가지 기술 가운데 일상생활에서 가장 많이 사용하는 기능이며 효과적인 의사소통을 위해서는 가장 먼저 발달되어야 할 기능이라고 할 수 있다. 듣기 학습을 효과적으로 하기 위해서는 평가 도구의 질을 높여야 한다. 그렇게 되기 위해서는 듣기 시험이 측정하고자 하는 것을 충실하게 측정하여야 한다. 즉, 평가 시험의 타당도를 확보하여야 한다.
일반적으로 평가 도구는 타당도, 신뢰도, 실용도가 갖추어져야 하는데 타당도는 검사의 질을 결정하는 가장 중요한 요인이다. 어떤 평가 도구가 신뢰도와 실용도가 갖추어졌다고 하더라도 평가의 타당도를 확보하지 못한다면 그것을 근거로 추론한 결과는 신뢰할 수 없을 뿐만 아니라 수험자와 그 결과를 사용하는 기관에 부정적인 영향을 끼치게 된다.
따라서 한국에서 치러지고 있는 고비중 시험이 믿을만한 근거를 가지고 측정하고자 하는 것을 제대로 측정하고 있는지에 대한 고찰이 필요하다. 이에 본 연구에서는 TOPIK, KLPT, 배재대학교 한국어학업능력평가를 분석하여 각 시험에서 타당도에 영향을 미치는 요소들을 찾아내고, 그것을 바탕으로 고비중 한국어 시험 설계의 타당도 확보 방안을 제시하는 것을 연구 목적으로 한다.
본 논문의 구성은 다음과 같다.
Ι장에서는 연구 목적과 필요성을 밝히고, 연구 방법과 범위를 기술하였으며, 본 연구를 위한 선행 연구를 살펴보았다.
Ⅱ장에서는 이론적 배경을 기술하였다. 먼저 Weir(2005)의 Language Testing and Validation에서 제시한 타당도에 대한 개념을 본 연구의 이론적 배경으로 삼고 그 내용을 기술하였다. 그 다음 TOPIK, KLPT, 배재대학교 한국어학업능력평가의 듣기 영역 현황을 살펴보았다.
Ⅲ장에서는 이론 기반 타당도와 문맥 타당도로 나누어 각 시험의 타당도를 분석하고 타당도 확보를 위한 시험 설계에 대하여 논의하였다. 이론 기반 타당도는 Bachman & Palmer(1996)에서 제시한 언어 능력 모형을 기반으로 분류하였고, 문맥 타당도는 Weir(2005)가 제시한 기준을 기반으로 하여 지시사항, 평가의 목적, 반응 형태, 평가 항목들의 순서, 소재, 기능, 대화자 변수(속도, 성) 총 7가지 항목으로 나누어 분석하였다. 그리하여 고비중 시험의 설계 방안을 결과 사용의 합목적성, 실제성, 다층적인 능력 측정 등의 세 가지로 제언하였다.
본 연구는 현재 시행되고 있는 한국어 시험들의 문제점을 살펴보았고, 시험을 설계할 때 필수적이며 근본이 되는 타당도 확보의 방향을 제시했다는 점에서 그 의의가 있다.
In testing educational achievement, it sometimes seems that testing is part of education. More frequently, however, education seems subordinate to testing. In particular, high-stakes tests, those that can have a great influence on individuals and society, can reach far beyond the mere evaluation of educational content and can provide future guidance for both students and teachers.
Currently, two of the most influential tests used for evaluating the communication abilities of Korean students are TOPIK (Test of Proficiency in Korean) and KLPT (Korean Language Proficiency Test). The two tests have the same objective: evaluating a student’s fluency in Korean. These tests are used as the basis for evaluating an applicant's college admission qualifications, are required for graduation and sometimes for employment. The tests are also used as a tool when teaching Korean and in assessing people's Korean proficiency. The handbook for both tests indicates that the test results are used for college admission. However, some educators feel that the tests are not adequate for evaluating an applicant's Korean learning ability. Increasingly more schools are developing their own independent admission tests. As high-stake tests, TOPIK, KLPT and college entrance exams have a great influence on the direction of Korean learning; they can be critical tools in setting a course for the applicant's life. Therefore, the tests need to be closely examined as evaluation tools.
Among the four sensory aspects of communication, listening is the most widely used in daily life; people first learn a language through hearing it spoken. Thus, an evaluation tool for listening comprehension needs to be improved for more efficient learning. To evaluate listening comprehension the most effectively, it is important to evaluate what needs to be measured in a test; that is, to determine the validity of a test.
In general, an evaluation tool should be valid, reliable and practical. Validity is the most significant factor that determines the quality of a test. Even if a test is reliable and practical the results cannot be trusted without validity of the test. The results of an invalid test will have a negative impact on both the applicants and the institutions that uses it.
Therefore, it is necessary to examine whether or not high-stakes Korean tests are based on accurate expectations and whether or not they measure adequate items. This study identifies factors that affect the validity of a test. TOPIK, KLPT and a Korean ability test developed by P University will be analyzed. Based on the identified factors, the study aims to suggest how to ensure the validity of high-stakes Korean tests.
The paper is organized as follows.
Chapter Ⅰ illustrates the research objectives and needs, describes the paper’s scope and methodology and examines the results of previous studies.
Chapter Ⅱ provides the theoretical background. It adopts Weir's concepts of the validity of a test, as provided in Language Testing and Validation (2005), as the theoretical basis. The paper examines the current condition of listening comprehension tests, including TOPIK, KLPT and a Korean ability test developed by P University.
Chapter Ⅲ analyzes the validity of each test in terms of its theoretical background and context, but also discusses how to design a valid test. The validity of the theoretical background is based on the language capability model, as suggested by Bachman & Palmer (1990). The validity of the context is divided into seven items for analysis: instruction, test objective, form of response, the order of evaluation items, materials, function and dialogist variables (speed, gender). Based on the results, the study provides suggestions as to what should be considered when designing a high-stakes Korean test.
The study identifies problems in current Korean tests and provides suggestions to ensure the validity of a test. Validity is essential and fundamental to designing a robust language test.
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
| 주요 개정내역 | 변경 사유 |
|---|---|
| · 수탁업체 콘소시엄 기관명 및 위탁기간 명시 | · 제6조(개인정보 처리업무의 위탁) 구체화 |
한국교육학술정보원은 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적 이용·제공 판단기준)
제15조(개인정보 처리방침의 변경)
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
개인정보파일 검색(privacy.go.kr)| 개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 |
보유기간 | |
|---|---|---|---|---|
| 학술연구정보서비스 이용자 가입정보 | 한국교육학술정보원법 정보추제 동의 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
| 선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 | |||
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
| 구분 | 담당자 | 연락처 |
|---|---|---|
| KERIS 개인정보 보호책임자 | 정보보호본부 안재호 |
- 이메일 : jinuk@keris.or.kr - 전화번호 : 053-714-0158 - 팩스번호 : 053-714-0195 |
| KERIS 개인정보 보호담당자 | 개인정보보호부 송진욱 | |
| RISS 개인정보 보호책임자 | 교육학술데이터본부 정광훈 |
- 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
| RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적인 이용ㆍ제공 판단기준)
제15조(개인정보 처리방침의 변경)
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)