한국어 말하기 평가 채점자의 채점 경향 연구
저자
발행사항
서울 : 연세대학교 대학원, 2018
학위논문사항
학위논문(박사) -- 연세대학교 대학원 , 한국학협동과정 한국어교육전공 , 2018.8
발행연도
2018
작성언어
한국어
주제어
발행국(도시)
서울
기타서명
A study on rating tendencies of Korean speaking proficiency test
형태사항
viii, 151 p. : 삽화 ; 26 cm
일반주기명
지도교수: 원미진
UCI식별코드
I804:11046-000000517170
소장기관
본 연구는 한국어 말하기 숙달도 평가에 참여한 채점자들의 채점 경향을 분석하고 채점 과정에서 나타나는 채점자의 행동 특성을 살펴보는 것을 목적으로 한다. 채점자들의 채점 엄격성 및 채점 일관성, 채점 편향성 등의 채점 경향을 파악하기 위해서 6명의 채점자가 한국어 말하기 숙달도 평가를 채점한 자료를 다국면 라쉬 모형을 이용하여 분석하였다. 그리고 채점 과정에서 나타나는 채점자의 행동 특성을 파악하기 위해서 채점자 6명을 대상으로 포커스 그룹 인터뷰를 실시하여 그 내용을 분석하고 분류하였다.
다국면 라쉬 모형을 통해 살펴본 채점 신뢰도 분석 결과는 다음과 같다. 채점자 간 신뢰도 측면에서 채점자 간 채점 엄격성의 차이는 채점이 거듭되면서 줄어드는 양상을 보였으나 통계적인 차이는 사라지지 않았다. 그리고 채점자 내 신뢰도의 측면에서 채점 일관성은 채점자와 채점 차시에 따라 다르게 나타났다. 채점자들 중 가장 안정적인 일관성을 보인 채점자는 [채점자1]과 [채점자3]이었으며 [채점자2]는 세 번의 채점에서 부적합과 적합, 과적합 등 채점 차시에 따라 모두 다른 채점 경향을 보였다. 그리고 1, 2차 채점에서 과적합 경향을 보였던 [채점자4]는 3차 채점에서는 적합한 경향으로 수정되었고 1, 2차 채점에서 일관된 채점 경향을 보였던 [채점자5]와 [채점자6]은 3차 채점에서는 각각 약간의 과적합과 부적합 경향을 보였다. 이러한 결과는 채점자 훈련을 통해 채점자 간 차이를 줄일 수는 있으나 완전히 제거할 수는 없다는 선행연구나 원어민이거나 교육 경력이 많은 채점자라도 하더라도 일관되게 채점하는 것은 아니라는 선행연구의 결과와 동일했다. 그리고 채점 편향성은 채점자의 채점 일관성이 통계적으로 적합하더라도 유의미한 결과가 분석되었으며 이는 평가구인, 평가문항, 응시자 등과의 상호작용에서 모두 나타났다. 분석된 편향의 결과는 채점자에 따라 상이한 양상을 보였으며 평가문항의 경우는 난이도가 높은 고급 수준의 문항에서 가장 많이 나타났고 응시자의 경우는 숙달도가 낮은 경우가 비교적 많았다.
포커스 그룹 인터뷰를 통해 살펴본 채점자의 행동 특성은 채점 과정, 채점 조건, 채점자 특성, 채점자 훈련 등의 범주로 나누어 볼 수 있었다. 개별 채점자의 채점 행동 특성을 중심으로 보면, [채점자1]은 유창성 구인 내에서 발음을 함께 채점하는 데 대해 난해함이 있었음을 언급했고 이는 통계 분석 결과에서도 유창성에 대한 엄격성이 채점 차시에 따라 점차 높아지는 양상으로 나타났다. 그러나 [채점자1]은 과제수행에 대해서는 엄격하게, 정확성에 대해서는 관대하게 채점하는 경향에 대해서 알지 못했는데 편향성 결과를 본 후에 한국어능력시험 쓰기 채점의 영향인 것 같다고 설명했다. [채점자2]는 1차와 3차 채점에서 각각 과적합과 부적합 경향을 보였으나 그와 같은 채점 경향의 원인에 대해서 채점자 본인은 알지 못했다. 여러 채점 자료를 복합적으로 참고하여 채점한 과정을 고려할 때 [채점자2]는 채점 자료를 참고하는 과정에서 평가기준을 충분히 내재화하지 못하고 채점한 것으로 추정된다. 그리고 정확성 구인에 대한 편향을 보인 [채점자3]은 유창성과 정확성 구인의 변별에 대한 난점을 언급했고 나름의 기준을 세워 채점했음을 밝혔다. 유창성과 정확성을 변별하는 과정에서 응시자 발화를 발음의 오류보다는 문법이나 어휘 사용의 오류로 판정하는 사례가 많았던 것으로 판단된다. 1, 2차 채점에서 과적합 경향이 나타난 [채점자4]는 영어 숙달도 평가 기준을 한국어 평가에 적용함으로써 다른 채점자들과는 다른 평가척도를 사용한 데 따른 것이었다. 3차 채점에서 과적합 경향을 보인 [채점자5]는 상대적으로 길었던 채점 기간으로 인해 채점에 대한 집중력이 분산되어 나타난 것으로 추정된다. 그리고 부적합 경향이 나타난 [채점자6]은 채점 분량 및 채점 기간에 따른 피로도와 함께 평가문항과 특정 응시자 집단에 대한 편향의 영향이 있었던 것으로 보인다.
이와 같은 결과를 바탕으로 본 연구에서는 한국어 말하기 숙달도 평가와 채점자 훈련과 관련된 시사점을 제안했다. 이 연구는 한국어교육 평가 관련 논문으로서 양적 연구 방법과 질적 연구 방법을 통해 말하기 숙달도 평가 과정에서 나타난 개별 채점자의 채점 경향과 행동 특성을 밝혔다는 점에서 연구의 의의가 있다. 한국어교육 평가 분야에서 채점자와 관련된 연구는 시작 단계에 있으므로 본 연구의 결과는 한국어 말하기 평가의 채점자 연구와 채점자 훈련을 위한 기초 자료로 사용될 수 있을 것이다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
| 주요 개정내역 | 변경 사유 |
|---|---|
| · 개인정보 처리 목적, 항목 및 법적 근거 수정 · 본인대상정보전송요구권 행사 방법 안내 · 개인정보 보호수준 평가 결과 추가 |
|
한국교육학술정보원은 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
목 차
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적 이용·제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
개인정보파일 검색(privacy.go.kr)| 개인정보파일의 명칭 | 수집·이용 근거 | 수집·이용 목적 | 수집·이용 항목 | 보유·이용기간 |
|---|---|---|---|---|
| [학술연구정보 서비스 이용자 가입정보] |
「개인정보 보호법」 제15조 제1항 제4호(계약 이행) |
회원 서비스 운영 |
ID, 비밀번호, 이름, 생년월일, 신분(직업구분), 이메일, 소속분야, 보호자 성명(어린이회원), 보호자 이메일(어린이회원) |
회원탈퇴시 까지 |
| 「전자상거래 등에서의 소비자보호에 관한 법률」 제6조 및 같은 법 시행령 제6조 |
주문 및 결제 처리 |
ID, 비밀번호, 이름, 주소 |
5년 |
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
| 구분 | 담당자 | 연락처 |
|---|---|---|
| KERIS 개인정보 보호책임자 | 정보보호본부 안재호 |
- 이메일 : jinuk@keris.or.kr - 전화번호 : 053-714-0158 - 팩스번호 : 053-714-0195 |
| KERIS 개인정보 보호담당자 | 개인정보보호부 송진욱 | |
| RISS 개인정보 보호책임자 | 교육학술데이터본부 정광훈 |
- 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
| RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적인 이용ㆍ제공 판단기준)
제15조(개인정보 보호수준 평가 결과)
제16조(개인정보 처리방침의 변경)
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)