KCI등재
국내 대규모 영어 쓰기 평가에서의 자동채점의 적용 가능성 탐색 = The application of the KICE automated scoring system
저자
시기자(Kija Si) ; 이용상(Yongsang Lee) ; 박도영(Doyoung Park) ; 임황규(Hwangkyu Lim) ; 구슬기(Seulki Koo) ; 박상욱(Sangwook Park) ; 임은영(Eunyoung Lim) 연구자관계분석
발행기관
학술지명
권호사항
발행연도
2013
작성언어
-주제어
KDC
370
등재정보
KCI등재
자료형태
학술저널
발행기관 URL
수록면
319-345(27쪽)
KCI 피인용횟수
2
제공처
소장기관
The purposes of this study are to test the performance of the KICE automated scoring system and explore how to apply this automated scoring system in the National English Ability Test (NEAT). The Level 2 writing test of the NEAT is composed of two items, and students' responses to these items are evaluated based on four rating domains: task completion, content, organization, and language use. In order to examine the performance of the automated scoring system, this study investigated the correlation and adjacent agreement between human scoring and automated scoring, rater severity using the many-facet Rasch model, test score reliability using G-theory, and scoring time and cost. Our study results clearly show that, in performance, the automated scoring is essentially equivalent to human scoring; and, in fact, the KICE automated scoring system is much more efficient than human raters in that it saves time and cost. Based on our findings, the current study suggests that a large corpus of Korean students be established, writing scoring standards be reformed, the efficiency of machine learning by adapting accurate standard scores be increased, and the development and complement of features be continued to improve the performance of the KICE automated scoring system.
더보기본 연구의 목적은 국가영어능력평가시험 쓰기 자동채점 프로그램의 성능을 검증하여 공식적인 국가영어능력평가시험에서의 적용 가능성을 탐색하기 위한 것이다. 본 연구의 자동채점 대상인 국가영어능력평가시험 쓰기 2급은 일상생활에 관한 글쓰기(60 ~ 80단어 제한, 15분)와 자기 의견 쓰기(80 ~ 120단어 제한, 20분)의 두 문항으로 구성되어 있으며, 4개의 채점 영역(과제 완성, 내용, 구성, 언어 사용)별로 분석적인 채점이 이루어진다. 성능검증을 위해 인간채점과 자동채점에 따른 상관계수와 일치도 통계에 근거한 채점자 간신뢰도의 차이, 다국면 라쉬 모형에 근거한 채점자 엄격성의 차이, 검사점수의 일반화 가능도 계수의 차이, 시간 및 비용 차이 등에 대한 통계적 분석을 실시하였다. 성능 검증 결과, 자동채점이 인간채점과 유사한 수준의 성능을 보이는 것으로 확인되었으며, 특히 시간 및 비용의 효율성은 자동채점이 매우 우수한 것으로 나타났다.
더보기분석정보
연월일 | 이력구분 | 이력상세 | 등재구분 |
---|---|---|---|
2026 | 평가예정 | 재인증평가 신청대상 (재인증) | |
2020-01-01 | 평가 | 등재학술지 유지 (재인증) | KCI등재 |
2017-01-01 | 평가 | 등재학술지 유지 (계속평가) | KCI등재 |
2013-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2010-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2008-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2006-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2004-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2001-01-01 | 평가 | 등재학술지 선정 (등재후보2차) | KCI등재 |
1998-07-01 | 평가 | 등재후보학술지 선정 (신규평가) | KCI후보 |
기준연도 | WOS-KCI 통합IF(2년) | KCIF(2년) | KCIF(3년) |
---|---|---|---|
2016 | 0.91 | 0.91 | 0.99 |
KCIF(4년) | KCIF(5년) | 중심성지수(3년) | 즉시성지수 |
1.02 | 1.03 | 1.646 | 0.37 |
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)