KCI등재
혼합형 검사의 문항 유형별 가중치에 따른 신뢰도 및 다변량 일반화가능도 분석 = Multivariate Generalizability Analyses for Mixed-Format Tests with Various Compositions of MC and CR Item Weights
저자
발행기관
학술지명
권호사항
발행연도
2012
작성언어
-주제어
KDC
370
등재정보
KCI등재
자료형태
학술저널
발행기관 URL
수록면
95-116(22쪽)
KCI 피인용횟수
8
제공처
소장기관
혼합형 검사로 구성된 대규모 검사의 개발 초기 단계에는 검사의 내용 영역 및 행동 영역, 제한 시간, 피험자의 발달적 특성, 측정의 정교성 수준 등을 고려하여 검사 문항 유형별 문항 수와 배점 등을 결정하는 것이 바람직하다. 그러나 실제로는 배점을 조정함에 따르는 측정학적 특성의 변화, 특히 신뢰도의 변화에 대한 경험적인 근거 없이 선택형 문항 및 서답형 문항의 문항수 및 배점이 정책적 결정 또는 선험적인 판단에 근거하여 결정되는 경우가 있다. 본 연구에서는 중․고등학교 현장에서 사용되고 있는 혼합형 검사 데이터를 이용한 예시적 분석을 통하여 신뢰도를 최대화할 수 있는 문항 유형별 배점의 조합을 탐색하는 방법을 적용하고, 이 방법의 현장 적용 가능성을 모색하였다. 이를 위해,한 중학교의 국어과와 과학과 중간고사 데이터를 이용하여 합성점수 산출시 선택형 문항과 서답형 문항에 적용하는 가중치를 다양하게 변화시킴에 따라 검사의 신뢰도가 어떻게 변화하는지를 탐색하였다. 분석 방법으로는 다변량 일반화가능도 분석을 적용하여 오차 분산 및 일반화가능도계수를 산출하였다. 본 연구 결과로 산출된 최적의 상대 가중치는 본 연구에서 사용한 특정 검사에만 국한되지만, 본 연구에서 적용한 방법론적 틀은 검사의 측정학적 특성을 바탕으로 최적의 문항 유형 가중치를 결정하기 위해 적용 가능하다. 본 연구에서는 피험자 국면과 문항 국면으로 구성된 설계에만 국한하여 분석을 수행하였으나, 향후 채점자 국면을 임의 국면으로 포함한 설계에 확장하여 적용할 것을 후속 연구로 제안하였다.
더보기It is a typical practice in developing a large-scale test with mixed format that number of items of multiple-choice(MC) and constructed-response(CR) items and relative weights of each format are determined based on test specifications including content and performance domains, time constraints, developmental stage of examinees, and desired accuracy of measurement. In some cases, however, this kind of decision is arbitrarily made based on government policy or a priori judgment, not based on psychometric properties from empirical research. This study suggested a method of investigating effects of diversifying relative weights of MC and CR items on reliability indices such as generalizability index or index of dependability using multivariate generalizability theory and finding an optimum combination of relative weights that maximize the reliability, by providing an illustrative example of applying the methodology especially in the context of teacher-crafted assessments. It should be noted that the optimum combination of relative weights obtained from the illustrative example is not generalizable to other testing programs, but the methodology applied in this study can be utilized to find an optimum compositions of MC and CR items in other mixed format tests in general and will provide basis for making informed decisions in test construction.
더보기분석정보
연월일 | 이력구분 | 이력상세 | 등재구분 |
---|---|---|---|
2026 | 평가예정 | 재인증평가 신청대상 (재인증) | |
2020-01-01 | 평가 | 등재학술지 유지 (재인증) | KCI등재 |
2017-01-01 | 평가 | 등재학술지 유지 (계속평가) | KCI등재 |
2013-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2010-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2008-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2006-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2004-01-01 | 평가 | 등재학술지 유지 (등재유지) | KCI등재 |
2001-01-01 | 평가 | 등재학술지 선정 (등재후보2차) | KCI등재 |
1998-07-01 | 평가 | 등재후보학술지 선정 (신규평가) | KCI후보 |
기준연도 | WOS-KCI 통합IF(2년) | KCIF(2년) | KCIF(3년) |
---|---|---|---|
2016 | 0.91 | 0.91 | 0.99 |
KCIF(4년) | KCIF(5년) | 중심성지수(3년) | 즉시성지수 |
1.02 | 1.03 | 1.646 | 0.37 |
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)