잠재분포를 활용한 IRT 분류정확도 추정 : 2-요소 정규혼합분포를 중심으로
저자
발행사항
서울 : 연세대학교 대학원, 2023
학위논문사항
학위논문(석사) -- 연세대학교 대학원 교육학과 2023.8
발행연도
2023
작성언어
한국어
주제어
발행국(도시)
서울
기타서명
Estimation of IRT classification accuracy using latent distribution : a case of two-component normal mixture distribution
형태사항
viii, 131 p. : 삽화(주로천연색) ; 26 cm
일반주기명
지도교수: 류지훈
UCI식별코드
I804:11046-000000550386
소장기관
Classification accuracy, which can be considered as the validity of criterion-referenced test, is a useful and essential information in test development and utilization of results, as it represents the accuracy of classifying examinees based on their achievement levels. As a result, several methods have been proposed to estimate classification accuracy and particularly, research on classification accuracy estimation using IRT has been actively conducted since the 2000s. According to previous studies, it has been observed that the estimation of IRT classification accuracy is influenced by several factors associated with the test. Additionally, examinees’ ability distribution has also been identified as another influencing factor in this regard. In practice, the assumption of normality for the examinees’ ability distribution is often inappropriate in educational evaluation or psychometric data.
Despite the frequent occurrence of violations of the normality assumption regarding the examinees’ ability distribution, which can impact the estimation of classification accuracy, there has been a lack of systematic attempts to investigate the influence of various examinees’ ability distributions on the IRT classification accuracy estimation methods. In particular, the Guo method, which is difficult to find previous studies on, is also susceptible to the non-normality of examinees’ ability distribution. The Guo method assumes a non-informative prior distribution when estimating the posterior distribution, which represents the latent distribution of examinee. This makes it difficult to reflect the non-normality of examinees’ ability distribution. Furthermore, IRT classification accuracy estimation methods, including the Guo method, require accurate parameter estimation. To achieve this the estimation of parameters can be performed using the MMLE-EM method, and in MMLE, the analysis is typically conducted under the assumption that the latent distribution follows a normal distribution. However, the assumption of normality for the examinees’ ability distribution is often inappropriate. In such cases, assuming that the latent distribution follows a normal distribution can increase bias in parameter estimation and hinder accurate estimation of classification accuracy.
In other words, it was necessary to verify whether accurate classification accuracy estimation is possible through the IRT classification accuracy estimation methods in cases where the assumption of normality is inappropriate. Moreover, in MMLE, it is possible to estimate the latent distribution along with parameter estimation in order to reduce the bias in parameter estimation. It was expected that by using the estimated latent distribution to estimate classification accuracy, it would better reflect the non-normality of the examinees’ ability distribution compared to the Guo method, which assumes a non-informative prior distribution.
In this study, a new method (referred to as the 2NM method) for estimating classification accuracy was proposed by using the the estimated latent distribution obtained through the latent distribution estimation method assuming the two-component normal mixture distribution.
The purpose of the simulation study was to examine the accuracy of the 2NM-latent distribution estimation, which is a prerequisite for utilizing the 2NM method. Additionally, the performance of the 2NM method was compared to that of the existing IRT classification accuracy estimation methods under the simulation conditions. To this end, the simulation study was designed with various conditions including examinees’ ability distribution, test length, sample size, ability estimation method, and cut-score location. The goal was to examine the accuracy of the 2NM-latent distribution estimation method based on different examinees' ability distributions and test lengths. Additionally, the study aimed to investigate the differences in classification accuracy estimates obtained from three methods based on variations in the examinees’ ability distribution, cut-score location, test length, and ability estimation method. Furthermore, to assess the stability and accuracy of the three classification accuracy estimation methods, the study calculated the standard error of estimate, bias, and root mean square error based on the true classification accuracy index under different simulation conditions.
The results and conclusions of this study are as follows : First, 2NM-latent distribution estimation method can handle not only normal distribution but also various non-normal distributions with flexibility. It has demonstrated stable and accurate estimation of the latent distribution. Secondly, in non-normal situations where skewness and bimodality are present, the 2NM method has been shown to outperform other methods. Thirdly, the difference between the 2NM method and other methods became even more pronounced when the test length was shorter. Lastly, the 2NM method did not show any significant difference in ability estimation method, whereas the choice of ability estimation method should be carefully considered for the other methods depending on the situation.
준거참조검사의 타당도라 할 수 있는 분류정확도는 피험자 성취 수준 분류 결정의 정확성을 나타내는 지표로 검사 개발 및 결과 활용에 있어 유용하며 필수적으로 파악해야 하는 정보이다. 이에 따라 여러 분류정확도 추정 방법이 제안되었고 특히, IRT 분류정확도 추정 방법에 관한 연구가 2000년대 이후 활발하게 진행되었다. 선행 연구에 따르면 IRT 분류정확도 추정 방법은 검사와 관련된 여러 요인에 영향을 받으며, 피험자 능력 분포 또한 영향을 미치는 요인인 것으로 나타났다. 그리고 교육평가 및 심리측정 분야에서 피험자 능력 분포에 대한 정규성 가정이 부적절한 경우가 많았다.
이처럼 분류정확도 추정에 영향을 미칠 수 있는 피험자 능력 분포에 대한 정규성 가정의 위배 상황이 빈번하게 나타남에도 불구하고, 다양한 피험자 능력 분포가 IRT 분류정확도 추정 방법에 미치는 영향력을 체계적으로 규명하려는 시도는 부족하였다. 특히, 선행 연구를 찾아보기 어려운 Guo 방법 역시 피험자 능력 분포의 비정규성에 영향을 받을 가능성이 있었다. Guo 방법에서는 피험자의 잠재분포 즉, 사후분포를 구할 때 무정보적 사전분포를 가정하기에 피험자 능력 분포의 비정규성을 반영하기 어려울 수 있기 때문이다. 또한, Guo 방법을 포함한 IRT 분류정확도 추정 방법에는 정확한 모수 추정이 필요한데. 이를 위해 MMLE-EM 방법이 사용될 수 있고 MMLE에서는 기본적으로 잠재분포가 정규분포를 따른다는 가정하에 분석이 이루어진다. 하지만, 정규성 가정이 부적절한 경우가 많고 이때, 잠재분포가 정규분포를 따른다고 가정하면 편의가 증가해 분류정확도의 정확한 추정을 저해할 수 있는 것으로 나타났다.
다시 말해, 정규성 가정이 부적절한 상황에서 IRT 분류정확도 추정 방법을 통해 정확한 분류정확도 추정이 가능한지 확인할 필요가 있었다. 또한, MMLE에서는 모수 추정의 편의를 줄이기 위해 잠재분포를 함께 추정할 수 있는데 추정된 잠재분포를 활용하여 분류정확도를 추정한다면 무정보적 사전분포를 가정하는 Guo 방법에 비해 피험자 능력 분포의 비정규성을 더욱 제대로 반영할 수 있을 것으로 기대되었다.
이에 본 연구에서는 2요소-정규혼합분포를 가정한 잠재분포 추정 방법을 통해 추정된 잠재분포를 활용한 IRT 분류정확도 추정 방법(2NM 방법)을 새롭게 제안하였다.
모의실험의 목적은 2NM 방법을 활용하기 위한 전제 조건인 2NM-잠재분포 추정 방법의 정확성을 확인하고, 2NM 방법의 성능을 모의실험 조건에서 기존의 IRT 분류정확도 추정 방법과 비교하는 것이다. 이를 위해 잠재분포 및 분류정확도 추정에 영향을 미칠 수 있는 요인들로 모의실험 조건을 구성하여 피험자 능력 분포와 검사 길이에 따른 2NM-잠재분포 추정 방법의 정확성을 확인하고, 세 방법으로 산출한 분류정확도 추정치가 피험자 능력 분포와 분할점수 위치, 검사 길이 그리고 능력추정법에 따라 어떠한 차이 및 상호작용 효과를 보이는지 살펴보았다. 또한, 세 방법의 분류정확도 지수 추정에 대한 안정성과 정확성을 판단하기 위해 진 분류정확도 지수를 활용하여 모의실험 조건에 따른 추정의 표준오차, 편의, 평균 제곱근 오차를 계산하였다.
본 연구의 결과 및 결론은 다음과 같다. 첫째, 2NM-잠재분포 추정 방법은 정규분포뿐만 아니라 여러 비정규분포에 유연하게 대처해 안정적이고 정확하게 잠재분포를 추정하였다. 둘째, 편포 및 이봉성이 나타나는 비정규 상황에서는 2NM 방법이 다른 두 방법에 비해 성능이 우수한 것으로 나타났다. 셋째, 검사 길이가 짧을수록 2NM 방법과 다른 방법 간 차이는 더욱 크게 나타났다. 넷째, 2NM 방법은 능력추정법 간 차이가 없었으나 다른 두 방법은 상황에 따라 능력추정법 선택에 유의하여야 한다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)