IRT 능력모수의 최대우도 및 사후최대 추정량의 조건부 편향 함수와 분산 함수의 기능 진단 = An Empirical Diagnosis on the Performance of the Asymptotic Conditional Bias and Variance Functions for the Maximum Likelihood and Maximum a Posteriori Estimators of IRT Ability Parameters

국문 초록 (Abstract)

문항반응이론(IRT)을 활용하여 피험자들의 능력모수(θ)를 추정할 때, 한 집단에 속한 피험자들이 모두 동일한 능력모수를 가지더라도 그 추정치들은 서로 다를 수 있으며(즉, 조건부 분산을 가지며), 그 평균은 능력모수와 차이(즉, 조건부 편향)를 보일 수 있다. IRT 능력모수의 최대우도(ML) 추정량과 사후최대(MAP) 추정량에 대해 주어진 능력모수에서의 추정치들의 조건부 편향과 분산을 이론적으로 계산하는 점근 함수(asymptotic functions)가 제시되어 왔다. 본 연구의 목적은 ML 및 MAP 추정량의 조건부편향 및 분산의 점근 함수들이 다양한 길이와 문항 특성의 3모수-로지스틱(3PL) 모형 검사들 상에서 어떻게 기능하는지를 경험적으로 진단하는 것이었다. 연구 결과, 3PL 모형 하에서 조건부 편향 함수와 분산 함수의 근사적 정확도는 검사의 길이 n, 문항 곤란도(b)의 표준편차 SD(b)에 많은 영향을 받았지만 문항 변별도(a)의 크기에는 상대적으로 적은 영향을 받았다. 구체적으로, ML 추정량의 경우, θ=[-3,3]의 능력 구간 상에서 조건부 편향과 분산의 점근 함수가 실제 경험적 값들을 0.1 이내로 근사하기 위해서는 SD(b)=2이고 n=50 이상이어야 했다. MAP 추정량의 경우는, θ=[-3, 3]의 능력 구간 상에서 조건부 편향과 분산의 점근 함수가 실제 경험적 값들을 0.1 이내로 근사하기 위해서는 a=1.5, SD(b)=2이고 n=100 이상이어야 했다. 교육 및 심리측정의 현장에서 사용되는 대부분의 검사들은 이러한 검사 조건들을 충족하지 않기 때문에, 조건부 편향과 분산의 점근 함수는 검사 실무자들에게 의해 오용될 소지가 있음과 그 파생적 결과를 논의하였다.

다국어 초록 (Multilingual Abstract)

In estimation of examinees' ability parameters using item response theory (IRT), any ability estimators developed so far may produce the estimates that have non-zero bias and variance given a parameter θ. For each of the maximum likelihood (ML) and maximum a posteriori (MAP) estimators, previous studies have presented the asymptotic functions that compute theoretically the conditional bias and variance of estimates given θ. The purpose of this study was to diagnose the performance of the conditional bias and variance functions for the ML and MAP estimators by examining how closely the functions would approximate the empirical values under various multiple-choice test conditions. The test conditions varied by test length (n=25, 50, & 100), standard deviation (SD) of item difficulty (b) parameters [SD(b)=1, 2], and item discrimination (a) parameters (a=1, 1.5). It was found that the closeness to empirical values of the asymptotic functions was affected much by the test length and SD(b), but relatively little by the size of  parameters. Specifically, it was judged for the ML estimator that the testing condition of SD(b)=2 & n ≥ 50 was required so that the asymptotic bias and variance functions might approximate the empirical values with the less than 0.1 difference across -3<θ<3. For the MAP estimator, it was judged that the testing condition of a=1.5, SD(b)=2, & n≥ 100 was required so that the asymptotic bias and variance functions might less than 0.1 difference-closely approximate the empirical values across -3<θ<3.

목차 (Table of Contents)

• Ⅰ. 서 론
• Ⅱ. 능력모수 추정량의 조건부 편향 및 분산 함수
• Ⅲ. 연구방법
• Ⅳ. 연구결과
• Ⅴ. 논의 및 결론
• 참고문헌
• 저자소개

참고문헌 (Reference)

• 1 김성훈, "혼합형 검사를 사용한 피험자 능력모수 추정에서 가중우도 방법과 사후기대 방법의 기능 비교" 한국교육평가학회 23 (23): 665-685, 2010
• 2 Warm,T.A, "Weighted likelihood estimation of ability in item response theory" 54 : 427-450, 1989
• 3 Lord,F.M, "Unbiased estimators of ability parameters, of their variance, and of their parallel-forms reliability" 48 : 233-245, 1983
• 4 Samejima,F, "The bias function of the maximum likelihood estimate of ability for the dichotomous response level" 58 : 195-209, 1993
• 5 Birnbaum, A, "Some latent trait models and their use in inferring an examinee’s ability, In Statistical theories of mental test scores" Addison Wesley 397-479, 1968
• 6 Kolen, M. J, "Psychometric properties of IRT proficiency estimates" 29 (29): 8-14, 2010
• 7 Mislevy, R. J, "PC-BILOG 3: Item analysis and test scoring with binary logistic models [Computer software]" Scientific Software 1990
• 8 Lord,F.M, "Maximum likelihood and Bayesian parameter estimation in item response theory" 23 : 157-162, 1986
• 9 Bock, R. D, "Marginal maximum likelihood estimation of item parameters: Application of an EM algorithm" 46 : 443-459, 1981
• 10 김성훈, "IRT 능력 추정에서 정보적 사전분포에 기초한 EAP 방법과 무정보적 사전분포에 기초한 방법의 기능 비교" 한국교육평가학회 23 (23): 441-463, 2010
• 11 Lord,F.M, "Applications of item response theory to practical testing problems" Lawrence Erlbaum 1980
• 12 Samejima,F, "An approximation for the bias function of the maximum likelihood estimate of a latent variable for the general case where the item responses are discrete" 58 : 119-138, 1993
• 13 Kim, J. K, "Ability estimation for conventional tests" 58 : 587-599, 1993
• 14 김성훈, "A Note on the Reliability Coefficients for Item Response Model-Based Ability Estimates" PSYCHOMETRIC SOC 77 (77): 153-162, 201201