다분문항반응이론에서 두 가지 사후기대추정법을 통한 IRT 능력모수 추정의 정확성 비교 연구 = A comparison study on accuracy of IRT ability parameter estimates based on two EAP methods under the polytomous IRT

국문 초록 (Abstract)

본 연구에서는 다분문항으로 이루어진 검사를 실시한 후 피험자의 능력을 추정하기 위한 방법 중에서, 검사 총점을 고려한 사후기대추정법(EAPss)이 문항별 반응양식을 고려한 사후기대추정법(EAPrp)에 비하여 상대적으로 어떠한 기능을 보이는가를 모의실험을 통하여 살펴보고자 하였다. 후자는 검사자료의 더 많은 정보를 활용하기 때문에 보다 정확한 능력 추정치를 제공하지만, 전자의 경우 원점수와 일대일로 대응하는 속성으로 인하여 일반 대중의 이해가 용이하다는 장점을 갖는다. 이 연구에서는, 이분문항 검사 자료에 대한 선행연구의 결과와 같이 만약 다분문항 검사에서도 두 방법 간의 실질적 차이가 미미하다면, 선다형 문항과 구성형 문항이 섞여 있는 각종 시험 및 리커트 척도 검사 자료를 분석함에 있어서 EAPss도 능력 추정을 위한 유력한 대안이 될 수 있을 것으로 기대하였다. 모의실험 연구는 ‘모형’, ‘검사 길이’, 및 ‘응답 문항 범주 수’를 다양하게 조건화하여 두 EAP 방법에따른 능력 수준별 분포의 능력 추정 정확도의 차이를 탐구하였으며, 피험자의 능력을 주변적(marginal) 그리고 조건적(conditional)으로 다루는 두 가지 하위연구로 구성하였다. 전자의 연구 결과 피험자 전체 수준에서 EAPrp가 EAPss에 비하여 조금 더 적은 MSE, SB, VAR 값을 산출하였지만 그 차이는 소수점 둘째 자리에서 발생하는 미미한 차이임을 확인할 수 있었으며, 후자의 연구를 통하여 표준정규 사전분포를 사용한 경우, 두 EAP 능력추정 방법 모두 [-2, 2]의 능력범위에서 0에 가까운 SB와 VAR 값을 보이고, 균일분포 사전분포를 사용한 경우 양극단에 위치한 능력수준의 피험자를 더 정확히 추정함을 알 수 있었다.

다국어 초록 (Multilingual Abstract)

This study is to investigate the accuracy of IRT ability parameter estimates based on summed score EAP method under the polytomous IRT model through several simulation conditions, comparing traditional EAP method based on item response pattern. The former has an advantage in that it can produce convincing scale scores to the public by estimating one-to-one ability estimates with the number correct scores. It also has an disadvantage, however, ignoring the information the item response patterns have. Even though it has the problem of losing information, this study expects to find the degree of estimation accuracy is similar to the latter. For this, the study compares the accuracy of recovery of true ability parameter under the several simulation conditions, and presents the results with the value of MSE, SB, and VAR. The results show that the latter produces a little bit smaller value of MSE, SB, and VAR than the former. However, the difference usually happens at the second decimal places. Moreover, such results of both two EAP have very small difference values close to 0 on the ability parameter scale between ?2 and 2. Therefore, the results imply that the use of EAP based on summed score can be the promising alternative ability estimation method under the operation of an actual testing program. Key words : Polytomous item response theory, EAP method based on the summed score, EAP method

참고문헌 (Reference)

• 1 강태훈, "모의실험 연구를 통한 등급반응모형과 일반화부분점수모형 비교" 한국교육평가학회 25 (25): 479-496, 2012
• 2 강태훈, "IRT 능력모수 추정에 있어서 검사총점에 근거한 사후기대추정법의 정확성에 관한 연구" 한국교육방법학회 26 (26): 1-19, 2014
• 3 강태훈, "3모수 문항반응이론의 능력모수 추정 방식과 검사의문항곤란도 구성이 능력 추정의 표준오차에 미치는 영향" 한국교육평가학회 20 (20): 73-97, 2007