공통문항 비동등집단 설계에서 다차원 문항반응모형의 연계화와 동등화 결과 비교: 집단 간 비동등성, 차원 간 상관정도, 검사구조를 중심으로 = A comparison of MIRT linking and equating results under common item nonequivalent groups design: focused on non-equivalency of groups, degree of correlation between dimensions and test structure

국문 초록 (Abstract)

본 연구는 공통문항 비동등집단 설계에서 이차원성을 갖는 검사자료에 MIRT 연계화와 동등화가 적용될 때 집단 간 비동등성, 차원 간 상관정도, 검사구조에 따라 연계화와 동등화 결과를 모의실험을 통해 알아보았다. 각 연구조건에 맞게 생성된 모의자료를 가지고 각 집단의 검사점수를 분리 추정한 후 Oshima, Davey와 Lee (2000)(ODL), Li와 Lissitz(2000)(LL), Min(2003)(MIN)이 개발한 세 가지 MIRT 연계화 방법을 적용하여 연계화를 시행하였다. 각 연계화 방법에 따라 공통 척도화 된 모수로 Brossman(2013)이 개발한 복합 다차원 문항반응이론 관찰점수 동등화(FMIRT), 다차원 문항반응이론의 일차원적 접근 진점수 동등화(AMIRTT), 다차원 문항반응이론의 일차원적 접근 관찰점수 동등화(AMIRTO) 방법으로 동등화를 시행하였다. 본 연구는 MIRT 동등화가 적용되기 이전에 연계화 과정을 포함하고 있기 때문에 연계화와 동등화 절차를 분리하여 연계화 결과와 동등화 결과를 살펴보았다.
MIRT 연계화 결과는 첫째, 집단 간 비동등성에 따른 MIRT 연계화 방법 간 연계화 결과는 ODL 방법이 적용된 경우 집단 간 비동등성에 따른 변별도와 난이도의 연계화 결과에 큰 차이가 나타나지 않았다. 반면 LL과 MIN 방법은 동등집단과 두 집단 간 평균만이 다른 비동등집단에서 변별도와 난이도 연계화 결과의 패턴이 매우 유사하게 산출되었으며, 두 집단 간 평균과 각 차원의 분산이 다른 비동등집단의 경우에는 변별도와 난이도 모두에서 다른 두 경우에 비해 상대적으로 연계화 결과의 양호도가 떨어졌다. 둘째, 차원 간 상관정도에 따른 MIRT 연계화 방법 간 연계화 결과는 ODL 방법이 LL과 MIN 방법에 비해 변별도 연계화 결과가 상대적으로 양호하게 산출되는 것으로 나타났으며, LL과 MIN 방법의 경우 차원 간 상관정도에 따른 변별도 연계화 결과에 일관성 있는 패턴이 발견되지는 않았다. 또한, 난이도의 경우에는 차원 간 상관정도가 연계화 결과에 미치는 영향력이 작았다. 셋째, 검사구조에 따른 MIRT 연계화 방법 간 연계화 결과는 세 가지 연계화 방법에서 유사단순구조와 복합구조에 상관없이 변별도와 난이도 모두 유사하게 산출되었다.
다음으로 MIRT 동등화 결과는 첫째, MIRT 연계화 방법에 따른 MIRT 동등화 결과는 ODL 방법이 적용된 경우에 세 가지 동등화 방법에서 동등화 결과가 비슷하게 산출되었다. 반면 LL과 MIN 연계화 방법의 경우에는 일차원적 접근 방법인 AMIRTT와 AMIRTO의 동등화 결과가 매우 유사하게 산출되었으며, FMIRT에 비해 동등화 결과의 양호도가 떨어졌다. 둘째, 집단 간 비동등성에 따른 MIRT 동등화 방법 간 동등화 결과는 ODL 연계화 방법이 적용된 경우 본 연구에서 고려한 집단 간 비동등성의 연구조건 모두에서 세 가지 동등화 방법에 따른 동등화 결과는 유사하게 산출되었다. 그러나 LL과 MIN 연계화 방법이 적용된 경우에는 두 집단 간 평균과 분산의 차이가 있는 경우의 동등화 결과가 동등집단과 집단 간 평균에만 차이가 있는 경우에 비해 상대적으로 동등화 결과의 양호도가 떨어졌다. 셋째, 차원 간 상관 정도에 따른 MIRT 동등화 방법 간 동등화 결과는 일차원적 접근 방법인 AMIRTT, AMIRTO의 경우 세 가지 연계화 방법 모두에서 차원 간 상관에 관계없이 동등화 결과가 매우 유사하게 산출되었으며, FMIRT 방법의 경우에는 다른 패턴으로 산출되었다. LL, MIN 연계화 방법이 적용된 경우에는 차원 간 상관정도에 따라 세 가지 동등화 방법에 따른 결과가 일관적인 패턴 없이 산출되었으나, ODL 방법이 적용된 경우에는 FMIRT 방법이 일차원적 접근 AMIRTT, AMIRTO 방법에 비해 모든 차원 간 상관정도에서 동등화의 양호도가 높게 나타났다. 넷째, 검사구조에 따른 동등화 방법간 동등화 결과는 적용된 연계화 방법에 따라 차이가 나타났다. ODL 연계화 방법을 적용한 경우에는 세 가지 동등화 방법 모두에서 동등화 결과의 정확성이 두 검사구조 모두에서 비슷하게 산출되었다. 반면 LL과 MIN 연계화 방법이 적용된 경우에는 세 가지 동등화 방법에서 동등화 결과의 정확성에 차이가 나타났지만 그 차이에 일관적인 패턴이 나타나지 않았다.

다국어 초록 (Multilingual Abstract)

The purpose of this study is to compare the results of MIRT linking and equating of two dimensional data according to non-equivalency between groups, correlation of between dimensions, and test structure under common item non-equivalent group design with simulation data. After separate calibration of generated simulation data, estimated parameters were linked by three MIRT linking methods: Oshima, Davey and Lee(2000), Li & Lissitz(2000) and Min(2003). commonly scaled parameters by each linking method were equated by three MIRT equating methods: approximate unidimensionalized MIRT true score equating (AMIRTT), approximate unidimensionalized MIRT observed score equating (AMIRTO) and full MIRT observed score equating (FMIRT) developed by Brossman(2013). A summary of the results of this study is divided into two results because MIRT equating processes include MIRT linking procedures. The following conclusions were drawn from this study.
Firstly, when ODL linking method according to non-equivalency of groups was applied, the linking results of the discrimination and difficulty parameters were similar. On the other hand, when LL and MIN linking methods were applied, both equivalent groups and non-equivalent groups with only different mean in ability distribution produced similar patterns. The other non-equivalent groups with different mean in ability distribution and different variance in each dimension showed that the results of linking in discrimination and difficulty parameters were relatively lower than other two cases.
Secondly, linking results according to degree of correlation between dimensions among three linking methods showed that ODL method in linking results of discrimination parameters performed better than LL and MIN methods. For these two linking methods, consistent patterns did not appear in linking results of discrimination parameters. The linking result in item difficulty was similar regardless of the degree of correlation between the dimensions among three linking methods.
Thirdly, the result of linking of discrimination and difficulty parameters in both approximated simple and complex structure appeared analogous in all three linking methods.
Tests with linked parameters from each MIRT linking method were equated. The results of MIRT equating are follows. Firstly, the results of MIRT equating according to non-equivalency of groups were similar when ODL linking method was applied. When LL and MIN linking methods were applied, by contrast, the equating relationship in both AMIRTT and AMIRTO was vary similar and the results of equating from these methods performed less stable than FMIRT equating method.
Secondly, when ODL linking method was used, the results of equating according to non-equivalency of groups among three equating methods were similar in all of group conditions in this study. When LL and MIN linking methods were applied, non-equivalent groups with different mean in ability distribution and different variance in each dimension yielded relatively higher equating error than equivalent group and non-equivalent groups with only different mean in ability distribution.
Thirdly, the equating results across degrees of correlation between dimensions under different equating methods showed highly analogous patterns in approximate unidimensional approaches like AMIRTT and AMIRTO. On the other hand, FMIRT method produced different equating relationship with two other equating methods. In case of LL and MIN linking methods, the pattern of equating result was not consistent. However, when ODL linking method was applied, the results of equating by FMIRT performed well across all degrees of correlation than AMIRTT and AMIRTO equating methods.
Fourthly, the results of MIRT equating according to test structures under different equating methods were different depend on applied linking methods. When OLD linking method was applied, three equating methods yielded similar equating results in both approximated simple and complex structure. However, when LL and MIN linking methods were used, consistent patterns did not be observed for both approximated simple and complex structure.

참고문헌 (Reference)

• 1 배호순, "교육평가용어사전", 학지사, 서울: 학지사, 2004
• 2 교육부, "2017학년도 대입제도 확정", 보도자료(2013. 10. 25), 2013
• 3 민경석, "문항반응이론에서의 다차원적 접근", 한국교육평가학회, 교육평가연구, 17(1), 15-31, 2004
• 4 성태제, "2020 한국 초 중등교육의 향방과 과제", 서울: 학지사, 2013
• 5 김종필, 민경석, "다차원 문항반응모형의 척도연계방법", 한국교육평가학회, 교육평가연구, 19(1), 2006
• 6 교육부, "2015 개정 교육과정 총론 및 각론 확정 발표", 보도자료(2015. 9. 23), 2015
• 7 김아영, 반채천, 이규민, "성인용 직업적성검사 동등화 연구 최종 보고서", 한국산업인력공단 중앙고용정보원, 서울:한국산업인력공단 중앙고용정보원., 2003
• 8 민경석, "문항반응이론에 기반한 하위점수 산출방법 비교", 한국교육평가학회, 교육평가연구, 24(3),799-817, 2011
• 9 이규민(Guemin Lee), "초등학교 3학년 국가수준 기초학력 진단평가 동등화 방안", 한국교육평가학회, 교육평가연구, 18(1), 125-151, 2005
• 10 민경석, "검사의 차원 수가 다차원 문항반응모형의 총점에 미치는 영향", 한국교육평가학회, 교육평가연구, 27(3), 671-691, 2014