A Feasibility Study on the Computerized Adaptive Test using MicroCAT testing System = MicroCAT 검사 프로그램을 이용한 컴퓨터 능력 적응검사의 활용가능성에 대한 연구

국문 초록 (Abstract)

본 연구는 학생들의 언어능력을 평가하는 검사도구로서 컴퓨터 능력적응검사(Computerized Adaptive Testing)를 활용할 수 있는 가능성을 검진한다. 학생들의 시험의 최대 목적은 수험자의 현재 실력(proficiency)을 최대한 정확하게 측정, 평가하는 것이라고 볼 수 있다. 대학 수학능력시험을 비롯한 오늘날 대부분의 교육측정 분야에서의 검사는 종래의 고전 검사이론(classical test theory)에 근거하는 자필고사형식(paper-and-pencil format)을 취하고 있다. 이러한 전통적인 고사형식에서는 많은 학생들을 한꺼번에 측정할 수 있다는 장점은 있지만 모든 학생들에게 같은 문제가 주어지기 때문에 능력을 달리하는 개개인의 실력을, 특히 아주 잘하는 학생과 아주 못하는 학생들의 실력을 정확하게 파악하기에 어려운 점이 있다.
최근 컴퓨터의 발전과 함께 여기에 대한 효율적인 대안책으로서 컴퓨터 능력적응검사(CAT)가 교육측정분야에서 관심의 대상이 되고 있다. CAT에서는 학생 개인의 능력이 시험과정에서 인지되어 각 학생의 능력수준에 가장 알맞은 문항들이 제시된다. 따라서CAT는 많은 학생을 동시에 측정할 수 있으면서 또한 개별화된 검사형식으로서 종래의 전통적인 시험방법을 획기적으로 보완할 수 있는 가능성을 보여준다.
본 연구는 MicroCAT Testing System을 이용하여 고전검사와 CAT, 두 형식간의 신뢰도·효율성·타당도를 비교 분석하였다. 사전 문항성격 조정 (Item Precalibration)은 미국 Educational Testing Service로부터 TOEFL을 직접 치른 2,000명의 응답결과 자료를 바탕으로 BILOG Program을 통해 문항의 난이도와 변별도를 먼저 측정하였다. 다음 실제 한국대학생 508명에게 전통적 TOEFL 고사형식과 CAT 형식 모두를 실시하여 결과를 분석하였다. 연구결과는 CAT 형식의 검사가 종래의 자필고사 형식보다 신뢰도와 타당도가 높은 것으로 나타났다. 또한 검사정보함수(Test Information Function)의 분석결과 CAT가 2배나 높은 효율도를 보여주었다. 향후 이러한 CAT에 대한 연구가 진행됨으로써 컴퓨터 능력적응검사가 실제 다양한 시험에서 적용되어 시험의 정확성과 효율성이 높아질 것이 기대된다.

목차 (Table of Contents)

• 목차
• Ⅰ. Introduction = 38
• Ⅱ. Psychometric Characteristics = 40
• Ⅲ. Methodology = 42
• 1. Subjects = 42
• 2. Instruments = 43
• 3. Design and Data Analyses = 44
• Ⅳ. Results = 46
• Ⅴ. Discussion = 51
• Ⅵ. Conclusion = 54
• Bibliography = 55
• 國文抄錄 = 57