DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석 = Diagnosis of knowledge states using large scale assessments – An application of DINA model –

다국어 초록 (Multilingual Abstract)

This study intended to show that large-scale assessments also were viable to provide individual-level and group-level diagnostic information, which could guide teaching and learning. The DINA model was applied to the Mathematics test of the 2007 National Assessment of Educational Achievement in Korea, which followed two steps, Q-matrix development and model parameter estimation. For Q-matrix development, 3 Mathematics education experts, using the assessment framework, identified 10 attributes, 6 in content domain and 4 in behavior domain, and then mapped them to each of the 30 multiple-choice items. For parameter estimation, two computer-runs, one with Q-matrix containing content attributes and the other with Q-matrix containing behavior attributes, were executed. Item parameter estimates showed that some items had high slip and guessing probabilities, which implied a necessity of Q-matrix refinement. Examinee parameter estimates showed that there were knowledge state differences among the individuals of identical scores, and that the individual knowledge states could be summarized into group-level diagnoses.

국문 초록 (Abstract)

우리나라를 비롯한 세계 여러 국가들은 학교 교육의 질을 관리하고 교육 환경 개선에 유용한 정보를 제공하기 위하여 국가수준 혹은 국제수준의 대규모 학업성취도 평가를 주기적으로 실시하고 있다. 주로 전국 규모의 학업성취도 평가 자료는 국가, 지역, 학교 차원의 교육효과 평가 및 교육관련 정책 수립의 기초 자료로 활용된다. 지금까지 대규모 학업성취도 평가 자료에서 학생 개인 또는 집단의 평균적인 학업성취 수준의 정보를 산출해 왔다. 이 연구는 학생들이 습득한 교과 지식의 구조적 정보를 구체적으로 제공하여 추후 교수학습에 유용한 처방적 정보를 제공하는 가능성을 탐색하는 것을 목적으로 한다. 인지진단이론 모형을 적용하여 학생의 지식 및 기능에 대한 숙달 상태를 진단한 결과, 교과 지식 구조에 대한 평가 결과 프로파일을 제공할 수 있었다. 학생의 능력에 대한 상세 진단 결과를 참고하여 학업 능력을 향상시키는 데 필요한 부분을 구체적으로 인식하고 교수 학습의 방향을 정하고 정책적 지원을 전개해 나갈 수 있게 될 것이다. 인지상태의 진단을 위해서는 핵심적이고 결정적인 역할을 하는 Q-행렬의 타당성 검토와 확보를 위한 노력이 수반되어야 한다.

참고문헌 (Reference)

• 1 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단-규칙장이론(Rule-space theory)의 적용-" 한국교육학회 43 (43): 81-107, 2005
• 2 노국향, "문항의 형태에 따른 피험자의 인지적․정의적 반응의 차이에 관한 연구" 13 (13): 181-194, 2000
• 3 김성훈, "대규모 학업성취도 평가 자료의 활용" 한국교 육과정평가원 2009
• 4 강태훈, "대규모 학업성취도 평가 자료를 활용한 인지상태 진단 - DINA 모형의 적용 -”에 대한 토론" 2009
• 5 김수진, "“대규모 학업성취도 평가 자료를 활용한 인지상태 진단 - DINA 모형의 적용 -”에 대한 토론" 2009
• 6 DiBello, L., "Unified cognitive/psychometric diagnostic assessment likelihood-based classification techniques, in Cognitively Diagnostic Assessment. Hillsdale" Lawrence Erlbaum Associates 1995
• 7 Mislevy, R. J, "Test Theory Reconceived" 33 (33): 379-416, 1996
• 8 Roussos, L. A., "Skills Diagnosis Using IRT-Based Latent Class Models" 44 (44): 293-311, 2007
• 9 Tatsuoka, K. K, "Rule space: An approach for dealing with misconceptions based on item response theory" 20 (20): 345-354, 1983
• 10 Embretson, S. E, "Psychometric Models for Learning and Cognitive Processes, in Test Theory for A New Generation of Tests" Erlbaum 1993
• 11 Mislevy, R. J, "Probability-Based Inference in Cognitive Diagnosis, in Cognitively Diagnostic Assessment" Erlbaum 1995
• 12 Tatsuoka, K. K., "Pattern of diagnosed Mathematical content and process skills in TIMSS-R across a sample of 20 countries" 41 (41): 901-926, 2004
• 13 Embretson, S. E., "Measurment Model for Linking Individual Learning to Processes and Knowledge: Application to Mathematical Reasoning" 32 (32): 227-294, 1995
• 14 Chipman, S.F., "Introduction, in Cognitively Diagnostic Assessment" Erlbaum 1995
• 15 김성훈, "Individual Level Diagnoses with Group Level Standards:Applying Rule-Space Model on the ACT Assessment Mathematics Data and the Standards for Transition" 한국교육평가학회 20 (20): 165-194, 2007
• 16 de la Torre, J., "Higher-order latent trait models for cognitive diagnosis" 69 : 333-353, 2004
• 17 김수진, "Fusion Model에 의한수학 능력 진단을 위한 Q-행렬의 정교화" 한국교육평가학회 21 (21): 115-139, 2008
• 18 Mislevy, R. J, "Foundations of a New Test Theory, in Test Theory for A New Generation of Tests" Erlbaum 1993
• 19 Tatsuoka, K. K, "Diagnostic monitoring of skills and knowledge acquisition" Lawrence Erlbaum Associates 1990
• 20 Frederiksen, N., "Diagnostic Monitoring of Skill and Knowledge Acquistion" Lawrence Erlbaum Associates 1990
• 21 Embretson, S. E., "Diagnostic Monitoring of Skill and Knowledge Acquisition" Erlbaum 1990
• 22 de la Torre, J, "DINA model and parameter estimation: A didactic" 34 (34): 115-130, 2009
• 23 Nichols, P., "Cognitively Diagnostic Assessment" Erlbaum 1995
• 24 Mislevy, R. J, "Cognitive psychology and educational evaluation, in Educational measurement" American Council on Education and Praeger Publishers 257-306, 2006
• 25 Junker, B.W., "Cognitive assessment models with few assumptions, and connections with nonparametric item response theory" 25 (25): 258-272, 2001
• 26 Tatsuoka,K.K, "Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach, in Diagnostic Assessment" Lawrence Erlbaum Associates 1995
• 27 de la Torre, J, "An empirically-based method of Q-matrix validation for the DINA model: Development and applications" 45 : 343-362, 2008
• 28 Dogan. E, "An International Comparison Using a Diagnostic Testing Model: Turkish Student's Profile of Mathematical Skills on TIMSS-R" 68 (68): 263-272, 2008
• 29 Embretson, S, "A general latent trait model for response processes" 49 (49): 175-186, 1984
• 30 Hartz, S, "A Bayesian framework for the Unified Model for assessing cognitive abilities: blending theory with practice" The University of Illinois 2002