일반화가능도 이론을 이용한 집단논리적사고력검사 (GALT)의 신뢰도 분석 = An Analysis of the Reliability of Group Assessment of Logical Thinking (GALT) using Generalizability Theory

국문 초록 (Abstract)

본 연구의 목적은 집단논리적사고력검사의 이용 목적에 따라 일반화가능도이론을 적용하여 문항과 피험자만을고려한 단일국면의 오차원, 그리고 문항과 피험자, 그리고 영역을 고려한 다국면의 오차원을 분석하는 데 있다. 연구는지방 소재 초·중·고등학생 총 1016명을 대상으로 이루어졌으며, 21문항의 GALT 완본을 40분 동안 실시하고, 이 중축소본에 해당하는 12문항을 별도로 추출하여 일반화가능도이론을 이용한 신뢰도 분석에 이용하였다. 자료의 분석을 위해 일반화가능도이론을 적용하여 p×i설계와 p×(i:h)설계로 나누어 G 연구와 D 연구를 실시하였다. 분석결과는 다음과같다. 첫째, 완본과 축소본을 p×I설계로 D 연구를 수행한 결과 완본의 경우 21문항을 평가했을 때 0.87로 적정 수준의일반화가능도 계수인 0.80을 상회하였으며, 13문항에서도 적정 수준의 일반화가능도 계수에 도달하였다. 축소본의 경우12문항을 평가했을 때 0.77로 적정 수준의 일반화가능도 계수에 미치지 못하였으며, 최소 15문항 이상에서 신뢰도가 적정 수준에 도달하였다. 둘째, 축소본을 p×(I:H)설계로 D 연구를 수행한 결과 6영역에 대해 영역별로 2문항씩 구성될경우 0.71로 적정 수준의 일반화가능도계수인 0.80 보다 낮게 측정되었으며, 최소 영역별 5문항 이상에서 신뢰도가 적정 수준에 도달하였다.

다국어 초록 (Multilingual Abstract)

The purpose of this study lies in applying generalizability theory depending on the aim of the usage of GALT to analyze the sources of error of single-facet considering item and person only and to analyze the sources of error of multi-facet considering item, person and domain. The study was conducted with 1016 students of local elementary,middle, and high schools. The 21 items of a full version were answered for 40 minute and then the 12 items of short version were sampled to analyze reliability using generalizability theory. Both the full version and the short version of the items were analyzed using Cronbach's alpha for data analysis, and we applied generalizability theory and separate p×i design and p×(i:h) design, G study and D study were performed. Results of analysis are as follows: First, the result of D study after p×I design both on the full version and the short version showed that in the case of the full version, the generalizability coefficient was 0.87 exceeding a normal level of 0.80, and the normal level of generalizability coefficient was achieved in 13 items as well. In case of short version, when 12 items were evaluated, generalizability coefficient was 0.77 not reaching the normal level, and the normal level was achieved in case of more than 15 items. Second, the result of D study after p×(I:H) design on the short version showed that once one domain consists of 2 items in 6 domains,generalizability coefficient was 0.71 which is lower than the normal level of 0.80, the normal level was achieved in more than 5 item cases.

참고문헌 (Reference)

• 1 유갑렬, "한국과 일본의 중학생의 과학적 사고력 및 탐구과정 능력에 관한 비교 연구" 서울대학교 1988
• 2 성태제, "타당도와 신뢰도" 학지사 191-, 2002
• 3 소원주, "중학생의 논리적 사고력과 통합적 과학탐구 능력에 관한 한, 일 비교 연구" 14 : 312-320, 1994
• 4 김태선, "중학생의 그래프 능력과 논리적 사고력 및 과학 탐구 능력의 관계" 한국과학교육학회 22 (22): 725-739, 2002
• 5 최영준, "중·고등학생들의 논리적 사고력 형성에 관한 연구(I)" 5 : 1-9, 1985
• 6 양지승, "일반화가능도 이론을 적용한단위검사 구성 검사점수의 신뢰도 추정" 한국교육평가학회 20 (20): 119-139, 2007
• 7 김성숙, "일반화가능도 이론" 교육과학사 121-, 2001
• 8 정연태, "사고 훈련에 의한 우수 집단의 논리적 사고력 및 프로세스 스킬의 발달에 관한 연구" 1 : 241-247, 1991
• 9 이규민, "단위검사 개념의 적용 -일반화가능도 이론을 중심으로-" 한국교육평가학회 16 (16): 60-80, 2003
• 10 최재환, "뇌기능 분화가 논리적 사고력과 자연과 단원별 성취도에 미치는 영향" 17 : 53-89, 1993
• 11 임청환, "고교생의 논리적사고력과 과학탐구 기능 사이의 상관관계에 관한 연구" 11 : 23-30, 1991
• 12 Bunce, D.M., "The use of GALT(Group Assessment of Logical Thinking) as a predictor of academic success in college chemistry" 70 : 183-187, 1993
• 13 Popper, K.R., "The logic of scientific discovery" Harper Torchbooks and The Science Library 479-, 1965
• 14 Piaget, J., "The growth of logical thinking from childhood to adolescence: An essay on the construction of formal operational structures" Basic Book 356-, 1958
• 15 Cronbach, L.J., "The dependability of behavioral measurements: Theory of generalizability for scores and profiles" John Wiley 410-, 1972
• 16 Roadrangka, V., "The construction and validation of group assesment of logical thinking (GALT)" 5-, 1983
• 17 이용원, "Score reliability of a test composed of passage-based testlets" 2 : 1-29, 2003
• 18 Lawson, A.E., "Science teaching and the development of thinking" Wadsworth Publication 593-, 1995
• 19 Shavelson, R.J., "Sampling variability of performance assessments" 30 : 215-235, 1993
• 20 Thondike, R.L., "Reliability. in : Educational measurement" American Council on Education 560-620, 1951
• 21 Dunbar, S.B., "Quality control in the development and use of performance assessment" 4 : 289-303, 1992
• 22 Anastasi, A., "Psychological testing" Macmillan 657-, 1961
• 23 Sireci, S.G., "On the reliability of testlet-based tests" 28 : 237-247, 1991
• 24 Crick, J.E., "Manual of GENOVA: A generalize analysis of variance system" American College Testing Program 109-, 1983
• 25 Shavelson, R.J., "Generalizability theory: A primer" Sage Productions 152-, 1991
• 26 Brennan, R., "Elements of generalizability theory" The American College Testing Program 161-, 1992
• 27 Brennan, R.L., "A comparison of nedelsky and angoff cutting score procedures using generalizability theoy" 4 : 219-240, 1980