Q행렬 오지정 및 인지요소 위계구조가 인지진단모형 양호도에 미치는 영향

국문 초록 (Abstract)

이 연구는 피험자의 인지요소 숙달 여부를 파악하기 위하여 인지진단모형을 적용함에 있어 사용하는 Q행렬이 오지정되었을 때와, 검사자료가 인지요소의 위계구조를 가지고 있을 때 인지요소의 수와 피험자의 수에 따라 인지진단모형의 양호도가 어떠한 영향을 받는지 탐색하였다. 모의자료를 연구 조건에 맞게 생성하였으며, Q행렬이 오지정되었을 때의 양호도를 확인하기 위하여 오지정된 요소를 포함하는 문항의 비율과 오지정 종류를 다양하게 나누었고, 검사자료가 인지요소의 위계구조를 가지고 있는 경우의 양호도를 확인하기 위하여 선형/확산형/수렴형 인지요소 구조에 따라 발생 가능한 인지요소패턴을 고려하였다. 인지진단모형의 양호도를 확인하기 위하여 모형적합도와 인지요소패턴 분류정확일치도를 산출하였다.
Q행렬이 오지정된 경우의 인지진단모형 양호도를 살펴보면, 오지정된 요소를 포함하는 문항의 비율이 높아질수록 모형적합도는 나빠지고 인지요소패턴 분류정확일치도는 감소하였다. Q행렬이 오지정되지 않은 경우에는 인지요소의 수가 적을 때 모형적합도가 더 좋지만, 오지정된 경우에는 인지요소의 수가 적을 때 오지정된 요소를 포함하는 비율이 높아질수록 모형적합도가 나빠졌다. 인지요소패턴 분류정확일치도의 경우, Q행렬 오지정 정도가 높아짐에 따라 분류정확일치도가 감소하는 정도는 인지요소의 수가 적을 때 더 뚜렷하였다.
Q행렬이 오지정된 경우 피험자 수의 영향을 살펴보면, 피험자의 수가 증가할수록 모형적합도는 좋아졌다. 인지요소가 3개인 경우 오지정 문항 비율이 10%일 때는 피험자 수가 500명 이상이면 적당한 적합도를 보였으나, 오지정 문항 비율이 30%일 때는 피험자가 2000명일 때도 적당한 적합도를 확보하지 못하였다. 인지요소가 6개인 경우에도 오지정 문항 비율이 낮을 때는 피험자가 2000명일 때 적당한 적합도를 보였으나, 오지정 문항 비율이 높을 때는 피험자 수가 증가해도 적당한 적합도를 보이지 못하였다. 즉 피험자 수가 증가할수록 모형적합도가 좋아지지만, Q행렬의 오지정 정도가 높아지면 피험자 수가 증가해도 모형적합도는 충분히 좋아지지 못하였다. 인지요소패턴 분류정확일치도의 평균의 경우, 피험자의 수가 증가함에 따라 큰 차이가 나타나지 않았으나 분류정확일치도의 표준편차는 감소하는 경향을 나타냈다. 즉 피험자의 수가 증가할수록 인지요소패턴 분류정확일치도가 안정적으로 산출되었다. 이러한 경향성은 Q행렬이 과잉/과소/혼합오지정일 때 모두 유사하게 나타났으며, DINA 모형과 DINO 모형에서도 동일하였다.
인지요소의 위계구조를 가지는 자료로 인지진단모형 분석을 수행할 때 인지요소의 구조를 반영하여 분석하는 경우와 반영하지 않고 분석하는 경우의 인지진단모형 양호도를 살펴보면, 인지요소 구조를 반영하여 분석한 경우에 비해 반영하지 않고 분석한 경우의 모형적합도의 경향성은 뚜렷하지 않았고, 인지요소패턴 분류정확일치도는 대체로 감소하였다. 인지요소의 구조를 반영한 경우에 비해 반영하지 않은 경우 대체로 모형적합도가 소폭 떨어졌으나 그 차이가 크지 않았고, 일부 경우에는 인지요소 구조를 반영하지 않을 때의 모형적합도가 더 좋은 것으로 나타났다. 이 결과를 인지요소의 수에 따라 살펴보면, 인지요소의 구조 반영 여부와 관계없이 인지요소의 수가 적을 때 모형적합도가 좋은 것으로 나타났으나 인지요소의 수에 따른 모형적합도의 차이는 크지 않았다. 인지요소패턴 분류정확일치도는 인지요소의 수가 적을 때 더 높았고, 인지요소의 구조를 반영하지 않는 경우 분류정확일치도가 감소하는 정도는 인지요소의 수가 많을 때 더 큰 것으로 나타났다.
인지요소의 위계구조를 가지는 자료로 인지진단모형 분석을 수행할 때 인지요소의 구조를 반영하여 분석하는 경우와 반영하지 않고 분석하는 경우 피험자 수에 따른 인지진단모형 적합도를 살펴본 결과, 인지요소 구조 반영 여부와 관계없이 피험자의 수가 증가할수록 모형적합도는 좋아졌다. 인지요소가 3개인 경우에는 피험자가 500명 이상일 때 좋은 적합도를 보였고, 인지요소가 6개인 경우에는 피험자가 1000명 이상이면 좋은 적합도를 보였다. 인지요소패턴 분류정확일치도의 평균은 피험자의 수에 따른 변화가 뚜렷하지 않았다. 그러나 피험자의 수가 증가함에 따라 인지요소패턴 분류정확일치도의 표준편차는 감소하는 경향을 보였다. 이러한 경향성은 인지요소 위계구조가 선형/확산형/수렴형일 때 모두 유사하게 나타났으며, DINA 모형과 DINO 모형에서도 동일하였다.

참고문헌 (Reference)

• 1 성태제, "현대교육평가", 서울: 학지사, 2010
• 2 이현숙, "인지진단모형의 이론과 적용", 2015년 한국교육평가학회 제2차 워크숍 자료집, 2015
• 3 김경리, "인지진단모형을 활용한 맞춤형 학습경로 분석", 한국교육평가학회, 교육평가연구, 26(3). 597-621, 2013
• 4 서경혜, 정진영, 유솔아, "제7차 초등학교 수학 교육과정 내용 체계 분석", 한국초등교육학회, 초등 교육연구, 16(2), 159-184, 2003
• 5 김성훈, "인지구조모형에 근거한 학생의 지식상태의 진단", 한국교육학회, 교육학연구, 43(1), 81-107, 2005
• 6 김수진, "Q-행렬 변화에 따른 혼합모형(Fusion Model) 모수 비교", 한국교육평가학회, 교육평가연구, 23(2), 487-507, 2010
• 7 김성은(Sung Eun, Kim), "인지진단모형 Q행렬 타당화 방법 간의 회복률 비교", 동국대학교 북한학연구소(구 동국대학교 안보연구소), 교육평가연구, 28(3), 731-751, 2015
• 8 홍세희(Se Hee Hong), "구조 방정식 모형의 적합도 지수 선정기준과 그 근거", 한국임상심리학회, 한국심리학회 지, 19(1), 161-177, 2000
• 9 김성훈, 송미영, "대규모 학업성취도 평가자료를 활용한 인지상태진단", 한국교 육과정평가원 연구자료 ORM 2009-31, 2009
• 10 이규진, 박찬호, "DINA 모형 기반의 초등학교 수학 진단평가 개발과 활용", 한국교육평가학회, 교육 평가연구, 28(4), 1129-1151, 2015
• 11 김성훈, 송미영, "DINA 모형을 활용한 대규모 학업성취도 평가 결과 분석", 한국교육과정평가원, 교육 과정평가연구, 14(1), 177-200, 2011
• 12 송미영(Song Mi Young), 김선희 (Kim, Sun Hee), 김수진(Kim Soo Jin), "수학 평가 결과의 분석을 위한 인지 진단 이론의 활용", 대한수학교육학회, 수학교육학연구, 10(2), 259-277, 2008
• 13 김지영 ( Ji Young Kim ), 김수진 ( Soo Jin Kim ), "인지 진단 이론을 활용한 중학교 과학 시험 결과의 분석", 한국과학교육학회, 한 국과학교육학회지, 29(8), 812-823, 2009
• 14 김선희, 송미영, 김수진, "Fusion Model에 의한 수학 능력 진단을 위한 Q-행렬의 정교화", 한국교육평가학회, 교육평가연구, 21(2), 115-139, 2008
• 15 이연숙, "인지 진단 평가 모델 비교 연구: 언어시험 데이터 적용의 경우", 한국교육평가학회, 교육 평가연구, 26(3), 623-646, 2013
• 16 한국교육과정평가원, "인지진단모형을 적용한 학업성취 프로파 일 분석 및 결과 보고 방안.", 한국교육과정평가원, 한국교육과정평가원, 연구보고 RRE 2012-7., 2012
• 17 강현철, "구조방정식모형에서 적합도지수의 해석과 모형적합 전략에 대한 논의", 한국자료분석학회, 한국자료분석학회, 15(2), 653-668, 2013
• 18 박윤수, 인보란, 이영선, 송미영, 김성은, 이영주, "인지진단모형을 적용한 학업성취도 평가 결과 프로파일 보고 방안 탐색", 한국교육평가학회, 교육평가연구, 25(3), 411-433, 2012
• 19 박은아, 박종임, 김희경, 김성숙, "인지진단모형을 활용한 국가수준 학업 성취도 평가결과 보고 개선 방안", 한국교육과정평가원, 한국교육과정평가원 연구자료. ORM 2013-22-6., 2013
• 20 김성은, 박윤수, 이영선, "인지진단모형을 적용한 잠재집단별 분수뺄셈검사 문 제해결 전략의 차이 분석", 한국교육평가학회, 교육평가연구, 25(1), 49-68, 2012
• 21 김수진, 동효관, 김지영, "인지진단이론에 근거한 TIMSS 2011의 과학 결과 분석 을 통한 인지 속성의 국제비교", 한국과학교육학회, 한국과학교육학회지, 35(2), 267-275, 2015
• 22 이현숙(Hyun Sook Yi), 박세진(Se jin Park), "DINA와 DINO 모형의 문항 모수 및 피험자 모수 추정 정확성에 영향을 주는 요인 탐색", 한국교육평가학회, 교육평가연구, 30(3), 415-444, 2017
• 23 김희경, "이분점수와 다분점수에 대한 인지진단모형 적용 결과 비교: Fusion Model을 중심으로", 한국교육평가학회, 교육평가연구, 26(2), 347-367, 2013
• 24 박윤수, 이영선, 송미영, "인지진단모형을 통한 국가수준 학업성취도 평가 결과 분석 및 성적 보고 방법 탐색", 한국교육과정평가원, 한국교육과정평가원 연구보고 RRE-2011-8, 2011
• 25 김선, 반재천, "DINA 모형에 의한 인지요소숙달 추정 방법간 비 교 및 초등학생의 인지요소숙달 변화", 한국교육평가학회, 교육평가연구, 25(4), 721-744, 2012
• 26 곽현석, 김경성, 김건섭, 김희경, "고등학교 성적표 자동 산출 프로그램 TELL(Track Educational Location and Learning direction) 개발", 한국교육평가학회, 교육평가연 구, 28(4), 1153-1175, 2015
• 27 강태훈, 심혜진, "DINA 모형을 통한 피험자 능력 추정의 정확성 연구: MCMC와 MMLE/EM 알고리듬의 비교를 중심으로", 한국교육방법학회, 교육방법연구, 27(3), 307-327, 2015
• 28 김지효, "DINA 모형에서 응시생 분류 정확성에 영향을 미치는 요인 탐구: 응시 생 분류방법을 중심으로", 한국산학기술학회, 한국산학기술학회논문지, 14(8), 3748-3759, 2013
• 29 김명연, 강태훈, "보상성 및 비보상성 가정을 평가하기 위한 모형선택지수의 활용가능성 탐색: DINA와 DINO 모형 비교를 중심으로", 한국교육평가학회, 교육평가연구, 29(3). 383-404, 2016
• 30 김선, 반재천, "인지진단모형, 인지요소패턴 추정 방법, 사례수에 따른 인지요소패턴 추정의 분류 일관성 및 분류 정확성 비교", 한국교육평가학회, 교육평가연구, 29(3), 405-431, 2016
• 31 박윤수, 인보란, 이영선, 송미영, 김성은, 이영주, "인지진단모형의 다층 분 석을 적용한 국가수준 학업성취도 평가 결과 분석 :지역 간 인지요소 숙달 차이를 중심으로", 한국교육평가학회, 교육평가연구, 25(2), 193-212, 2012
• 32 김희경, 한정아, "중학교 학생의 국어․수학 학업성취 프로파일에 영향을 미치는 비인지적 특성 탐색: 인지진단모형과 구조방정식모형의 적용", 교육평가연구, 31(1), 1-27, 2018