혼합효과 랜덤 포레스트 기법을 활용한 중학생의 학업성취도 예측 요인 분석 = Exploring Predictors for Academic Achievement of Middle School Students Using Mixed-Effects Random Forest

다국어 초록 (Multilingual Abstract)

Middle school students have different developmental and psychological characteristics from elementary school students, and this is the age when the importance of academic achievement is getting highlighted. Therefore, it is very important to analyze and understand the academic achievement of middle school students’ for individual’s future career and effective educational activities at school level. In the past, previous studies that analyzed the academic achievement of middle school students were insufficient to systematically compare and analyze important predictive factors among Korean, English, and Mathematics subjects because those studies only targeted specific subjects or used the average values ​​of several subjects. In addition, analysis methods of previous studies have limitations in the number of input variables, so it has been difficult to search for new significant predictors of academic achievement. Thus, machine learning algorithms, such as standard random forests, which allows to input limitless predictors, has been introduced and utilized; however, standard random forests cannot properly reflect the multi-level structure in the academic achievement-related data.
This study uses mixed-effects random forest that can reflect the multi-level structure in academic achievement-related data, to predict academic achievement of middle school students more accurately. In addition, this study also aims to compare and analyze significant predictors for each subject(Korean, English, mathematics). The main research questions are as follows.

First, when mixed-effects random forest is used, does it increase the accuracy of predicting Korean, English, and Mathematical academic achievement of middle school students compared to standard random forests?
Second, when mixed-effects random forest is used, what are the important factors for each subject that predict the academic achievement of middle school students in Korean, English, and Mathematics?
Third, when mixed-effects random forest is used, what are the common predictors between subjects that predict the academic achievement of middle school students in Korean, English, and Mathematics?
Fourth, when mixed-effects random forest is used, what are the differentiating predictors for each subject that predict the academic achievement of middle school students in Korean, English, and Mathematics? In this study, academic achievements of middle school students were analyzed with 595 predictors(student level: 457 predictors, school level: 138 predictors), using the 5th year of the Korean Educational Longitudinal Study 2013(third year of middle school) which was collected and managed by the Korean Educational Development Institute(Korean: 6,246 students, English: 6,236 students, Mathematics: 6,246 students). The main research results are as follows.

First, when mixed-effects random forest was used, the accuracies of predicting academic achievement(Korean, English, and mathematics) were higher than when the standard random forests was used. More specifically, the accuracy indices of mixed-effects random forest were more accurate than those of the standard random forests in both training and test data, for all three subjects. In the training data, RMSEs were 12.14∼16.09% lower, MAEs were 13.03∼17.18% lower, and MAPEs were 13.08∼17.66% lower, and s were 4.19∼6.71% higher for the mixed-effects random forest, comparing to the standard random forests. In the test data, RMSEs were 2.92∼3.94% lower, MAEs were 3.77∼4.71% lower, and MAPEs were 3.75∼5.30% lower, and s were 5.82∼11.51% higher in mixed-effects random forest comparing to the standard random forests.
Second, the results of using mixed-effects random forest for exploring important predictors of academic achievement by subject are as follows. In the case of Korean, the top 30 important predictors included 8 predictors of ‘use of time’, 7 predictors of ‘class participation’, 5 predictors of ‘high school plan’, 4 predictors of ‘non-cognitive achievement’, 2 predictors of ‘career and job-related programs’ and 4 other predictors(6th grade academic achievement of Korean, gender, height, parents' expectations of each student's educational level). In the case of English, the top 30 important predictors included 7 predictors of ‘class participation’, 6 predictors of ‘use of time’, 4 predictors of ‘high school plan’, 3 predictors of ‘career and job-related programs’, 3 predictors of ‘non-cognitive achievement’, and 2 predictors of ‘self efficacy’ and 5 other predictors(6th grade academic achievement of English, 1 predictor of ‘motivation’, 1 predictor of ‘class climate’, 1 predictor of ‘school violence’, average monthly educational expenses). In the case of Mathematics, the top 30 important predictors included 6 predictors of ‘class participation’, 5 predictors of ‘high school plan’, 4 predictors of ‘self efficacy’, 4 predictors of ‘use of time’, 3 predictors of ‘motivation’, 3 predictors of ‘career and job-related programs’, 2 predictors of ‘non-cognitive achievement’, and 3 other predictors(6th grade academic achievement of Mathematics, average monthly educational expenses, average monthly household income).
Third, the results of using mixed-effects random forest for exploring the common predictors among subjects are as follows. First, there were a total of 12 common predictors of three subjects (40% of the top 30 predictors), consisting of 5 predictors of ‘class participation’, 4 predictors of ‘high school plan’, 2 predictors of ‘career and job-related programs’, 1 predictor of ‘non-cognitive achievement’. Excluding these, there were 7 common predictors between Korean and English(23% of the top 30 predictors), which included 4 predictors of ‘use of time’, 2 predictors of ‘non-cognitive achievement’, and 1 predictor of ‘class participation’. There were 2 common predictors between Korean and mathematics(7% of the top 30 predictors), which included 1 predictor of ‘class participation’ and 1 predictor of ‘use of time’. There were 4 common predictors between English and Mathematics(13% of the top 30 predictors) included 2 predictors of ‘use of time’, 1 predictor of ‘career and job-related programs’, and the average monthly educational expenses.
Fourth, when using mixed-effects random forest, there were differentiating predictors for each subject. For Korean, there were 9 unique predictors(30% of the top 30 predictors), which included 3 predictors of ‘use of time’, 1 predictor of ‘non-cognitive achievement’, 1 predictor of ‘high school plan’, 6th grade academic achievement of Korean, gender, height, and parents' expectations of each student's educational level. In English, there were 7 unique predictors(23% of the top 30 predictors), which included 3 predictors of 'self-efficacy' and 'motivation', 1 predictor of ‘class participation’, 1 predictor of 'class climate', 1 predictor of ‘school violence', and 6th grade academic achievement of English. In Mathematics, there were 12 unique predictors(40% of the top 30 predictors), which included 4 predictors of 'self-efficacy' and 3 predictors of 'motivation', 1 predictor of 'use of time', 1 predictor of ‘non-cognitive achievement’, 1 predictor of ‘high school plan’, 6th grade academic achievement of mathmatics, and monthly average household income.
This study not only used mixed-effects random forest which can reflect the multi-level structure of academic achievement-related data, to predict the academic achievement of middle school students with greater accuracy, but also newly discovered important predictors that had rarely been mentioned in prior researches; ‘non-cognitive achievement’ and ‘career and job-related programs’. This study is meaningful in that it provided implications for policy establishment by revealing important predictors by subject and comparing and analyzing common and discriminatory predictors between subjects. It is necessary to develop mixed-effects random forest more precisely through follow-up studies. Moreover, follow-up studies regarding new predictors of academic achievement highlighted in this study are neede to be conducted.

국문 초록 (Abstract)

중학생은 초등학생과 다른 발달 심리적 특성을 가지며, 학업성취의 중요성이 본격적으로 부각되는 시기이다. 그러므로 중학생의 학업성취도를 면밀히 분석하고 이해하는 것은 향후 개인의 진로 및 학교 수준의 효과적인 교육활동을 위해 매우 중요하다. 그동안 중학생의 학업성취도를 분석한 다수의 선행 연구에서는 일부 교과를 대상으로 하거나 여러 교과들의 평균값을 활용하고 있어서 국어, 영어, 수학 교과간의 중요 예측 요인들을 체계적으로 비교‧분석하는 데 미흡하였다. 아울러, 기존 분석 방법들에서 투입할 수 있는 독립변인의 개수 제한 등으로 새로운 예측 요인들을 탐색하는 데에는 많은 어려움이 있었다. 이에 다수의 예측 요인들을 투입할 수 있는 머신러닝 알고리즘 중 하나인 표준 랜덤 포레스트 기법이 활용되기 시작하였으나, 이 또한 학업성취도 관련 데이터에 내재된 다층 구조의 특성을 제대로 반영하지 못하는 한계가 있었다.
이 연구는 학업성취도 관련 데이터에 내재된 다층 구조를 반영할 수 있는 혼합효과 랜덤 포레스트 기법을 활용하여, 중학생의 국어, 영어, 수학 학업성취도를 보다 정확히 예측하고, 각 교과별 중요 예측 요인들을 종합적으로 비교·분석하고자 하였다. 주요 연구문제는 다음과 같다.

첫째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 표준 랜덤 포레스트 기법에 비해 중학생의 국어, 영어, 수학 학업성취도 예측의 정확성을 더 높이는가?
둘째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과별 중요 요인들은 무엇인가?
셋째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과간 공통 요인들은 무엇인가?
넷째, 혼합효과 랜덤 포레스트 기법을 활용할 경우, 중학생의 국어, 영어, 수학 학업성취도를 예측하는 교과별 차별 요인들은 무엇인가?

이 연구에서는 한국교육개발원에서 수집·관리하고 있는 한국교육종단연구2013 5차 연도 데이터(중학교 3학년 대상)를 활용하여, 중학생의 학업성취도(국어: 6,246명, 영어: 6,236명, 수학, 6,246명)를 학생 수준 예측 요인 457개와 학교 수준 예측 요인 138개, 총 595개의 예측 요인들을 투입하여 비교‧분석하였다. 주요 연구 결과는 다음과 같다.
첫째, 혼합효과 랜덤 포레스트 기법과 표준 랜덤 포레스트 기법으로 중학생의 국어, 영어, 수학 학업성취도를 분석한 결과, 혼합효과 랜덤 포레스트 기법을 활용하였을 때 학업성취도 예측의 정확성이 더 높았다. 구체적으로 살펴보면, 세 교과의 훈련 데이터에서 두 기법간 모형 평가 지수의 차이는 혼합효과 랜덤 포레스트 기법이 표준 랜덤 포레스트 기법보다 RMSE는 12.14∼16.09%, MAE는 13.03∼17.18%, MAPE는 13.08∼17.66% 낮았고, 는 4.19∼6.71% 높았으며, 시험 데이터에서도 RMSE는 2.92∼3.94%, MAE는 3.77∼4.71%, MAPE는 3.75∼5.30% 낮았고 는 5.82∼11.51% 높아 중학생의 학업성취도를 더 정확하게 예측하였다.
둘째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과별 학업성취도 중요 예측 요인들을 탐색한 결과는 다음과 같다. 먼저 국어 교과의 경우 상위 30개 중요 예측 요인들로는 ‘시간 활용’ 관련 8개, ‘수업참여’ 관련 7개, ‘고교진학계획’ 관련 5개, ‘비인지적 성취’ 관련 4개, ‘진로 및 직업 관련 프로그램’ 관련 2개, 그리고 그 외 4개(초6 국어 학업성취도, 성별, 키, 부모가 기대하는 자녀 학력 수준) 요인들이 나타났다. 영어 교과의 경우 ‘수업참여’ 관련 7개, ‘시간 활용’ 관련 6개, ‘고교진학계획’ 관련 4개, ‘진로 및 직업 관련 프로그램’ 관련 3개, ‘비인지적 성취’ 관련 3개, ‘자기효능감’ 관련 2개, 그 외 5개(‘동기’ 관련 1개, ‘수업 분위기’ 관련 1개, ‘학교 폭력’ 관련 1개, 초6 영어 학업성취도, 월평균 교육비) 요인들이 포함되었다. 수학 교과의 경우 ‘수업참여’ 관련 6개, ‘고교진학계획’ 관련 5개, ‘자기효능감’ 관련 4개, ‘시간 활용’ 관련 4개, ‘동기’ 관련 3개, ‘진로 및 직업 관련 프로그램’ 관련 3개, ‘비인지적 성취’ 관련 2개, 그 외 3개(초6 수학 학업성취도, 월평균 교육비, 월평균 가구소득) 요인들이 포함되었다.
셋째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과간 학업성취도 공통 예측 요인들을 분석한 결과는 다음과 같다. 먼저 세 교과간 공통 예측 요인들은 총 12개(상위 30개 요인 중 40%)로, ‘수업참여’ 관련 5개, ‘고교진학계획’ 관련 4개, ‘진로 및 직업 관련 프로그램’ 관련 2개, ‘비인지적 성취’ 관련 1개 요인으로 나타났다. 이를 제외한 국어와 영어 교과간 공통 예측 요인들은 총 7개(상위 30개 요인 중 23%)로, ‘시간 활용’ 관련 4개, ‘비인지적 성취’ 관련 2개, ‘수업참여’ 관련 1개로 나타났다. 국어와 수학 교과간 공통 예측 요인들은 총 2개(상위 30개 요인 중 7%)로, ‘수업참여’ 관련 1개와 ‘시간 활용’ 관련 1개 요인으로 나타났으며, 영어와 수학 교과간 공통 예측 요인들은 총 4개(상위 30개 요인 중 13%)로, ‘시간 활용’ 관련 2개, ‘진로 및 직업 관련 프로그램’ 관련 1개, 월평균 교육비로 나타났다.
넷째, 혼합효과 랜덤 포레스트 기법을 활용하여 교과별 학업성취도 차별 예측 요인들을 분석한 결과는 다음과 같다. 먼저 국어 교과의 경우 총 9개(상위 30개 중 30%)로, ‘시간 활용’ 관련 3개와 ‘비인지적 성취’ 관련 1개, ‘고교진학계획’ 관련 1개, 초6 국어 학업성취도, 성별, 키, 그리고 부모가 기대하는 자녀 학력 수준으로 나타났다. 영어 교과의 경우 총 7개(상위 30개 중 23%)로, 영어 교과와 관련된 ‘자기효능감’과 ‘동기’ 관련 3개와 ‘수업참여’ 관련 1개, ‘수업 분위기’ 관련 1개, ‘학교 폭력’ 관련 1개, 초6 영어 학업성취도로 나타났다. 수학 교과의 경우 총 12개(상위 30개 중 40%)로, 수학 교과와 관련된 ‘자기효능감’과 ‘동기’ 관련 7개, ‘시간 활용’ 관련 1개, ‘비인지적 성취’ 관련 1개, ‘고교진학계획’ 관련 1개, 초6 수학 학업성취도, 월평균 가구소득으로 나타났다.
이 연구는 학업성취도 관련 데이터의 다층 구조를 반영할 수 있는 머신러닝 기법인 혼합효과 랜덤 포레스트 기법을 활용하여 중학생의 학업성취도를 보다 정확히 예측하고, 선행연구에서 밝혀진 요인 외에 기존에 부각되지 않았던 ‘비인지적 성취’나 ‘진로 및 직업 관련 프로그램’ 등을 중요 예측 요인으로 밝혔다. 또한, 교과별 학업성취도의 중요 예측 요인들을 밝히고, 교과간 공통 및 차별 요인들을 비교‧분석하여 학교 교육 개선을 위한 정책 수립에 시사점을 제공하였다는 데 의의가 있다. 아울러, 이 연구에서 활용한 혼합효과 랜덤 포레스트 기법을 후속 연구를 통해 보다 정교히 발전시키고, 이 연구에서 부각된 학업성취도의 새로운 예측 요인을 보다 심층적으로 이해할 수 있도록 후속 연구가 수행될 필요가 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 6
• Ⅱ. 이론적 배경 7
• 1. 학업성취도 예측 요인 7
• 가. 학생 수준 요인 7
• 나. 학교 수준 요인 16
• 2. 표준 및 혼합효과 랜덤 포레스트 기법의 비교 22
• 가. 표준 랜덤 포레스트 기법 22
• 나. 혼합효과 랜덤 포레스트 기법 36
• 다. 표준 및 혼합효과 랜덤 포레스트 기법의 비교 45
• Ⅲ. 연구 방법 48
• 1. 분석 데이터 48
• 가. 결과 변인 50
• 나. 예측 요인 52
• 2. 분석 방법 60
• 가. 교과별 분석 모형 60
• 나. 분석 알고리즘 및 절차 62
• 다. 모형 평가 기준 및 결과 분석 67
• 라. 교과별 학업성취도 중요 예측 요인들간 관계 분석 모형 73
• 3. 연구 절차 76
• Ⅳ. 연구 결과 77
• 1. 혼합효과 랜덤 포레스트 기법의 예측의 정확성 비교 77
• 가. 국어 교과 학업성취도 예측의 정확성 비교 77
• 나. 영어 교과 학업성취도 예측의 정확성 비교 79
• 다. 수학 교과 학업성취도 예측의 정확성 비교 80
• 2. 교과별 학업성취도 중요 예측 요인 분석 83
• 가. 국어 교과 학업성취도 중요 예측 요인 83
• 나. 영어 교과 학업성취도 중요 예측 요인 102
• 다. 수학 교과 학업성취도 중요 예측 요인 122
• 3. 교과간 학업성취도 공통 예측 요인 분석 141
• 가. 국어와 영어, 수학 교과간 학업성취도 공통 예측 요인 142
• 나. 국어와 영어 교과간 학업성취도 공통 예측 요인 145
• 다. 국어와 수학 교과간 학업성취도 공통 예측 요인 146
• 라. 영어와 수학 교과간 학업성취도 공통 예측 요인 147
• 4. 교과별 학업성취도 차별 예측 요인 분석 148
• 가. 국어 교과 학업성취도 차별 예측 요인 148
• 나. 영어 교과 학업성취도 차별 예측 요인 149
• 다. 수학 교과 학업성취도 차별 예측 요인 150
• Ⅴ. 요약 및 논의 153
• 1. 요약 153
• 2. 논의 및 제언 157
• 참 고 문 헌 171
• 부 록 195
• Abstract 201

참고문헌 (Reference)

• 1 강상진, "다층모형", 서울:학지사, 2016
• 2 허명회, "고급 통계학 특강Ⅰ", 서울: 데이터솔루션, 2015
• 3 김영철, "학급규모의 교육효과", 교육방법연구, 15(2), 57-77, 2003
• 4 강태중, "학업성취도의 지역차이 분석", 한국청소년연구, 18(2), 315- 344, 2007
• 5 곽수란, "학교특성이 학업성취에 미치는 효과", 교육학연구, 47(3), 93-120, 2009
• 6 김재철, "중학교 남녀공학의 교육적 효과 분석", 교육평가연구, 21(1), 149-174, 2008
• 7 김명숙, 이해영, 양길석, 부재율, 박정, "국가수준 교육성취 도 평가 방안 연구", 한국교육과정평가원 연구보고 RRE 1998-8, 1998
• 8 김경애, 정광희, 장성태, 이지영, 류방란, 김성식, "중학교 학생의 학 업 유형과 실태 분석", 한국교육개발원 연구보고 TR2017-70, 2014
• 9 이지영, "중학생들의 다문화 수용성에 대한 연구", 서울대학교 대학 원 박사학위논문, 2013
• 10 김태영, 이유진, "중학생의 영어 학습동기 및 성취도 변화", 한국교육 문제연구, 30(2), 263-279, 2012
• 11 강호수, 김양분, "중학생의 학업성취 변화 관련 요인 탐색", 한국교육, 4 4(1), 33-61, 2017
• 12 김경희, "3수준 다층모형을 활용한 교사 효과 탐색", 교육평가연구, 2 2(4), 961-986, 2009
• 13 박수정, 황은희, "교장공모제 학교의 학업성취도와 특성분석", 한국교 원교육연구, 28(2), 313-340, 2011
• 14 박아청, "청년기 자아정체감의 발달단계의 특성분석", 교육심리연구, 1 8(1), 301-312, 2004
• 15 이아진, "학급규모가 학업성취도에 미치는 영향 분석", 교육재정경 제연구, 26(1), 1-26, 2017
• 16 김범주, "학생의 시민의식과 학업성취도의 관계 분석", 학습자중심교 과교육연구, 19(2), 561-580, 2019
• 17 김미림, 한정아, 손윤희, 서민희, 김완수, "2019년 국가수준학업성취도 평가결과 : 중학교", 한국교육과정평가원 연구자료 ORM 2020-24-1, 2020
• 18 유진은, "반복측정데이터를 다루는 교육연구 실태분석", 열린교육연구, 2 2(4), 119-138, 2014
• 19 유진은, 이지아, "Elastic net을 활용한 교사효능감 관련 변수 탐색", 아시아교육연구, 20(1), 149-172, 2019
• 20 김성식, 임현정, 이규민, 신혜숙, 반재천, 박희진, 남궁지영, 김종민, 김양분, "한국교육종단연구(KELS)2013(I)-조사개요보고서-.", 한국교 육개발원 기술보고 TR 2013-84, 2013
• 21 김성식, 류방란, "교육격차: 가정배경과 학교교육의 영향력 분석", 한 국교육개발원 연구보고 RR2014-01, 2006
• 22 박민호, 조성경, 정동욱, 이진실, 박현정, "서울시 초중등 교육의 교육격차 구조요인 분석", 교육행정학연구, 31(4), 149-174, 2013
• 23 김성식, 송혜정, "학교특성에 따른 사교육참여와 효과 차이 분석", 교 육평가연구, 26(5), 1187-1215, 2013
• 24 최필선, 민인식, "머신러닝 기법을 이용한 대졸자 취업 예측 모형", 직업능력개발연구, 21(1), 31-54, 2018
• 25 김소영, "수준별 교육과정(이동수업) 운영의 효과성 탐색", 아시아교육 연구, 12(2), 135-158, 2011
• 26 김지은, 정동욱, 양찬주, 문찬주, 남인혜, 나윤진, "학교내 교사 자율성 의 학업 성취제고 효과분석", 교육행정학연구, 36(5), 219-245, 2018
• 27 이은하, 최은정, "정의적 특성과 국어학업성취도의 종단관계 연구", 국 어교육학연구, 50(2), 270-307, 2015
• 28 김정숙, 백병부, "학교 내 사회자본이 학업성취 격차에 미치는 영향", 교육학연구, 52(1), 221-249, 2014
• 29 김난옥, 김양분, "학업성취에 영향을 미치는 학생 및 학교변인 탐색", 교육학연구, 53(3). 31-60, 2015
• 30 고장완, 임천순, 이수정, 이광현, 김진영, "교육재정과 학교특성이 학업성취도에 미치는 영향", 교육재정경제연구, 20(4), 171-188, 2011
• 31 김원경, 김현주, "수학 교과에 대한 정의적 특성의 종단적 추이 분석", 수학교육, 55(4), 447-465, 2016
• 32 강호수, 최인희, 최보미, 이영주, 이규민, 송승원, 박경호, 남궁지영, 김양분, 김미숙, "2016 한국교육종단연구(KELS) 2013(Ⅳ): 조사개요 보고서", 한국교육개발원 기술보고 TR 2016-55-01, 2016
• 33 김경근, 장희원, 연보라, "서울시 중고등학생의 학업성취 영향요인 및 그 함의", 교육사회학연구, 24(2), 1-29, 2014
• 34 서민원, "수업효과의 측정변인으로서 학습시간: 쟁점과 과제.", 황정규 (편). 현대교육심리학의 쟁점과 전망 (pp. 319-342) 서울: 교육과 학사, 2000
• 35 김안나, 한세리, "학교와 지역사회 사회자본이 학업성취에 미치는 영향", 한국교육사회학회 학술대회 자료집, 51-73, 2016
• 36 김완수, 정혜경, 박인용, "국가수준 학업성취도 평가의 표집설계 개선 방안 연구", 교육과정평가연구, 22(1), 55-75, 2019
• 37 김창원, "기획논문 : 국가수준학업성취도평가의 본질과 제 문제", 국어 교육, 134, 1-33, 2011
• 38 엄준용, 유미경, "중학교 기초학력 성취도 차이에 미치는 영향요인 분석", 한국교원교육연구, 33(2), 97-126, 2016
• 39 손원숙, 신이나, "학업동기 프로파일의 잠재적 변화: 학업성취와의 관계", 교육학연구, 54(3), 177-199, 2016
• 40 김근화, 김정숙, 김정민, 김일혁, "학교교육 내 선행학습 유발 요인 분석 및 해소 방안 연구", 한국교육개발원 현안보고 OR 2013-11, 2013
• 41 김은영, 한유경, 윤수경, "학교장 성별에 따른 중학교 학생의 학업성취도 차이 분석", 교육행정학연구, 29(3), 329-350, 2011
• 42 김민석, 이길재, 김영식, "랜덤포레스트를 활용한 고교생의 독서활동 예측 요인분석", 교육재정경제연구, 28(4), 137-156, 2019
• 43 장지현, "머신 러닝 기법을 활용한 영어 에세이 자동채점 방안 연구", 서울대학교 대학원 박사학위논문, 2021
• 44 김나경, 이상민, "자유학년제 영어 수업 효과성에 대한 중학생의 인 식 조사", 외국어교육연구, 33(2), 161-187, 2019
• 45 구슬기, 박인용, 김완수, 김성은, "학교 학업성취 연도별 변화에 미치 는 교육 맥락 변인분석", 교육평가연구, 28(5), 1447-1471, 2015
• 46 김경근, 장희원, "서울시 중고등학생의 학업성취 영향 요인에 대한 종단분석", 한국교육학연구, 21(3), 175-196, 2015
• 47 김경애, 류방란, "중학생의 수업 참여 양상: A중학교 학생들 사례를 중심으로", 중등교육연구, 66(3), 719749, 2018
• 48 김성숙, 이현숙, 송미영, 김준엽, "학교교육개선을 위한 학생의 학업 성취수준 결정요인 분석", 교육평가연구, 24(2), 261-289, 2011
• 49 김성숙, 최인봉, 송미영, 박서홍, 김희경, 김진화, 김성훈, "2009년 국가수준 학업성취도 평가 전수분석결과: 중학교3학년", 한국교육 과정평가원 연구보고 RRE 2010-7-3, 2010
• 50 구자옥, 임현정, 임해미, 송미영, 박혜영, "PISA 2012 결과에 나타난 성 별에 따른 학업성취 영향요인 비교", 교육과학연구, 46(4), 99-122, 2015
• 51 김정아, 남궁지영, "중학생의 교육성과에 따른 잠재 계층분류 및 영 향 요인 탐색", 교육학연구, 56(1), 219-244, 2018
• 52 박현정, 하여진, "PISA 읽기소양 우수 및 취약집단 학생들에 대한 결 정요인 변화", 교육평가연구, 24(4), 921-942, 2011
• 53 박소영, 정혜원, 원정은, "청소년의 학업성취도와 핵심역량 유형 분류 및 영향요인 검증", 한국청소년연구, 29(2), 185-215, 2018
• 54 목진형, "결측값 대체와 랜덤 포레스트 모형을 이용한 패혈증 자료 분석", 한양대학교 대학원 석사학위논문, 2019
• 55 김경애, 한은정, 최한나, 조은주, 정미경, 정광희, 임종헌, 이선영, 선혜연, "중학생의 성장과정 분석: 학교, 가정, 지역사회를 중심으 로(Ⅳ)", 한국교육개발원 연구보고 RR 2019-01, 2019
• 56 김양분, 최유리, 임현정, 이규민, 송승원, 박미리, 박경호, 남궁지영, 김혜자, 김진아, "2017 한국교육종단연구–한국교육종단연구2013(Ⅴ): 조사개요보고서", 한국교육개발원 기술보고 TR2017-70, 2017
• 57 유진은, "랜덤 포레스트: 의사결정나무의 대안으로서의 데이터 마이닝 기법", 교육평가연구, 28(2), 427-448, 2015
• 58 김광주, 이효정, 김성훈, "중학교 기초학력 미달률에 미치는 학교 환경과 교장공모제의 효과", 교육과정평가연구, 21(1), 173-195, 2018
• 59 노민정, 유진은, "Group lasso를 통한 중학생의 삶의 만족도에 영향 을 미치는 변수 탐색", 한국청소년연구, 28(1), 127-149, 2017
• 60 김성일, 정윤경, 이민혜, 우연경, 봉미미, "사교육 시간에 따른 학습 동기, 학습전략사용 및 학업성취도의 변화", 한국심리학회지: 문 화 및 사회문제, 16(2), 103-124, 2010
• 61 김성숙, 박정, 박도영, "중학교 수학 과학 성취도에 대한 학교-학생수 준 배경변인들의 효과", 교육평가연구, 14(1), 127-149, 2001
• 62 김아영, 전혜원, 임인혜 , 이명희, 이다솜, "청소년이 지각하는 유능감 및 관계성과 비행 간의 종단적 관계 분석", 교육심리연구, 21(4), 945-967, 2007
• 63 김석우, 이승배, 김성숙, "학교장의 학교운영이 학업성취도 및 학교만족도에 미치는 영향분석", 교육평가연구, 28(1), 141-162, 2015
• 64 김성식, 오범호, 김준엽, "한국교육종단연구2005(VI): 대학 이후 및 신 규 코호트 조사 설계 연구", 한국교육개발원 연구보고 RR 2010-24 -2, 2010
• 65 박순흥, 한기순, "사교육과 영재교육 참여경험이 중학생의 수학성취도 에 미치는 영향", 영재교육연구, 23(1), 49-65, 2013
• 66 원효현, 이원석, "학교급에 따른 학업성취에 대한 성취 목표 및 자 기조절 학습의 역할", 교육평가연구, 26(5), 1143-1164, 2013
• 67 김동호, 라종민, "청소년기 자아개념의 학년별, 성별차이와 학업성취도 와의 관계 분석", 인문사회과학연구, 48, 49-73, 2015
• 68 김성식, 류방란, "고등학교 진학에 대한 가정 배경, 학생 노력, 학교 경험의 영향력 분석", 교육사회학연구, 18(2), 31-51, 2008
• 69 이선영, 임혜정, "가정배경이 국어 학업성취도에 미치는 영향: 초4∼ 고3 시기를 중심으로", 학교사회복지, 52, 53-71, 2020
• 70 김석우, 서원석, "다층모형을 활용한 중학생의 학업성취에 영향을 미 치는 학교효과 분석", 학습자중심교과교육연구, 20(4), 199-226, 2020
• 71 권나영, 김상훈, "학습보조교사 활동과 수학에 대한 정의적 특성 및 학업성취도와의 관계", 교육연구, 70, 29-58, 2017
• 72 윤미선, "중학생의 영어 교과 유능감 및 학습동기 발달경향과 학업 성취와의 관계", 한국교육학연구, 17(1), 294-320, 2011
• 73 박현정, 이진실, 석유미, "중학교에서의 학업탄력성 추이 분석 및 학 교 수준에서의 영향 요인 탐색", 아시아교육연구, 17(4), 193-213, 2016
• 74 민병철, 박소영, "'참된 교수방법'이 영어 학업성취에 미치는 영향: 중학생 인식을 바탕으로", 한국교육, 35(4), 131-151, 2008
• 75 김미림, 박민호, "랜덤포레스트를 활용한 대학생의 최초 취업 사교육참여 시점별 특성 분석", 교육연구논총, 40(1), 1-33, 2019
• 76 이지수, 임선아, "부모의 학업지원과 교과별 자기효능감 간의 자기 회귀교차지연 모형 검증", 교육심리연구, 29(4), 699-717, 2015
• 77 김경희, 이현숙, 신진아 , "다층 구조방정식 모형을 활용한 교육 맥락 변인 과 학업성취도의 관계 분석", 교육평가연구, 26(2), 477-506, 2013
• 78 권정아, 최형권, 정종식, 정송희, 정미순, 이정은, 성춘영, 박지혜, 박성희, 김경성, "한국교육종단연구(KELS)2013(Ⅲ): 중학교 학업 성취검사 개발 및 수직연계연구", 한국교육개발원 연 구보고 TR 2015-96, 2015
• 79 임해미, "부모의 수학에 대한 태도와 기대가 수학 학습 동기와 성취 도에 미치는 영향", 수학교육학연구, 26(4), 701-714, 2016
• 80 김미림, "데이터마이닝 기법을 활용한 교사효능감 관련 요인 탐색: 성별차이를 중심으로", 한국교원교육연구, 36(2), 19-47, 2019
• 81 김민성, 허유성, 송경오, "학생의 학업성취에 영향을 미치는 변인에 대 한 초․중․고 학교급별 비교분석", 교과교육연구, 33(1), 83-104, 2012
• 82 김난옥, 이빛나, 손원숙 , 박민애, "수업참여와 학업성취도의 종단적 상호 관계와 변화 양상: 다차원 수업참여 모형", 교육평가연구, 31 (1), 201-224, 2018
• 83 문병상, "청소년들의 미래목표인식, 자기조절학습전략, 학업성취도간의 종단적 관계 분석", 교육심리연구, 26(4), 983-1000, 2012
• 84 김양분, 최유리, 임현정, 송승원, 박미리, 박경호, 남궁지영, 김혜자, 김진아, 김정아, "2017 한국교육종단연구 - 한국교육종단연구2013: 중 학생의 교육경험과 교육성과(Ⅱ)", 한국교육개발원 연구보고 RR- 2017-15, 2018
• 85 김아름, 정혜원, 박소영, 김정인, "청소년의 읽기 소양과 삶의 만족도의 영향 변인 탐색: PISA 2018 한국 핀란드 국제비교", 교육과정평가연 구, 24(1), 123-152, 2021
• 86 김성은, 임현정, 시기자, "국가수준학업성취도 평가 종단 데이터에 기반한 학업성취 변화유형의 판별요인탐색", 교육평가연구, 30 (1), 1-27, 2017
• 87 정희선, "중학생들의 목표인식과 수학학업성취도 관계에 대한 수학수 업요인의 종단매개효과", A-수학교육, 58(1), 21-39, 2019
• 88 정윤경, "중학생이 지각하는 미래지향시간관과 학업동기 및 노력, 학 업성취간의 구조적 관계", 교육방법연구, 32(3), 383-404, 2020
• 89 김창환, 이수정, 민병철, 류한구, 남궁지영, 김희삼, "학업성취도, 사 교육 수요에 영향을 미치는 학교특성 분석. 2008년 정책연구개발 사업", 2008년 정책연구개발 사업. 교육과학기술부, 2009
• 90 박남수, 박서홍, "중학생의 학업적 자기개념과 부모의 교육기대수준 에 따른 영어교과 사교육 효과 분석", 미래교육연구, 23(1), 35-56, 2010
• 91 김미림, 황은희, 유예림, "데이터마이닝을 활용한 청소년의 공동체의식 영향 요인 분석: 중학교와 고등학교시기 비교", 한국청소년연구, 3 1(2), 205-233, 2020
• 92 김영화, 박현진, "“가정의 문화자본과 사회자본이 영어학업성취에 미치는 영향에 대한 잠재성장모형 분석.”", 교육사회학연구, 20(4), 55-82, 2010
• 93 임혜정, "중학생의 수학수업태도 영향요인 간 구조적 관계분석: 혁신학 교와 일반학교 차이를 중심으로", 중등교육연구, 64(4), 1075-1104, 2016
• 94 김주후, 배종현, "혁신학교와 일반학교의 학업성취도 비교 분석 : 경 기도 중학교의 국어와 영어교과를 중심으로", 교육연구논총, 37(1), 27-56, 2017
• 95 박민호, 손윤희, 박현정, "랜덤포레스트를 활용한 읽기소양 수준에 따 른 집단 결정 요인 분석: PISA 2018 데이터를 중심으로", 아시아 교육연구, 21(1), 191-215, 2020
• 96 권순보 , 함은혜, 유진은, 박빛나, "부모-자녀간의 부모지원에 대한 인식차가 학업성취 및 자아개념에 미치는영향: 잠재성장모형분석", 교육학연구, 58(1), 33-60, 2020
• 97 김갑성, 오휘정, "부모의 사회경제적 지위가 자녀의 자아개념을 매 개로 학업성취에 미치는 영향에 대한 종단적 분석", 학습자중심 교과교육연구, 19(16), 23-38, 2019
• 98 이상빈, 최숙기, "중학생의 국어 학업성취도를 예측하는 학생수준 및 학교수준변인에 대한 다층구조방정식 모형분석", 청람어문교 육, 69, 225-263, 2019
• 99 이현주, 차윤경, "청소년의 학업성취에 영향을 미치는 요인들의 구조적 관계: 이주배경 여부에 따른 차이를 중심으로", 다문화교육연구, 13 (1), 59-90, 2020
• 100 주철안, 홍창남, 이쌍철, 박상욱, "학교조직 특성이 학생의 학업성취와 정의적 성장에 미치는 효과분석: 학교 조직진단 영역 중심으로", 아시아교육연구, 13(2), 57-80, 2012
• 101 김진희, "중학생의 국어 교과 태도와 국어교사의 수업 능력에 대한 인식이 국어 성취도에 미치는 종단적 영향", 교육연구, 79, 35-53, 2020
• 102 김민성, 신택수, "중학생이 지각한학교의 심리적환경과 자기결정성,학 습노력, 학업성취, 학교만족도의 인과관계분석", 아시아교육연구, 11 (3), 43-70, 2010
• 103 김수지, 정제영, 이희숙, "학생의 학업성취에 미치는 영향요인에 대한 위계적 분석 - TIMSS 2011의 교사와 학생 변인을 중심으로 -", 한국교원교육연구, 31(2), 53-75, 2014
• 104 김석우, 장재혁, 서원석, "중학생의 자아존중감, 학업적 자기효능감, 학업성취도에 대한 종단연구: 다변량 잠재성장모형의 적용", 교육 문화연구, 26(2), 625-649, 2020
• 105 성기선, "중학생들의 학업성취도에 미치는 가정배경의 영향력 변화에 관한 연구-서울시중학생 1988년과 2007년 비교-", 교육사회학연구, 20(3), 83-103, 2010
• 106 오병돈, 차종천, "교육열망과 학습참여가 학업성취의 불평등에 미치는 영향: 공교육, 사교육, 자기주도학습에 대한 비교분석", 아시아교육 연구, 13(4), 417-441, 2012
• 107 이영조, "혼합효과모형의 리뷰. 응용통계연구, 28(2), 123-136. 이우열(2020). 실험데이터 분석을 위한 선형 혼합효과 모형", 한국심리학회 지: 인지 및 생물, 32(2), 197-212, 2015
• 108 김경희, 한정아, 시기자, 상경아, 김수진, 김성숙, "수학성취 및 정의적 특성에 미치는 교육맥락변인의 영향: 국가수준학업성취도 평가와 P ISA 연계 데이터 분석", 한국교육과정평가원 연구보고 RRE 2015-8, 2015
• 109 김연경, 조시정, 양혜원, 백순근, 남나라, "TALIS 2018 자료를 활용 한 교사의 교수역량에 대한 예측 요인 탐색: 초등학교와 중학교 교사간 비교를 중심으로", 한국교육, 47(3), 33-63, 2020
• 110 Yi Jiang, 송주연, 김성일, "학교급과 지각된 유능감 수준에 따른 영어교과 수업참여와 학업성취에 대한 흥미와 유용성의 상대적 예측력 비교", 교육심리연구, 27(4), 911-933, 2013
• 111 구남욱, 조성민, 이인화, 이신영, 이소연, "PISA 2018 결과에 나타난 우리나라 학생의 성취 특성 분석: 성취수준별 특성 및 학업탄력 성이 있는 학생 특성을 중심으로", 한국교육과정평가원 연구보고 RRE 2020-7, 2020
• 112 김은정, 최문홍, "교사의 수업능력에 대한 평가와 자기효능감이 중학 생의 영어과 학업성취에 미치는 효과: 종단적 관계 변화를 중심으 로", 인문사회 21, 11(2), 1733-1745, 2020
• 113 강상진, 신다정, 봉미미, 박진현, "중학교 수학에서 성취목표, 자기효 능감, 교실목표구조에 의한 비적응적 학습전략 사용과 성취도 설 명 및 상호작용 검증", 교육방법연구, 31(1), 67-95, 2019
• 114 김희경, 한정아, "중학교 학생의 국어, 수학 학업 성취프로파일에 영 향을 미치는 비인지적 특성 탐색: 인지진단모형과 구조방정식모형 의 활용", 교육평가연구, 31(1), 1-27, 2018
• 115 김종백, 김준엽, "학업성취 관련 요인과 자아개념을 매개로 한 부모의 교육기대와 학업관여가 학업스트레스에 미치는 효과에 관한 종단 적 분석", 교육심리연구, 23(2), 389-412, 2009
• 116 박매란, 송지은, "중학생의 영어 자기효능감과 수업참여도, 그리고 학 습자가 인식한 교사의 수업방법이 영어학업성취에 미치는 영향에 관한 분석", 학습자중심교과교육연구, 20(15), 351-371, 2020
• 117 남나라, 백순근, "혼합효과 랜덤포레스트 모형을 적용한 학업성취도 예측 요인 탐색: KELS2013 자료를 중심으로. 제 14회 한국교육종 단연구 학술대회", 한국교육개발원 연구자료 RRM 2020-08, 2020
• 118 김영란, 장봉기, "국어과 학습 관련 정의적 요소와 학업성취도 간의 관계 연구 -자아 효능감, 흥미, 가치 인식과 수업 몰입, 학업성취 도 간의 관계를 중심으로-", 국어교육, 144, 431-464, 2014
• 119 김용대, 최호식, 송종우, 박창이, 김진석, "R을 이용한 데이터마이닝 (개정판). 서울: 교우사. 박현정(2008). 학습동기, 자아개념, 학업성취간 관계의 집단간 동등성 분석 - PISA2006을중심으로", 교육평가연구, 21(3), 43-67, 2013
• 120 황정규, "21세기 학교교육, 학력, 그리고 평가연구. 2001년도 국가수 준 교육성취도 평가연구 학술세미나「21세기 우리나라 학교교육 에서 길러야 할 학력의 성격」데이터집", 한국교육개발원 3-12, 2001