인지적 측면에서 교육활동의 결과는 학생의 학업성취도 평가를 통해 파악될 수 있다. 학생의 학습에 대한 교사, 학교, 나아가서는 국가 교육의 효과를 확인하고 그 성패를 판단하기 위해서는 이를 뒷받침할 수 있는 객관적인 자료와 분석 방법에 근거한 연구가 필요하다. 그러나 지금까지 학력 저하에 대한 우려, 교육의 질 관리 요구 등 국가적 차원의 성취도 수준에 대한 논란이 많았지만 이에 대한 실제적 근거를 제공해 줄 수 있는 성취도 추이에 대한 종단적인 연구가 거의 없었다. 실제로 수많은 학업성취도 검사가 시행되고 있지만 공통의 척도를 확보하지 못하는 1회성 검사로는 학업성취도의 종단적 비교가 불가능하다.
본 연구는 국가수준의 학업성취도 추이를 분석할 수 있는 종단적 교육 자료가 부족한 상황에서 이를 분석하기 위한 방법을 제안하고, 제안된 방법을 적용하여 실제적인 결과를 제시하고자 한다. 이에 따라 대규모 학업성취도 검사 결과를 이용하여 국가수준의 성취도에 대한 연도별 추이를 분석하고, 이와 함께 변화․성장을 고려한 종단적 학교효과 분석 방안을 모색하고자 하는 목적으로 연구가 수행되었다. 이를 위하여 2000년에서 2005년까지 6년간의 고등학교 3학년 대상 수리영역 모의고사 결과를 재구조화하고, 2차에 걸친 가교검사를 이용한 동등화를 통하여 학교수준 반복측정이 이루어진 국가 차원의 종단적 자료를 구성하였다. 재구성된 자료의 구조에 적절한 다층모형을 설정함으로써 성취도의 추이 및 관련 변수의 영향력을 검증하였으며, 연구대상의 하위집단별 변화 추이를 추정하였다. 또한 종단적 학교효과를 추정하고 이를 기존의 회귀모형과 횡단적 학교효과모형에 의한 결과와 비교함으로써 종단적 학교효과의 특성을 파악하였다. 연도별 학업성취도의 변화 추이와 종단적 학교효과를 분석하기 위해서 반복측정된 자료를 하나의 위계로 고려하는 변형된 3수준 다층모형을 적용하였다.
분석 결과를 요약하면 다음과 같다. 우선, 지난 6년간 수리영역 성취도는 매년 조금씩 감소하는 것으로 나타났다. 이러한 감소 추세에 영향을 미치는 요인을 탐색하기 위하여 분석 모형에 학생수준과 학교수준의 설명변수를 투입하였다. 학생의 성별은 성취도와 그 성장률에 유의한 영향을 미치지 못하였으나, 계열에 따라서 성취도에 유의한 차이가 있었다. 자연계열 학생이 인문계열 학생보다 높은 성취도를 나타냈으며, 계열이 미치는 영향력도 연도에 따라 점차 증가하여 계열 간 성취도의 차이가 점차 커질 것으로 예측되었다. 학교 내 자연계열의 비율이 높을수록 성취도가 높은 것으로 나타났으며, 남학교나 남녀공학 보다는 여학교의 경우에 성취도가 높고, 특수목적 고등학교가 일반 고등학교보다 높은 성취도를 나타내었다.
각 집단의 구체적인 변화 양상을 파악하기 위해서 전체 연구대상을 모형에 투입된 설명변수에 따라 구분하여 하위집단별 추이 분석을 수행하였다. 계열별 하위집단 분석에서 자연계열의 성취도가 인문계열보다 높았고, 인문계열의 성취도는 감소하는 반면 자연계열은 정적인 성장률을 나타내서 점차 계열 간 차이가 커질 것으로 분석되었다. 성별에 따른 하위집단 분석 결과, 남학생이 여학생보다 성취도가 높았으나 성장률에는 차이가 없었다. 설립유형에 따른 분석 결과, 국․공립학교의 성취도는 사립학교보다 높았으나 더 빠르게 감소되어 점차 사립학교의 성취도가 더 높아질 것으로 예측되었다. 지역규모별 분석에서는 서울, 광역시, 중소도시의 성취도와 변화 추이는 비슷한 반면, 읍면 지역의 성취도는 현저히 낮게 나타났다. 다른 지역의 성취도는 점차 감소되었으나 읍면 지역의 성취도에는 변화가 없어서 지역 간 차이가 다소 줄어드는 양상을 보였다. 학생 구성별 분석에서는 남학교의 성취도가 남녀공학과 여학교보다 다소 높게 나타났으나 성취도가 조금씩 감소되는 추세는 모두 비슷하였다. 마지막으로 선발 유형에 따른 분석 결과, 평준화 집단의 성취도가 더 높고 성취도의 감소율이 더 적게 추정되었으나, 대부분의 대도시는 평준화 지역이기 때문에 지역 규모의 효과를 배제한 선발 유형의 효과를 파악하기 위해서는 추가적인 분석이 요구된다.
성취도의 변화 추이 분석과 더불어 본 연구에서는 각 학교의 성장률을 고려한 종단적 학교효과 분석을 수행하였으며, 그 결과를 기존에 수행되었던 학교효과 분석 모형과 비교함으로써 종단적 학교효과가 가지는 고유한 의미를 파악하고자 하였다. 본 연구에서 종단적 학교효과모형에 의한 추정 결과는 분석모형에 따라서 학생수준 회귀모형, 학교수준 회귀모형과 비교되었으며, 자료의 다층구조에 따라서 횡단적 학교효과모형에 의한 결과와 비교되었다. 이를 위해서 각 모형에 의해 산출된 학교효과 지표 간 서열상관을 추정하고, 등급 분류의 일치도와 Kappa 계수를 산출하였다. 비교 결과, 종단적 학교효과 지표는 학교수준 회귀모형에 의한 지표와 가장 일치되는 결과를 나타냈다. 매년 불규칙한 변화 양상을 보이는 회귀모형과 횡단적 모형과는 달리 종단적 학교효과모형은 여러 해의 결과를 바탕으로 안정적이고 예측 가능한 학교효과 지표를 산출하였다.
교육에 있어서 종단적 연구는 반복측정을 통해 측정오차의 개입을 최소화하고 교육과 관련된 여러 요인들과 현상 간의 인과관계를 파악하기 위해서 반드시 필요하다. 이와 같은 필요성이 인식되면서 최근 성취도뿐 아니라 정의적 영역에 대한 추이를 분석하고 이와 관련된 다양한 교육관련 변수의 영향을 파악하기 위한 종단적 연구가 교육연구의 주요 영역으로 부각되고 있다. 이와 같은 맥락에서 본 연구는 가교검사가 없는 연도별 검사 자료를 상호비교가 가능하도록 동등화하고 국가 수준에서 성취도의 연도별 추이를 측정학적으로 가늠해 볼 수 있는 방법론을 제시하였다는 데 의의가 있다. 나아가서 연구를 통하여 구축된 종단적 자료를 이용하여 성장률을 고려하는 종단적 학교효과 분석을 수행함으로써 학교효과 분석에 있어서 종단적 접근의 가능성과 필요성을 제기하였다.

In the cognitive perspective, students’ academic achievement is the result of educational activities. That is to say we can evaluate the result of educational activities by assessing students’ academic achievement. To verify effectiveness of teacher's performance, the school effect, and the national educational progress in students' achievement, the research based on objective data and appropriate analytic methodology is required. Even though there have been controversies and criticisms about the national accountability regarding a decline in pupils' achievement and need for managing educational quality, it is difficult to define the longitudinal research method which can provide significant evidence to identify the effectiveness of national educational activities. Various achievement tests are performed, but it should be aware that a longitudinal comparison of the academic achievement cannot be comprehended with one-time tests which lack of the guarantee for common scale.
In this research, in the situation that is a lack of the longitudinal data, the methodology to analyze longitudinal data is introduced and practical results the practical result from the proposed procedure is presented. The purpose of this study is to analyze the national trend of academic progress using an achievement test in large scale is applied and to explore methods to evaluate the longitudinal school effect considering change and growth. For this purpose, 12th graders' mathematics test scores over 6 years(2001-2005) were reconstructed and longitudinal data was constructed through a equating procedure using two successive anchor tests. Within a multi-level model framework, a proper model is proposed for constructed data. Based on this model, the trend in achievement and the influence of relevant variables are investigated. The trend is also estimated in sub-groups of research participants. Moreover, the longitudinal school effect is assessed and compared with the one in traditional regression model and cross-sectional design which is able to identify the characteristics of longitudinal school effect. To analyze yearly trend in students achievement and the longitudinal school effect, a modified-third-level multilevel model is applied considering repeated data as one unit.
The result of this analysis is summarized as follows:
First of all, the mathematics achievement over 6 years has decreased slightly every year. To examine factors which influenced on this falling trend, predictor variables were employed. The sex variable was proven not to affect the achievement and change rate, but the significant difference between groups is found in the major course variable. The achievement in Natural Science course was higher than in Liberal Arts, and as the influence of the major course variable has increased every year, the gap between the academic achievement in two different courses was expected to become bigger year by year. In school-level variables, the rate of Natural Science course group was positively related to the achievement. Besides, math achievement was higher in girls’ high schools than in boys' or co-educational high schools, and in the high schools aiming at specialized education than in general high schools.
To examine the pattern of change in sub-groups, the achievement and growth rate was analyzed according to following six categories. First, in the side of major courses, the achievement in Natural Science was higher than in Liberal Arts. The achievement growth was positive in Natural Science while negative in Liberal Arts, which means the gap between two groups will get bigger. Second, according to sex, the achievement of male pupils was higher than that of female, but there was no difference in growth rate. Third, in establishment type, the academic achievement in public schools was higher than in private schools, but the growth rate was vice versa, which was expected that private school would be higher. Forth, in location of school, the trend of change among Seoul, metropolitan cities and middle and small-sized cities was similar, while in smaller cities was considerably lower than others. The change rate in other regions was discovered to be decreased slightly, but in smaller cities was constant. Consequently the gap among regions tends to be closed. Fifth, in student composition, boys' high schools were slightly higher than girls’ and co-educational high schools in math achievement, and the trend was similar as slightly decreasing. Lastly, in student selection methods, the achievement in equalized school was higher than in mixed high school, and the falling of growth rate in equalized school was smaller.
In this research, the analysis of the longitudinal school effect considering the growth rate in each school as well as the trend in achievement change is performed, and the significant meaning is derived from the results of comparing the proposed model with traditional analytic model for school effect. According to the analytic model, the longitudinal school effect model is compared with student level regression model and cross-sectional model by multilevel-structured data. For this purpose, the school effect index from each model was used to estimate rank correlation coefficient, and agreement statistics and Kappa coefficient are computed. According to the comparison, the agreement level was highest between the longitudinal school effect index and the school level regression index. The longitudinal model, based on yearly data, tends to provide the consistent and predictable school effect index, while regression model and cross-sectional model tend to show unstable value.
The longitudinal study in education is indispensable for the purpose of minimizing a measurement error and investigating the causality among various variables and phenomenon relevant to education. As its necessity being recognized, recently, the longitudinal study became the mainstream of educational study to analyze a trend in the cognitive as well as affective domain and to find out the effect of variables in detail. In this context, the significance of this study can be mentioned in that it provided the methodology to permit comparisons among yearly data which have no anchor tests and to estimate its trend in the national level. Furthermore, using the longitudinal data constructed from this study, the probability and necessity of a longitudinal approach to analysis of the school effect considering the growth rate was proposed.