(The) empirical review of meta-analysis

다국어 초록 (Multilingual Abstract)

Meta-analysis is increasingly utilized to aggregate primary studies statistically because many results existed on the same issue. However, lack of comprehensive guideline to meta-analysis in Korea, many meta studies didn't consider some aspects which are important issues in meta-analysis. Therefore, in this study, these issues were discussed in detail, and the meta studies were reviewed through these aspects. The 54 meta studies were reviewed in six categories: general characteristics, power analysis, and publication bias, test of heterogeneity, model selection, identification of heterogeneity and type1 error.
With respect to general characteristics, many meta studies used general programs which can't consider meta-analysis. Researchers might assume that the primary analysis and meta-analysis are equal and they fail to consider other programs for meta-analysis. Regarding the issue of obtained effect size, most of the studies obtained more than 50 effect sizes which could think of an adequate number to represent a issue. In terms of power analysis, most meta studies didn't provide the power. Our results showed that about one-tenth of meta studies explained a publication bias. Rest of the studies did not mention the issue at all or only considered the possibility of bias. Regarding tests of heterogeneity, roughly half of the studies conducted a test of heterogeneity. In terms of model selection, a quarter of the sample studies mentioned the model, and most of those studies selected the random effects model. However, the rest did not report the selection of the model.
A fourth of the studies used methods recommended for heterogeneity identification. However, less than one-tenth used those methods with the test of heterogeneity. A quarter of sampled studies used a simple comparison by reporting the mean effect size depending on particular variables. Despite founding heterogeneity, they only reported a simple comparison or did not conduct a follow-up studies to identify heterogeneity. Additionally, most studies did not mention type1 error.
Overall, meta studies in Korea have been increased in psychology, welfare, and education. Proper numbers of effect sizes in their meta studies were used in meta-analysis. However, many researchers did not consider power analysis and publication bias. Although the issue of heterogeneity is a key part of meta-analysis, many meta studies did not consider it following the recommended manner. Meta-analysts must consider the necessity of the test of heterogeneity and model selection.

국문 초록 (Abstract)

메타분석은 행동과학 및 사회과학 분야에서 유용하게 활용할 수 있는 연구방법으로 주목받고 있으며, 교육학 분야에서도 메타분석을 활용하는 연구들이 증가하고 있다. 메타분석은 기존에 실시된 연구들의 결과를 통계적으로 취합하여 결론을 도출하는 장점이 있다. 그러나 메타분석을 사용함에 있어 연구자의 부주의 등으로 인해 오용되는 사례들도 나타나고 있다. 교육학뿐만 아니라 심리학, 복지학 분야에서도 많은 메타분석이 실시되고 있지만 오용하는 사례가 나타나고 있어 적절한 방법론 제시와 기존의 메타분석에 대한 평가가 필요한 시점이다. 그러나 현재 국내에서는 이에 대한 연구가 부족하다. 따라서 본 연구에서는 이론적으로 메타분석을 위해 필요한 절차를 소개하고 문헌연구를 통해 교육학뿐만 아니라 심리학, 복지학 분야의 연구들이 메타분석을 적절하게 사용하고 있는지 탐색하고자 한다. 이를 통해 현재까지의 메타연구에서 부족했던 점을 파악하고 앞으로의 메타연구에서 이를 보안할 수 있는 기준을 제시하고자 하였다.
연구를 위해 1995년부터 2012년까지 교육학, 심리학, 복지학 분야의 22개 학술지에 게재된 54편의 메타연구를 대상으로 문헌분석을 실시하였다. 메타분석 활용에 대한 분석 주제는 기존 연구들에서 다루었던 주제들을 토대로 선정하였는데 주요 주제는 메타분석에서 사용한 프로그램의 종류, 효과크기의 개수, 검증력 분석, 출판편향, 이질성 검증, 모형 선택, 이질성 분석 및 1종 오류로 나눌 수 있다.
첫째, 많은 메타연구에서는 메타분석을 위한 프로그램이 아닌 일반적인 프로그램을 사용하였다. 이는 연구자들이 기존의 분석방법과 메타연구 분석을 동일한 분석이라 가정 하거나 메타연구를 위한 프로그램을 간과한 것으로 보인다. 효과크기의 개수에 대해 보자면 대부분의 연구가 50개 이상의 효과크기를 확보하고 있어 특정 주제에 대해 대표하기 위한 개수로 적절한 듯하다. 둘째, 검증력 분석에 있어서 대부분의 메타연구가 검증력을 보고 하지 않았다. 다만, 효과크기의 개수를 토대로 검증력을 추정하면 일반적인 검증력을 가질 수 있다고 할 수 있으나 기존 메타연구에서 제공된 정보가 부족해 확신 할 수 없다. 셋째, 총 54편의 연구에서 6편이 출판편향을 통계적으로 고려하였으며 대부분의 연구가 출판편향을 고려하지 않거나 이론적으로 출판편향의 가능성을 제시하는데 그쳤다. 넷째, 이질성 검증 측면에서 보자면 대략 21편의 메타연구가 이질성 검증을 실시하였고 나머지 반은 이질성연구에 대한 언급이 없었다. 다섯째, 16의 메타연구가 모형 선택에 대해 언급했으며 이 연구들은 대부분 기존 연구에서 권장하는 랜덤효과모형을 선택하였다. 그러나 나머지 연구에서는 연구자가 사용한 모형을 보고하지 않았다.
마지막으로 이질성 분석에 있어서 총 54편의 연구에서 14편 정도의 연구가 메타분석에서 권장하는 분석을 사용하였다. 그러나 메타분석의 랜덤효과모형 선택을 보고한 연구들 중에서 보자면, 총 54편의 연구에서 4편의 연구만이 모형을 선택하고 권장하는 이질성 분석 방법을 사용하였다. 또한 13편의 메타연구가 통계적 검증을 하지 않고 단순히 변수에 따른 효과크기를 비교하는 방식을 사용하였다. 이러한 접근은 연구자가 이질성을 분석해야 하는 필요성은 인지하였으나 통계적으로 검증하려는 노력을 하지 않은 것으로 보인다. 게다가 이질성 검증을 실시한 연구들의 대부분은 그들의 연구에 이질성이 있음을 밝혔지만 8편의 연구만이 메타연구에서 권장하는 이질성분석을 실시하였고 나머지 연구는 단순비교를 하거나 그 이상의 연구를 실시하지 않았다. 또한 대부분의 연구에서 1종 오류의 가능성을 언급하고 교정하지 않았다.
본 연구는 최근 메타연구를 활용한 연구들이 증가함에 따라 메타연구의 오용으로 발생할 수 있는 문제점을 지적하고 적절한 메타분석을 실시할 수 있도록 가이드라인을 제시하는데 의의를 두고 있다. 또한 본 연구에서 확인 할 수 있듯 메타연구에서 누락되거나 보고하지 않는 부분이 빈번히 나타나고 있다. 따라서 연구자는 적절한 기준에 따라 메타 연구를 수행하여 올바른 결과를 도출하는 것이 필요하다.

목차 (Table of Contents)

• Ⅰ. INTRODUCTION 01
• 1. Purpose of Study 01
• 2. Research Questions 04
• Ⅱ. BACKGROUND 05
• 1. Effect Size 10
• 2. Power Analysis 12
• 3. Publication Bias 16
• 4. Test of Heterogeneity 20
• 5. Model Selection 22
• 6. Identification Heterogeneity 25
• Ⅲ. METHOD 32
• 1. Sampling of Meta Study 32
• 2. Criteria of Coded Information 33
• Ⅳ. RESULTS 36
• 1. General Characteristics 36
• 2. Power Analysis 39
• 3. Publication Bias 40
• 4. Test of Heterogeneity 40
• 5. Model Selection 41
• 6. Identification Heterogeneity 42
• Ⅴ. DISCUSSION 45
• [REFERENCE] 53
• [APPENDIX1] 58
• [APPENDIX2] 61
• [초록] 65