본 논문의 목적은 한국어교육능력검정시험 평가 문항내용들이 출제 지침에 규정된 내용들을 어느 정도로 적절하게 측정하고 있는가를 분석해 봄으로써 한국어교육능력검정시험의 내용타당도를 검증하는 것이다. 이 연구를 위해서 두 가지 관점에서 한국어교육능력검정시험 제1회～제10회까지 기출문항을 분석하였다. 첫 번째 관점은 한국어교육능력검정시험이 출제지침에 맞게 출제가 되고 있는지를 분석하였다. 두 번째 관점은 출제지침의 공통적 속성인 한국어 교사의 실제적 지식이라고 할 수 있는 ‘가르치기 위한 지식’인 ‘내용교수지식(Pedagogical Content Knowledge, PCK)'의 관점에서 한국어교육능력검정시험을 각 영역별로 분석하였다.
그리고 이에 대한 내용타당도의 평가 기준은 지식의 구조, 인지적 복잡성, 지식의 대표성, 지식의 균형성, 지식의 포괄성 5가지 요소로 삼았다. 즉, 한국어교육능력검정시험의 내용타당도를 높이기 위해서는 평가문항의 측정하고자 하는 내용이 지식의 구조, 인지적 복잡성, 지식의 대표성, 지식의 균형성, 지식의 포괄성을 포함해야 한다. 환언하면, 한국어교육능력검정시험의 평가 문항은 이론적이거나 학문적 지식이 아닌 실제적인 지식(지식의 구조)과 높은 수준의 종합적 사고력(인지적 복잡성)을 측정하는 것을 바탕으로 한국어교육에서 중요시하는 대표적인(지식의 대표성) 한국어교육능력과 관계있는 지식내용을 평가영역의 전 범위에서(지식의 포괄성) 고르고 균형 있게(지식의 균형성) 포함해야 한다는 것이다.
이 연구를 위해서 본 연구에서는 다음과 같이 전개가 되었다.
제1장에서는 연구목적 및 연구방법을 밝혔다. 연구방법으로는 내용타당도의 평가기준 요소인 지식의 구조, 인지적 복잡성, 지식의 대표성, 지식의 포괄성, 지식의 균형성에 대해서 설명하였다. ‘지식의 구조’는 지식을 이루는 뼈대 내지는 근본원리를 의미한다. ‘인지적 복잡성’은 암기를 통한 단순한 지식이 아닌 ‘비교, 분석, 추론, 판단’ 등의 고등사고능력을 의미한다. ‘지식의 대표성’이란 평가하는 내용이 교육과정에서 강조하는 의미 있는 지식이며, 교육과정의 내용을 대표할 만한 것으로 구성되어야 한다는 의미이다. ‘지식의 포괄성’은 평가하고자 하는 지식내용이 교육목표에서 강조하고 있거나 수업시간에 배운 내용을 다 포괄해야 한다는 것이다. 마지막으로 ‘지식의 균형성’이란 어느 특정한 지식내용만을 측정하지 않고 교육목표에서 강조하는 내용을 균형 있게 평가해야 한다는 것이다. 이제까지 한국어 교육 평가 관련 논문에서 이 5가지 내용타당도 평가기준 요소로 분석한 논문은 없었다. 따라서 본 논문이 한국어 교육 평가 관련 논문으로는 새로운 시도가 될 것이다. 또한 <그림 3> ‘한국어 교사의 지식의 구조 및 영역’이라는 한국어 교사의 영역 이론을 새롭게 제시하였다는 점에서 의미가 크다. <그림 3>의 가로축은 구체성과 보편성의 개념을 적용한 ‘가르치기 위한 지식’과 ‘학문적 지식’의 관계를 나타낸 것이다. 그리고 세로축은 ‘한국어 학자’와 ‘한국어 교사’의 관계를 나타낸 것이다. 그리고 Ⅰ, Ⅱ, Ⅲ, Ⅳ사분면(영역)을 제시하였다. 본 연구에서는 한국어 교사의 지식의 구조 및 영역은 Ⅲ영역으로 보고 있다. 따라서 한국어교사를 위한 한국어교육능력검정시험 문항내용은 Ⅲ영역에서 출제가 되어야 내용타당도가 높다고 볼 수가 있다. <그림 3> ‘한국어 교사의 지식의 구조 및 영역’은 본 연구에서 한국어교육능력검정시험의 내용타당도를 결정하는 데 있어서 중요한 기준점을 제시해 준다.
제2장에서는 이론적 배경으로 한국어교육능력검정시험의 내용타당도를 측정하기 위해서 한국어 교사의 전문성 및 전문지식에 대해서 고찰해 보았다. 또한 한국어교육능력의 개념과 구성요소에 대해서도 살펴보았다. 그리고 한국어 교사의 실제적 지식이라고 할 수 있는 ‘가르치기 위한 지식’으로서의 ‘내용교수지식'에 대해서도 모색해 보았다. 본 연구에서는 ‘교과내용지식’, ‘교수법 지식’, ‘학습자에 대한 지식’, ‘교육과정에 대한 지식’, ‘지역학으로서의 한국학 지식’을 ‘내용교수지식'의 구성요소로 삼았다. 2장에서는 한국어교육능력검정시험을 한국어 교사의 실제적인 지식인 ‘내용교수지식’과 연계하였다는 점에서 의미가 크다.
제3장에서는 2장의 이론적 배경을 바탕으로 한국어교육능력검정시험 1회～10회까지 기출문항들을 분석하였다. 문항내용 분석은 한국어교육능력검정시험의 출제지침을 근거로 분석하였다. 또한 이에 대한 내용타당도의 분석 기준은 ‘지식의 구조’, ‘인지적 복잡성’, ‘지식의 대표성’, ‘지식의 균형성’, ‘지식의 포괄성’의 측면에서 이루어졌다. 그리고 문항내용들이 <그림 3> ‘한국어 교사의 지식의 구조 및 영역’에서 한국어 교사의 영역인 Ⅲ사분면에 해당되는 문제인지를 분석하였다. 3장에서는 한국어교육능력검정시험 1회～10회까지 전 영역을 문항 분석하였다는 점과 <그림 3> ‘한국어 교사의 지식의 구조 및 영역’이라는 한국어 교사의 영역 이론에 새롭게 적용하였다는 점에서 의미가 크다.
제4장에서는 한국어 교사의 실제적 지식이라고 할 수 있는 ‘가르치기 위한 지식’으로서의 슐만의 ‘내용교수지식'의 관점에서 한국어교육능력검정시험 문항내용들을 분석하였다. ‘내용교수지식’은 교과내용지식, 교수법 지식, 교육과정에 대한 지식, 학습자에 대한 지식, 지역학으로서의 한국학 지식으로 구성되어 있다. 분석 결과를 살펴보면, 한국어학 영역과 일반언어학 및 응용언어학 영역은 교과내용지식 문항이 대부분이었다. 외국어로서의 한국어교육론 영역은 교과내용지식과 교수법 지식은 많이 출제가 되었지만, 교육과정에 대한 지식과 학습자에 대한 지식, 지역학으로서의 한국학 지식은 미비하게 출제가 되었다. 마지막으로 한국문화 영역에서는 일상문화, 예술문화, 한국역사 과목은 지역학으로서의 한국학 지식을 묻는 문항이 대다수였다. 그리고 한국문학은 교과내용지식을 묻는 문항이었다. 슐만의 내용교수지식의 측면에서 한국어교육능력검정시험 내용타당도를 높이기 위해서는 교과내용지식, 교수법 지식, 교육과정에 대한 지식, 학습자에 대한 지식, 지역학으로서의 한국학 지식이 서로 연계가 되어서 통합적으로 고르고 균형 있게 출제가 되어야 할 것이다. 4장에서는 한국어교육능력검정시험 문항내용 분석을 ‘내용교수지식’이라는 새로운 잣대를 가지고 분석하였다는 점에서 의미가 크다.
제5장에서는 본 연구의 분석 결과를 정리하고 앞으로 한국어교육능력검정시험의 출제방향을 제시하였다. 결론적으로 본 연구에서 주장하는 바는 향후 한국어교육능력검정시험의 출제 방향은 내용타당도의 평가기준인 ‘지식의 구조’, ‘인지적 복잡성’, ‘지식의 대표성’, ‘지식의 균형성’, ‘지식의 포괄성’을 충분히 고려해서 출제가 되어야 한다는 것이다. 즉, 한국어교육능력검정시험의 출제는 평가영역간과 평가내용요소간의 ‘지식의 균형성’과 ‘지식의 포괄성’을 충분히 고려해서 어느 부분에 편중되지 않고 고르게 출제가 되어야 할 것이다. 동시에 출제의 기본지침을 염두에 두고, 단순한 지식을 묻는 지식설명형이 문항이 아닌 ‘인지적 복잡성’을 고려해서 예비 한국어 교사의 종합적 사고력을 평가할 수 있는 영역 및 장르 통합형 문항으로 이끌어 나아가는 것이 중요하리라고 본다. 또한 ‘지식의 구조’와 ‘지식의 대표성’을 고려해서 이론적이고 학문적인 지식이 아닌 한국어 교사가 실제로 한국어 교육 현장에서 사용할 수 있는 실제적이고 가르칠 수 있는 지식인 ‘내용교수지식’ 문항내용으로 출제가 되어야 할 것이다.

The current study was designed to verify the contents of Test of Teaching Korean as a Foreign Language. By analyzing actual questions from the previous tests, the current study attempted to examine whether the test has been set according to the originally proposed guidelines and rules for the test. Two approaches were utilized to achieve the purpose of this study in examining actually inquired questions from the 1st test to the 10th test of Test of Teaching Korean as a Foreign Language. The first approach was to see whether the questions were generated in accordance with the guidelines of Test of Teaching Korean as a Foreign Language. The second perspective was based on the viewpoint of a ‘knowledge to teach’, which can considered as real knowledge of a Korean language teacher. The part was measured by assessing each section of Test of Teaching Korean as a Foreign Language based on Pedagogical Content Knowledge (PCK).
In testing the validity of the contents of Test of Teaching Korean as a Foreign Language, five principles; 1) structure of knowledge, 2) complexity of cognition, 3) representativeness of the knowledge, 4) balance of knowledge, and 5) comprehensiveness of knowledge, were used. So to speak, in order to increase the validity of the contents of Test of Teaching Korean as a Foreign Language, the test should include structure of knowledge, complexity of cognition, representativeness of the knowledge, balance of knowledge, and comprehensiveness of knowledge. In other words, questions of the test should be organized to able to measure representativeness of knowledge that Korean language education emphasizes and comprehensiveness that Korean language education has any relationships with other elements in balance (balance of knowledge) on the basis of actual knowledge (structure of knowledge) and high level of comprehensive thinking (complexity of cognition) rather than focus on theoretical and academic knowledge. For the current study with the purpose, the manuscript consists of five chapters as follows.
In Chapter 1, the purpose of the current study and research method were discussed. In the section of research method, five principles of content validity (structure of knowledge, complexity of cognition, representativeness of the knowledge, balance of knowledge, and comprehensiveness of knowledge) were explained. As of today, there was no attempt to utilize the five principles as evaluation standards for content validity in Korea language education. Therefore, the current study would act as a pioneering study in the research of Korean language evaluation.
In Chapter 2, the professionalism and the expertise of the Korean teacher were discussed in order to measure content validity of Test of Teaching Korean as a Foreign Language as theoretical backgrounds. In addition, the concept and the components of Korean language teaching ability as well as the PCK as a ‘knowledge to teach’ which can be considered as real knowledge of Korean language teacher were deliberated. In this manuscript, knowledge of the subject content, knowledge of teaching methods, knowledge of the learner, knowledge of the curriculum, and knowledge of Korean study as a regional study were addressed as the components of PCK. It is somewhat meaningful that the current study attempted to understand Test of Teaching Korean as a Foreign Language associated with PCK.
In Chapter 3, on the basis of the theoretical backgrounds discussed in Chapter 2, the actual questions from the first 10 times of Test of Teaching Korean as a Foreign Language were analyzed. The analyses of the questions, were conducted compared to the questions guidelines of the test based on the five criteria of content validity (structure of knowledge, complexity of cognition, representativeness of the knowledge, balance of knowledge, and comprehensiveness of knowledge). The contents of the questions were assessed to see whether the questions actually corresponded to the Ⅲ quadrant of the figure 3 “Structure and area of ​​knowledge of Korean language teacher.” In Chapter 3, it is important and meaningful that the entire questions of the first 10 times of Test of Teaching Korean as a Foreign Language were evaluated and domain theory of Korean teacher through figure 3 "Structure and area of ​​knowledge of the Korean language teachers” were newly presented.
In Chapter 4, Test of Teaching Korean as a Foreign Language was analyzed from the point of view of PCK of Schulman as "knowledge to teach." PCK consist of knowledge of subject content, knowledge of teaching methods, knowledge of the learner, knowledge of the curriculum, and knowledge of Korean study as a regional study. The results of the analyses revealed that questions regarding knowledge subject content mostly appeared in the areas of ​​applied linguistics, Korean language, and general linguistics. As a foreign language, Korean education also included a large number of questions for knowledge of subject content and teaching methods, but showed a small number of questions for learning's curriculum and knowledge of the learner. Finally, questions of general culture, arts, history were mostly asked for knowledge of Korean study as a regional study. And Korean literature was presented as questions about knowledge of subject content. In Chapter 4, there was an academic contribution to the field by utilizing PCK in order to understand Test of Teaching Korean as a Foreign Language.
Chapter 5 summarizes the results of the analyses of the current study. In conclusion, it is highly recommended that questions of upcoming Test of Teaching Korean as a Foreign Language should be generated after sufficient consideration to provide high levels of content validity based on structure of knowledge, complexity of cognition, representativeness of the knowledge, balance of knowledge, and comprehensiveness of knowledge. In other words, questions of Test of Teaching Korean as a Foreign Language should be able to have well balance of knowledge and comprehensiveness of knowledge among other elements of contents with due consideration. At the same time, based on the basic guidelines of the test, it is very important for the test to focus on overall thinking and ability of a preliminary Korean teacher for cognitive complexity by asking genre integration questions rather than description type of knowledge by asking simple knowledge. In addition, PCK based-questions using structure of knowledge and representative of the knowledge should be asked for Korean teachers to use practically in the field rather than questions based on theoretical and academic knowledge.