역량평가를 위한 평가센터 모형 개발 및 적용 = The Development and Application of Assessment Center Model for Competency Evaluation

다국어 초록 (Multilingual Abstract)

The purpose of this study was development and application of assessment center model in order to evaluate competency accuracy and promote the use of assessment center. The research questions of this study were proposed as follows:
1) Development of assessment center model for competency evaluation
2) Application of assessment center model developed and analysis it.
First of these studies, nine procedure “analysis, design of the direction formulation, establish of assessment centers procedures, application, establish of assessment center stage, establishing the step-by-step relationship identification, model development, evaluation, final model development of the process” was used to solve the problem. Assessment Center model developed consist of six steps, "competency model development", "developing assessment tasks", "evaluator training," "perform the assessment center", "competency evaluation", sub-steps, "general assessment" and the "ready", "perform", and "evaluation," and detailed steps. Assessment center model is developed double circle, outer circle represents the six stages and inside the circle indicates the three sub-steps. In addition, the steps to prepare is marked yellow, the steps to run is marked green and the step to evaluation is marked red as a traffic light so colors provide information clearly.
Second, applied of the developed model to the individual communication competency assessment and competency-based training program two levels evaluate. First, listening, reading, speaking and writing, discussion, coordination was measured by applying the six steps and evaluated. As a result, reading scores was the largest of the distribution and speaking scores was the least of the distribution. And writing scores was the highest and discussion scores were the lowest in all student.
Then competency-based training program effectiveness was measured by assessment center model, paper and pencil type simulation test, and structured interviews. As a result, three tools showed that competency-based train program effectiveness was no meaning. Recommendation to improve competency-based train program effectiveness is 1)selection of priority capabilities 2)customized school education program by using the behavior indicator and setting a target level 3)strength the speaking, debate, and evaluation education 4)using the teaching methods “invited lecture” in listening and “announcement” in speaking.
Third, analyzing the assessment center model after apply. As a result, the model developed assessment center: 1)meeting the competency assessment requirement and procedure 2)competency evaluation is reasonable 3)complementing the existing competency tools 4)individual and program competency evaluation applying could be possible 5)personal assessment overall evaluation is excellent 6)a systematic program evaluation could be possible 7)complementing the existing assessment center model 8)customized evaluation was possible and proving a wealth of information and supporting the systematic evaluation.
In conclusion, the above research findings have the following significance: First, the overall capacity of the communication area, listening, reading, speaking and writing, discussion, coordination, was evaluated based on behavioral observations. Second, analyzing the effectiveness of competency-based train program was provides information to higher education institutions. Third, the assessment center model developed provides guidelines for complex assessment center procedure to reducing resources and reasonable competency evaluation. Forth, the college-level assessment center tasks can be utilized for various purposes in higher education institution, like the admission officer system. Fifth, participant-centered design through personalized evaluation can be used as fourth-generation evaluation. Finally, the assessment center model developed can be used for individual competency evaluation, competency-based program two-level evaluation, and institution competency evaluation.

국문 초록 (Abstract)

본 연구는 복잡한 평가센터 절차에 대한 모형을 개발하여, 타당하게 역량을 평가하는데 그 목적이 있다. 상기의 연구목적에 근거하여 구체적인 연구문제를 기술해보면 다음과 같다.
1)역량평가를 위하여 평가센터 모형을 개발한다.
2)개발한 평가센터 모형을 적용하고, 이를 분석한다.
이러한 연구문제를 해결하기 위하여 첫째, “자료분석, 설계방향 정립, 평가센터 절차 수립, 적용, 평가센터 단계 수립, 단계 별 관계 파악, 모형 설계, 평가, 최종모형 개발”의 절차로 평가센터 모형을 개발하였다. 개발한 평가센터 모형은 "역량모델 개발", "평가과제 개발", "평가자 교육", "평가센터 실행", "역량진단", 그리고 "총괄평가"의 6개 단계와 "준비", "실행", "평가"의 하위단계 및 세부단계로 구성되어 있다. 모형은 이중 원형으로 표현되며, 외부 원형은 6개의 단계를 나타내고 내부 원형은 3개의 하위단계를 나타낸다. 또한 준비하는 단계는 황색이며 실행하는 단계는 녹색, 그리고 평가하는 단계는 적색으로 신호등과 같이 색으로 명료하게 정보를 제공한다.
둘째, 개발한 모형을 개인의 의사소통 역량 평가와 역량기반 교육 프로그램 2수준 평가에 적용하였다. 먼저 평가대상 4명의 듣기, 읽기, 말하기, 쓰기, 토론, 조정 6가지 영역을 개발한 모형의 6단계를 적용하여 측정한 후 평가했다. 그 결과 읽기의 점수 분포가 가장 크며 말하기는 가장 작았다. 그리고 전체 학생의 쓰기 점수가 가장 높았으며 토론이 가장 낮았다.
그 후 개발한 평가센터 모형과 함께 지필 형 상황판단검사와 구조화된 인터뷰를 통하여 K-CESA 의사소통 역량기반 교육 프로그램의 효과를 측정하였고, 교육 프로그램 개선방향에 대한 자료를 분석했다. 그 결과 세 가지 도구 모두 수강 전과 수강 후 의미 있는 역량증진이 이루어지지 않음을 나타냈다. 개선방향 제언으로 1)우선순위 역량의 선택 2)행동지표 추출 및 목표수준 설정으로 학교 별 맞춤교육 설계 3)말하기, 토론, 평가교육의 전반적인 강화 4)듣기는 '초청강의'를 교수법으로, 말하기는 '발표'를 교수법으로 활용하는 것이 포함되었다.
셋째, 적용한 결과를 토대로 개발한 평가센터 모형을 분석하였다. 그 결과 개발한 평가센터 모형은 1)역량평가 요구 및 절차를 부합했으며 2)타당하고 신뢰롭게 역량을 평가했고 3)기존의 역량평가 도구를 보완하며 4)개인과 프로그램 평가 모두 적용 가능하고 5)개인 역량평가 적용 결과 총괄평가가 우수하며 6)체계적인 프로그램 역량평가가 가능하고 7)기존에 개발된 평가센터 모형을 보완하며 8)대상 별 맞춤설계 가능, 풍부한 정보 제공, 그리고 체계적인 평가를 지원한다는 특징을 알 수 있었다.
이상의 연구결과는 다음과 같은 의의를 지닌다. 첫째, 듣기, 읽기, 쓰기, 말하기, 토론, 조정의 의사소통 영역 전반적인 역량을 행동관찰을 기반으로 평가하였다. 둘째, 고등교육 기관에서 확대되는 역량기반 교육과정의 효과를 분석해 정보를 제공했다. 셋째, 복잡한 평가센터 절차에 대한 가이드라인을 제시하여 자원의 소모를 줄이고 타당하게 역량을 평가할 수 있도록 도모했다. 넷째, 대학생 수준에 맞춘 평가센터 과제를 개발하여 향후 입학사정관 전형과 같이 고등교육기관에서 다양한 방법으로 활용할 수 있다. 다섯째, 참여자가 중심이 되는 맞춤형 평가설계를 적용하여 4세대 평가로 활용 가능하다. 마지막으로, 개발한 평가센터 모형은 개인의 역량평가와 교육 프로그램 2수준 역량평가, 나아가 기관 역량평가에 활용할 수 있을 것으로 기대한다.

목차 (Table of Contents)

• 제1장. 서론 = 1
• 제1절. 연구의 필요성 및 목적 = 1
• 제2절. 연구문제 = 4
• 제2장. 이론적 배경 = 5
• 제1절. 역량평가의 절차와 방법의 분류 = 5
• 제2절. 평가센터의 절차와 활용 = 14
• 제3장. 역량평가를 위한 평가센터 모형 개발 = 27
• 제1절. 개발절차 = 27
• 제2절. 모형의 구조 = 32
• 제3절. 모형의 절차 = 35
• 제4장. 평가센터 모형 적용 = 41
• 제1절. 의사소통 역량평가 = 41
• 제2절. 의사소통 역량기반 교육 프로그램 평가 = 54
• 제5장. 평가센터 모형 적용 분석 = 72
• 제1절. 분석절차 = 72
• 제2절. 분석결과 = 73
• 제6장. 논의 및 결론 = 84
• 참고문헌 = 90
• 부 록 = 98
• ABSTRACT = 144