가중치를 적용한 강의평가 결과 분석 = A study on the student evaluation of teaching at universities by analytic hierarchy process

다국어 초록 (Multilingual Abstract)

The purpose of this study is to explore difference between the result of applying different weights and the result of applying equal weights to evaluation items and indexes for the purpose of establishing reasonably the result of student evaluation of teaching. In order to accomplish the purpose, after 31 experts assigned different weights on evaluation items and indexes, this study calculated weighted items and weighted indexes through AHP analysis. The data used in this study is the results of evaluation of teaching at C university during four semesters. The results of the data analysis report that the weight of teaching result in evaluation items is biggest than the others and the weight of teaching preparation is smallest in the evaluation items. The weights between indexes is identified differently. Also there is gap between the raw score and the score of applying equal weights, which is a meaningful difference in terms of statistics. In addition, there are much changes in ranking of teaching result. Thus, when adjusting number of evaluation indexes, the weight need to be considered.

국문 초록 (Abstract)

이 연구의 목적은 강의평가 결과의 합리적 산출을 위해 평가 영역 간, 지표 간 비중을 설정하고, 그 비중을 적용한 결과와 동일 비중을 가진 원래의 결과 간에 차이가 있는지를 실증적으로 밝히는 것이다. 이를 위해 31명의 전문가 집단을 선정하여 쌍대비교 설문지를 통해 영역 및 지표 간 비교 평정을 실시하도록 하였다. 평정 결과를 토대로 계층화분석법(AHP)에 따른 영역(강의준비, 강의태도, 강의방법, 강의결과) 및 지표별 가중치를 산출하였다. 그리고 C대학교의 2009년 1학기부터 2010년 2학기까지 4학기 동안의 강좌별 평가 결과 자료를 이용하여 가중치를 적용한 점수를 산출한 다음, 그 결과를 동일 비중을 적용했던 현행의 원점수와 비교하였다. 연구 결과, 영역별로는 강의결과 영역의 가중치가 가장 컸고, 강의준비 영역의 비중이 가장 낮았다. 그리고 문항 간 비중도 상호 다르게 나타났다. 또한 가중치를 적용한 결과와 기존 결과 간에 통계적으로 유의한 차이가 있었으며, 강좌별 순위의 변화도 많은 것으로 나타났다. 이에 강의평가의 영역별 문항 수를 조정하거나 재구성할 경우 평가 영역별 비중을 반영할 필요가 있으며, 평가 영역 및 지표별 비중을 반영하는 점수 산출 방안을 마련하여 활용할 것을 제안하였다.

참고문헌 (Reference)

• 1 이유선, "현행 강의평가제도의 문제점과 개선방안" 12 : 205-242, 2005
• 2 한신일, "한국대학의 강의평가실태 분석" 한국교육행정학회 23 (23): 379-404, 2005
• 3 최정윤, "한국 대학의 질적 수준 분석 연구(I)" 한국교육개발원 2007
• 4 양미경, "학생의 평정에 의거한 대학 강의평가의 의의와 한계" 한국교육원리학회 13 (13): 93-122, 2008
• 5 한신일, "학생에 의한 강의평가의 관련요인 분석 - 교수, 학생, 수업관련요인을 중심으로" 19 (19): 247-266, 2001
• 6 김학일, "이공계 강의평가 결과의 실증적 분석을 통한 강의평가제도 개선방안" 한국공학교육학회 10 (10): 58-77, 2007
• 7 이훈병, "유아교육과 수업개선을 위한 강의평가문항의 중요도분석" 한국유아교육ㆍ보육복지학회 13 (13): 257-274, 2009
• 8 백순근, "위계선형모형을 활용한 대학생의 강의평가 분석 - S대학교 교양강의를 중심으로 -" 한국교육평가학회 21 (21): 1-24, 2008
• 9 손충기, "수업평가 관련 변인에 따른 수업평가 결과 차이 탐색 연구" 한국교육평가학회 20 (20): 1-24, 2007
• 10 가톨릭대학교 수업평가개선연구위원회, "수업평가 개선 연구위원회 보고서" 가톨릭대학교 2010
• 11 김충행, "수업방법 개선을 위한 학생에 의한 대학 강의 평가의 분석" 15 (15): 203-240, 1997
• 12 장은정, "사이버대학에서의 강의평가와 학업성취에 관한 사례연구" 한국교육공학회 21 (21): 103-126, 2005
• 13 김현철, "분산분석과 범주형 자료 분석에 의한 강의평가 결정요인의 탐색" 한국교육개발원 33 (33): 121-144, 2006
• 14 류춘호, "대학의 강의평가에 영향을 미치는 학생관련 요인에 관한 연구" 한국경영학회 32 (32): 8-807, 2003
• 15 김진화, "대학경영환경이 강의평가에 미치는 영향 - Y대학교 강의평가를 중심으로 -" 한국경영사학회 26 (26): 201-224, 2011
• 16 김성열, "대학 학사과정 강의평가제 실태분석을 통한 교육업적평가모형 개발 연구. 정책연구보고서" 교육인적자원부 2001
• 17 박인우, "대학 강의평가에서의 무성의 응답에 대한 학생의 자기평가의 영향에 관한 연구" 한국교육방법학회 24 (24): 257-281, 2012
• 18 이희원, "대학 강의 질 개선을 위한 강의 평가 문항 분석 - 서울대학교 이공계열 교양과목을 중심으로" 8 (8): 52-63, 2005
• 19 이성흠, "교수설계 이론에 근거한 대학 강의평가 도구개발을 위한 기초연구" 17 (17): 81-108, 2001
• 20 이동규, "계층화분석과정에 의한 평가지수표 가중치 산정 : 사학기관의 재무비율을 중심으로" 2 : 77-105, 2001
• 21 조근태, "계층분석적 의사결정" 동현출판사 2003
• 22 이혜림, "계층분석과정에 의한 강의평가요인의 중요도 분석" 한국교원교육학회 22 (22): 49-68, 2005
• 23 이상석, "계층분석과정에 의한 강의평가" 한국상업교육학회 5 : 225-244, 2002
• 24 권영훈, "경영학 교육 강의평가모형 개발" 한국경영교육학회 62 (62): 225-244, 2010
• 25 김명화, "강의평가의 타당도와 신뢰도" 교육연구소 6 (6): 1-24, 2005
• 26 이석열, "강의평가 현황 및 문제점" 16-22, 2011
• 27 송미섭, "강의평가 설문지에 관한 문항분석 연구" 7 (7): 263-283, 1994
• 28 김성수, "강의 평가의 신뢰도, 타당도 및 활용에 대한 고찰" 17 : 85-100, 1997
• 29 류춘호, "강의 평가 설문 문항의 개발에 관한 연구" 26 : 339-389, 2001
• 30 박혜정, "가상강좌 강의평가 도구개발 및 타당화" 한국교육평가학회 19 (19): 203-223, 2006
• 31 김성숙, "e-learning 강의평가 도구의 일반화가능도와 평가활용의 최적화 조건" 한국교육평가학회 19 (19): 305-322, 2006
• 32 d'Apollonia, S., "Variables moderating the validity of student ratings of instruction: A meta-analysis" 1996
• 33 Hoffmann, R. G., "Variables affection university student ratings of instructor behavior" 15 : 287-299, 1978
• 34 Marsh, H. W., "The influence of student, course, and instructors' characteristics in evaluations of university teaching" 17 : 219-237, 1980
• 35 Miller, A. H., "The evaluation of university course" 9 (9): 1984
• 36 Marsh, H. W., "Students' evaluation of university teaching: dimensionality, reliability, validity, potential biases, and utility" 76 (76): 707-754, 1984
• 37 Marsh, H. W., "Students' evaluation of university teaching: Research findings, methodological issues, and directions for future research" 11 : 253-388, 1987
• 38 Sheehan, E. P., "Student evaluations of university teaching" 26 : 188-193, 1999
• 39 Coburn, L., "Student Evaluation of Teacher Performance"
• 40 Feldman, K. A., "Seniority and experience of college teachers as related to evaluations they receive from students" 18 (18): 3-124, 1983
• 41 Feldman, K. A., "Reflections on the study of effective college teaching and student ratings: One continuing quest and two unresolved issues, In Higher education: Handbook of theory and research" Agathon Press 35-74, 1998
• 42 Marsh, H. W., "Making students' evaluations, and instructional effectiveness effective: The central issues of validity, bias, and utility" 52 : 1187-1197, 1997
• 43 Greenwald, A., "Grading leniency is a removable contaminant of student ratings" 52 : 1209-1217, 1997
• 44 Harris, D., "Educating and assessing for learning" Nichols 1990
• 45 Kember, D., "Does the Use of Student Feedback Questionnaires Improve the Overall Quality of Teaching?" 27 (27): 411-425, 2002
• 46 강진규, "AHP의 이론과 실제" 인터비젼 2008