중학교 교사용 과정 중심 평가 전문성 척도 타당화 연구 = A Validation of Process-based Assessement Scale for Middle School Teachers' Expertise

다국어 초록 (Multilingual Abstract)

Objectives The purpose of this study is to develop and validate a Process-based Assessement Scale for meddle school teachers' expertise to enhance the assessment competencey.
Methods The preliminary version of the scale which was developed based on a theoretically grounded definition of teacher’s evaluation expertise and Process-based Assessment was refined and revised through focus group interview with middle school teachers and experts in the field of educational measurement and evaluation. A pilot test was conducted on samples of 315 middle school teachers to perform Rasch item fit, category probability curve, item difficulty, exploratory factor analysis, and confirmatory factor analysis. For statistical programs Jmetrik, AMOS 22.0, SPSS 26.0 were used.
Results The result supporting the model fit, construct, discriminant validity of the 5 factors. And the item fit, categorical probability curve, and item difficulty on the five-point scale were also acceptable. Consequently, 16 items were derived with 5 factors: ‘understanding Process-based Assessment’, ‘establishment of Process-based Assessment plan’, ‘development of Process-based Assessment tool’, ‘execution of Process-based Assessment’, and ‘sharing and utilization of Process-based Assessment results’.
Conclusions We discussed the academic and practical significance of this study in the aspect of the diffusion and substantialization of the policy, especially, as a tool for measuring educational performance outcomes following the operation of the Process-based Assessment. It is expected that the developed scale will be used to supplement the shortcomings of middle school teachers by identifying the elements necessary for them to have Process-based Assessment expertise.

국문 초록 (Abstract)

목적 본 연구는 중학교 교사의 과정 중심 평가 평가전문성 제고를 위해 과정 중심 평가 전문성 척도를 개발하고 타당화하는 데 목적이있다.
방법 연구목적을 달성하기 위해, 먼저, 교사의 평가전문성과 과정 중심 평가의 개념적 정의를 기반으로 예비문항을 개발하고 평가전문가와 중학교 교사를 대상으로 전문가 집단 회의를 실시하여 수정⋅보완하였다. 둘째, 중학교 교사의 교육경력과 교과를 고려하여지원자 표집과 스노우볼 표집을 활용하여 315명의 데이터를 수집하여 Rasch의 문항적합도, 응답범주의 적절성, 문항곤란도를 검토하고 탐색적 요인분석 및 확인적 요인분석을 실시하여 요인 및 문항을 선정하였다. 분석에 사용한 통계 프로그램은 Jmetrik, AMOS 22.0, SPSS 26.0이다.
결과 분석결과, 5요인의 모형적합도, 개념신뢰도, 판별타당도는 기준치를 상회하였으며, 5점 척도의 문항적합도, 범주확률곡선, 문항곤란도도 양호하였다. 최종적으로 ‘과정 중심 평가의 이해’, ‘과정 중심 평가 계획수립’, ‘과정 중심 평가 도구개발’, ‘과정 중심평가 실행’, ‘과정 줌심 평가 결과 해석 및 활용’ 5개의 능력 요인으로 구성된 16문항의 진단도구를 개발하였다.
결론 교육부가 과정 중심 평가의 내실화 및 확산을 목표로 하고 있다는 점을 고려해 볼 때, 새로운 척도는 과정 중심 평가 운영에따른 교육성과 측정 도구로 널리 활용될 수 있다는 점에서 의의가 있다. 이 연구를 통해 개발된 척도가 중학교 교사가 과정 중심 평가전문성을 갖추는 데 필요한 요소를 파악하여 자신의 부족한 점을 보완해 나가는데 활용되기를 기대한다.

참고문헌 (Reference)

• 1 성태제 ; 임현정, "형성평가의 재인식에 따른 교사와 학교교육의 변화를 위한 제언" 한국교육평가학회 27 (27): 597-615, 2014
• 2 송보라 ; 이기학, "한국형 진로신념척도(K-CBI) 개발과 타당화 연구" 한국진로교육학회 23 (23): 1-22, 2010
• 3 신종호, "학습동기 : 이론, 연구, 그리고 지원" 학지사 2013
• 4 김선, "학생의 배움과 성장을 지원하는 과정중심 피드백" AMEC 2020
• 5 문민지, "폴라니 인식론에 근거한 지식과 역량의 관계 탐색" 한국교육과정학회 39 (39): 193-210, 2021
• 6 김유정 ; 장원형 ; 홍훈기, "텍스트 네트워크 분석법을 활용한 2015 과학과 교육과정 평가 분석 및 논의: 과정 중심 평가와의 연계를 중심으로" 한국교육과정평가원 22 (22): 225-250, 2019
• 7 오민아 ; 강태훈, "탐색적 요인분석에서 중복부하 문항 활용을 위한 통계적 방법 탐색" 한국교육평가학회 33 (33): 603-627, 2020
• 8 교육부, "초중학교 교사별 과정중심 평가 연수 프로그램 개발 및 강사 연수" 2018
• 9 염시창 ; 강대중, "초등학교 교사의 형성적 피드백 실행 척도 개발 및 타당화" 한국교육과정평가원 23 (23): 83-108, 2020
• 10 박재희, "초등영어 듣기⋅말하기 과정중심 평가모형개발 및 적용 방안" 한국교원대학교 대학원 2018
• 11 박재희, "초등영어 듣기⋅말하기 과정중심 평가모형개발 및 적용 방안" 한국교원대학교 대학원 2018
• 12 박정, "초등교사의 학생평가전문성에 대한 자기평가 분석" 한국교원교육학회 30 (30): 357-376, 2013
• 13 조지민, "초⋅중학교 교사별 과정 중심 평가 연수 프로그램 개발 및 강사 연수" 한국교육과정평가원 2018
• 14 교육부, "초⋅중등학교 교육과정 총론. 교육부 고시제 101호"
• 15 교육부, "초⋅중등학교 교육과정 총론. 교육부 고시 제2015-74호"
• 16 교육부, "중학교 교사별 과정 중심 평가 이렇게 하세요: 국어과" 2018
• 17 김석우 ; 장카이 ; 서원석, "중학교 교사가 지각하는 과정중심평가에 대한 IPA 분석" 학습자중심교과교육학회 21 (21): 429-441, 2021
• 18 김나영, "중등학교 영어 교사의 학생평가 전문성 평가도구 개발 및 타당화 연구" 서울대학교 2017
• 19 에듀인, "정기고사 20% 이상 서⋅논술형...중학교 1과목 이상 100% 서논술형 평가"
• 20 황규호, "일반역량 교육 논의의 쟁점 분석" 한국교육과정학회 35 (35): 247-271, 2017
• 21 조용래 ; 홍세희, "역기능적 신념검사 단축판의 구성: Rasch 평정척도모형의 적용" 한국임상심리학회 25 (25): 865-880, 2006
• 22 박영민, "쓰기 평가 지식 측정을 위한 검사 도구 개발 연구" 청람어문교육학회 (46) : 29-46, 2012
• 23 박정, "수업에서 학생 평가 의미 탐색" 한국교육평가학회 30 (30): 397-413, 2017
• 24 한국교육과정평가원, "수업과 연계한 과정 중심 평가 어떻게 할까요?" KICE 3-11, 2019
• 25 박은아 ; 서민희, "성취평가제에서의 교사 역량 지표 개발 및 타당화" 한국교육평가학회 29 (29): 433-456, 2016
• 26 서원석 ; 원효헌 ; 김석우, "빅데이터를 활용한 과정중심평가에 대한 사회적 인식: 키워드 네트워크 분석을 중심으로" 교육발전연구소 31 (31): 113-136, 2021
• 27 박지현 ; 진경애 ; 김수진 ; 이상아, "단위학교의 과정 중심 평가 운영 지표 개발 연구" 한국교육과정평가원 23 (23): 157-181, 2020
• 28 교육부, "내년부터 희망하는 학교에서 자유학년제를 시작한다: 중학교 자유학기제 확대⋅발전 계획 시안발표"
• 29 우필희 ; 송명섭 ; 송주범, "국내 교사 평가 전문성 기준과 측정도구 분석" 한국교육과정평가원 24 (24): 173-201, 2021
• 30 홍세희, "구조 방정식 모형의 적합도 지수 선정기준과 그 근거" 19 (19): 161-177, 2000
• 31 유영식, "교육과정-수업-평가를 일체화하는 과정중심평가" 테크빌교육 2017
• 32 송미영 ; 김경희, "교사의 학생평가 전문성 진단도구 개발" 한국교육과정평가원 10 (10): 47-74, 2007
• 33 이인제, "교사의 학생평가 전문성 신장 모형과 기준" 한국교육과정평가원 2004
• 34 김경희 ; 김신영 ; 김성숙 ; 지은림 ; 반재천 ; 김수동, "교사의 학생평가 전문성 기준 개발" 한국교육평가학회 19 (19): 89-112, 2006
• 35 임은영, "교사의 학생평가 역량 연구" 한국교육과정평가원 22 (22): 101-124, 2019
• 36 이인제, "교사의 학생평가 실태 조사 및 전문성 신장에 대한 요구 분석" 한국교육과정평가원 2004
• 37 지은림, "교사의 피드백 수행을 위한 구성요인 및 특성에 관한 연구" 교육연구소 10 (10): 77-102, 2009
• 38 김유정 ; 이경건 ; 장원형 ; 홍훈기, "교사의 과정 중심 평가 역량(T-PEC) 진단도구 개발 및 타당화" 한국교원교육학회 36 (36): 99-121, 2019
• 39 고현, "교사별 과정중심평가에 대한 인식 및 실태와 지원방안 탐색" 학습자중심교과교육학회 19 (19): 1137-1164, 2019
• 40 반재천 ; 김선 ; 박정 ; 김희경, "교사별 과정 중심 평가에 대한 교사의 인식" 한국교육과정평가원 21 (21): 105-130, 2018
• 41 김선, "교사별 과정 중심 평가 도입시 필요 사항, 우려 사항, 기대가 도입 의견에 미치는 효과" 한국교육평가학회 32 (32): 257-278, 2019
• 42 김정민, "과정중심평가의 개념과 교육적 의의 탐색" 학습자중심교과교육학회 18 (18): 839-859, 2018
• 43 김석우 ; 서원석, "과정중심평가에 대한 중등교사의 관심도 및 실행도 분석" 과학교육연구소 59 (59): 273-289, 2020
• 44 박정, "과정중심평가를 위한 수업과 학생 자기평가 의미 탐색" 한국교육평가학회 32 (32): 421-440, 2019
• 45 김성희, "과정중심평가 관점에서의 앱 인벤터 프로그램 평가 루브릭 개발" 고려대학교 교육대학원 2019
• 46 임혜정, "과정중심 웹 기반 포트폴리오 평가가 영작문 능력과 태도에 미치는 영향 :중학교 3학년 학습자를 중심으로" 인하대학교 대학원 2007
• 47 교육부, "과정을 중시하는 수행평가 어떻게 할까요? 중등" 2017
• 48 이경화 ; 고은성 ; 신보미 ; 이동환 ; 김선희 ; 강현영 ; 이환철, "과정 중심 평가의 실행을 위한 방향 탐색" 대한수학교육학회 26 (26): 819-834, 2016
• 49 최숙기, "과정 중심 평가의 실행 방안 연구- 국어 교사의 인식과 국어 교과 실행 사례를 중심으로" 청람어문교육학회 (68) : 129-176, 2018
• 50 전경희, "과정 중심 평가의 방향과 과제" 한국교육과정개발원 2016
• 51 박지현, "과정 중심 평가내실화를 위한 교사의 평가 전문성 신장 방안 연구" 한국교육과정평가원 2018
• 52 신혜진 ; 안소연 ; 김유원, "과정 중심 평가 활용의 정책적 분석 -서울특별시 소재 중학교 교사의 수행평가 활용 사례를 중심으로-" 한국교육과정평가원 20 (20): 135-162, 2017
• 53 최상호 ; 이동근 ; 김동중, "과정 중심 평가 친화적 교사 교육과 평가에 대한 인식" 교육연구원 33 (33): 1-23, 2017
• 54 이정희, "과정 중심 평가 도구 개발-중1 통계 단원을 중심으로" 전남대학교 대학원 2018
• 55 American Federation of Teachers, "standard for teacher competence in educational assessment of students"
• 56 Abell, S. K., "The professional knowledge base of science teaching" Dordrecht 205-221, 2011
• 57 Matzler, K., "The asymmetric relationship between attribute-level performance and overall customer satisfaction : a reconsideration of the importance-performance analysis" 33 (33): 271-277, 2004
• 58 Forsyth, R., "Some empirical results related to the robustness of the Rasch model" 5 (5): 175-186, 1981
• 59 Popham, W. J., "Right task, wrong tool" 189 (189): 18-22, 2002
• 60 Wright, B. D., "Reasonable mean-square fit values" 8 (8): 370-371, 1994
• 61 박민애 ; 손원숙, "Rasch 평정척도모형을 통한 학습을 위한 평가 척도(AFL-Q)의 단축형 개발 및 타당화" 한국교육평가학회 31 (31): 411-434, 2018
• 62 최숙기, "Rasch 모형을 활용한 국어 교사 평가 전문성 척도개발 및 타당화 연구" 청람어문교육학회 (56) : 313-340, 2015
• 63 Wright, B. D., "Rasch dichotomous model vs Birnbaum 3-PL three-parameter logistic model" 5 (5): 173-192, 1992
• 64 Kline, R. B., "Principles and practice of structural equation modeling" The Guilford Press 1998
• 65 Beavers, A. S., "Practical considerations for using exploratory factor analysis in educational research" 18 : 1-13, 2013
• 66 Linacre, J. M., "Optimizing rating scale category effectiveness" 3 (3): 85-106, 2002
• 67 Lord, F. M., "New horizons in testing" Academic Press 51-61, 1983
• 68 Hair, J. F., "Multivariate data analysis" Pearson 2006
• 69 Martilla, J. A., "Importance-performance analysis" 41 (41): 77-79, 1977
• 70 Smith, R. M., "Examining replication effects in Rasch fit statistics" 5 : 303-317, 2000
• 71 Fornell, C., "Evaluating structural equation models with unobservable variables and measurement error" 18 (18): 39-50, 1981
• 72 Andrich, D., "Educational research, methodology, and measurement;An international handbook" Elsevier 874-880, 1997
• 73 Brookhart, S. M., "Educational assessment knowledge and skills for teachers" 30 (30): 3-13, 2011
• 74 Popham, W. J., "Classroom assessment: What teachers need to know" Pearson 2014
• 75 Osborne, J. W., "Best practices in exploratory factor analysis : Four Recommendations for getting the most form your analysis" 12 (12): 131-146, 2009
• 76 Stiggins, R., "Assessment literacy" 72 : 534-539, 1991
• 77 Plake, B. S., "Assessment competencies of teachers : a national survey" 12 : 10-39, 1993
• 78 Dinero, T. E., "Applicability of the Rasch model with varying item discriminations" 1 (1): 581-592, 1977
• 79 Andrich, D., "A rating formulation for ordered response categories" 31 : 84-98, 1978
• 80 반재천, "2015 개정 교육과정에 따른 교사별 과정중심평가 활성화를 위한 학생평가 모형 개발 연구" 교육부 2018