청소년활동 프로그램의 논리주도적 평가준거체제 개발 = (The)development of evaluative criteria set for the youth activity program
이 연구의 목적은 청소년활동 프로그램 평가의 이론적 개념모형을 구안하여 이론적 실증적으로 타당화된 논리주도적 평가준거체제를 개발하는 것이다. 연구목적을 달성하기 위한 연구문제는 첫째, 청소년활동 프로그램의 평가준거체제의 영역과 주요 평가준거항목은 어떻게 구성되어야 하는가, 둘째, 개발된 평가준거체제의 영역과 평가준거항목이 타당하고 신뢰할 만한가, 셋째, 평가준거체제의 영역과 평가준거항목의 적절성에 대한 평가핵심관련자의 평가경험의 유무와 소속에 따른 집단 간 인식의 차이는 어떻게 나타나는 가로 설정하였다.
평가준거체제 개발의 이론적 타당화 과정으로서 프로그램논리를 적용한 이론적 개념모형을 구안하고 평가준거체제 개발을 위한 메트릭스를 작성하였다. 이 개념모형과 메트릭스를 활용하여 논리주도적 평가준거체제의 초안을 작성하였다. 이 평가준거체제 초안을 3회에 걸친 전문가의 검토와 자문을 거쳐 수정하고 보완하여 평가준거체제로 확정하였다.
확정된 평가준거체제를 실증적인 방법으로 타당화하기 위하여 청소년활동 프로그램에 대한 이해를 가지고 있는 평가핵심관련자로서 청소년지도자 및 청소년정책관련자를 대상으로 설문조사를 실시하여 278부를 분석하였다. 평가준거체제의 영역분류의 타당화를 위한 통계분석 방법은 상관관계분석, 신뢰도분석, 탐색적 요인분석을 사용하였다. 또한 평가준거체제의 영역구분에 대한 평가핵심관련자 집단 간의 인식차이를 분석하기 위하여 F-검증과 t-검증을 실시하였다. 주요 분석결과는 다음과 같았다.
첫째, 확정된 평가준거체제에 대한 요인분석 결과, 최종 평가준거체제는 13개 영역의 63개의 항목으로 최종 확정되었다. 프로그램 평가준거의 13개 영역은 프로그램 논리사정, 평가 설계 준비, 내용선정, 구체적 내용, 참여촉진, 모집․활동방법, 안전․위생관리, 운영자 역할, 사후관리․연계협력, 운영환경, 반응평가, 학습 및 행동평가, 결과평가로 나타났다.
둘째, 최종 평가준거체제에 대한 평가핵심관련자 집단 간의 인식차이는 다음과 같다. 평가경험의 유무에 따른 집단간 인식차이는 F-검증을 실시하고 사후비교로서 집단 간의 이질성 검증을 위한 Scheffe 검증(p< .05) 결과, 전체 63개 항목 중에서 7개 항목에서 차이가 검증되었다. 차이가 검증된 항목은 목적을 반영한 내용, 참여자 수준에 적합한 내용, 융통성 있는 내용, 적합한 참가자 모집, 프로그램 운영자의 전문성, 장소 시설 및 장치의 적절성, 목표성취 파악의 항목에서 집단 간의 이질성이 검증되었다. 또한 청소년지도자와 청소년정책관련자의 집단간 인식차이는 t-검증(p< .05) 결과, 평가결과 활용의 항목에서 차이가 검증되었다.
이 연구는 프로그램 논리를 적용한 청소년활동 프로그램 평가의 이론적 개념모형을 구안하고 평가준거체제 개발 메트릭스를 제시하여 논리주도적 평가준거체제를 개발한 것이다. 이를 실증적인 타당화 과정을 거쳐 최종적인 평가준거체제로 제시하였다. 따라서 이 연구에서 개발된 논리주도적 평가준거체제는 평가 대상 프로그램의 논리를 파악하여 맞춤평가를 위한 이론적 근거를 갖는 평가준거체제를 개발하였다는 점에서 의의가 있다. 또한 평가준거체제를 적용하는데 있어서는 프로그램의 특성, 평가목적에 따라 평가핵심관련자의 다양한 관점을 반영하여 필요한 준거를 융통성 있게 선별하여 활용할 수 있도록 개발된 종합적인 평가준거체제라는 점에서 의의가 있다.
* 주요어 : 논리주도평가, 맞춤평가, 평가준거체제, 프로그램논리, 프로그램 평가, 청소년활동 프로그램, 통합적 평가접근방법, 평가준거체제의 타당화, 평가논리, 평가모형, 평가핵심관련자
This study purports to develop a theory-driven evaluative criteria set for youth activities which is validated from not only theoretical but empirical points of view. Prior to empirical validation process, conceptual framework for evaluation is produced. Specifically, this study tries to answer the following questions. First of all, how should we develop appropriate categories and subsequent items for youth activity evaluation? Secondly, are those categories and items reliable and valid? Finally, are there any significant differences among major stakeholders in terms of their responses to evaluation items?
As a theoretical validation process, conceptual framework for evaluation is developed based upon the program theory. In order to construct evaluative criteria set, matrix is also developed. The final version of criteria set is confirmed after three times of experts'' examination.
The survey is performed to empirically validate the final version of criteria set. Respondents mostly consist of youth-related workers, such as youth leaders and youth policy experts who are presumed to have some level of knowledge on youth programs. Statistical techniques for this study include descriptive statistics, correlation analysis, reliability test using Cronbach-alpha, and exploratory factor analysis. In addition, this study analyzes the group differences in respondents'' attitudes on the criteria set. The major findings are as followings.
First, the results of exploratory factor analysis show that the final criteria set could be classified into thirteen categories and the number of items in thirteen constructs is sixty three. Those thirteen constructs are program theory assessment, evaluation design preparation, content selection, specific content elements, participation facilitation, recruitment activity method, safety․hygiene management, role of operator, follow-ups and cooperation, operation environment, reaction evaluation, learning and behavior evaluation, result evaluation.
Second, the results of F-test and subsequent post-hoc comparison suggest that significant differences(a=.05) are found in seven items out of sixty three among those groups which are divided in terms of existence of evaluation experiences. Those seven items are contents of purpose, contents of participant level, contents of flexibility, suitable participants recruitment, operators'' professionalism, appropriate facilitation and equipments, objectives'' achievement. Besides, youth leaders and youth policy experts show different attitudes in response to the statement on evaluation result application and the difference is statistically significant(a=.05).
The construction of theory-driven evaluative criteria set is an on-going process and this study hopefully contributes to this process by adopting theoretical framework for youth program evaluation. This study recognizes the importance of representation of various perspectives from major stakeholders in youth program evaluation when applying evaluative criteria set. Finally, this study emphasizes that the criteria set developed here is very comprehensive in its scope, which means that people in youth programs or evaluation field could use the items with high level of flexibility depending upon their specific contexts as well as interests.
Key words: theory-driven evaluation, fitting/tailoring evaluation to program, evaluative criteria set, program theory, program evaluation, youth activity program, integrating evaluation approaches, validation of evaluative criteria, evaluation logic, evaluation model, major stakeholder
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
| 주요 개정내역 | 변경 사유 |
|---|---|
| · 수탁업체 콘소시엄 기관명 및 위탁기간 명시 | · 제6조(개인정보 처리업무의 위탁) 구체화 |
한국교육학술정보원은 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적 이용·제공 판단기준)
제15조(개인정보 처리방침의 변경)
제1조(개인정보의 처리 목적)
제2조(개인정보의 처리 및 보유 기간)
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)
제3조(처리하는 개인정보의 항목)
제4조(개인정보파일 등록 현황)
개인정보파일 검색(privacy.go.kr)| 개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 |
보유기간 | |
|---|---|---|---|---|
| 학술연구정보서비스 이용자 가입정보 | 한국교육학술정보원법 정보추제 동의 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
| 선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 | |||
제5조(개인정보의 제3자 제공)
제6조(개인정보 처리업무의 위탁)
제7조(개인정보의 파기 절차 및 방법)
제8조(정보주체와 법정대리인의 권리·의무 및 그 행사 방법)
제9조(개인정보의 안전성 확보조치)
제10조(개인정보 자동 수집 장치의 설치·운영 및 거부)
제11조(개인정보 보호책임자)
| 구분 | 담당자 | 연락처 |
|---|---|---|
| KERIS 개인정보 보호책임자 | 정보보호본부 안재호 |
- 이메일 : jinuk@keris.or.kr - 전화번호 : 053-714-0158 - 팩스번호 : 053-714-0195 |
| KERIS 개인정보 보호담당자 | 개인정보보호부 송진욱 | |
| RISS 개인정보 보호책임자 | 교육학술데이터본부 정광훈 |
- 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
| RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
제12조(개인정보의 열람청구를 접수·처리하는 부서)
제13조(정보주체의 권익침해에 대한 구제방법)
제14조(추가적인 이용ㆍ제공 판단기준)
제15조(개인정보 처리방침의 변경)
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)