대학평생교육원의 BSC 성과평가모형 개발 = Development of BSC performance evaluation model for university lifelong education center

국문 초록 (Abstract)

평생교육의 중요성이 나날이 강조되면서 양적으로 꾸준한 성장을 이루어온 대학평생교육원은 최근에 ‘고등교육기관의 평생교육 기능 강화’를 목표로대학을 중심으로 한 평생교육 정책이 시행됨에 따라 대학평생교육의 중심기관으로 경영차원에서 질적 제고의 필요성이 제기되고 있다. 그리고 평생교육 이념의 실현이라는 대학평생교육원의 미션과 비전 달성을 위해서도 중장기적 경영전략과 연계할 수 있는 성과평가가 필요하다. 또한 기존의 평생교육학의 평가 연구는 주로 평생교육 프로그램의 참여 지속 및 확산을 위한 프로그램 및 사업의 효과성 분석에 편중되어 왔고, 기관차원의 성과평가를 통해 경영을 지원하려는 시도는 미비한 편이었다.
따라서 본 연구는 대학평생교육원의 성과평가체계 구축을 위해 기관차원의 포괄적 BSC 성과평가모형의 개발과 모형의 실용성을 고려하여 BSC 성과평가모형의 상대적 중요도를 산출하는 것을 목적으로 하였다. 이러한 연구의 목적을 달성하기 위해 연구문제는 첫째, 대학평생교육원의 BSC 성과평가모형은 어떤 체계로 구안, 설계되는가? 둘째, 대학평생교육원의 BSC 성과평가모형의 관점, 핵심성과요인, 핵심성과지표의 내용타당도는 어떠한가? 셋째, 대학평생교육원의 BSC 성과평가모형의 관점, 핵심성과요인, 핵심성과지표의 상대적 중요도는 어떠한가?로 설정하였다.
본 연구에 사용한 연구방법은 문헌연구와 전문가 면접 조사, 델파이 기법, 계층화 분석법이었다. 이와 같은 방법으로 수행되어 도출된 본 연구의 결과는 다음과 같다.
첫째, 대학평생교육원 BSC 성과평가모형의 체계는 문헌연구와 평생교육원 실무자 및 평생교육 전문가 10명의 면접 조사를 병행하여, 대학평생교육원의 미션과 비전으로부터 설정된 관점과 핵심성과요인, 핵심성과지표의 위계구조로 구안하여 성과평가모형 초안이 설계되었다. 초안의 첫 번째 위계에서 대학평생교육원의 미션과 비전을 달성을 위한 성과를 조망할 수 있는 시각인 관점은 ‘학습자 및 이해관계자’ 관점, ‘업무프로세스’ 관점, ‘조직(원)의 학습 및 성장’ 관점, ‘자원’ 관점 4가지가 도출되었다. 두 번째 위계인 핵심성과요인은 각 관점별로 3~4개씩, 총 13개가 도출되었고, 마지막 위계인 핵심성과지표는 각 핵심성과요인에 따라 3~5개씩, 총 56개를 도출하였다.
둘째, 대학평생교육원 BSC 성과평가모형의 내용타당도를 확보하기 위해 평생교육 전문가 패널 34명을 대상으로 두 차례 델파이 조사를 실시하였다. 델파이 조사의 내용타당도는 패널의 의견 일치 정도를 산출하는 CVR 값으로 확인하였다. 본 연구의 1차 델파이 조사 결과에서 CVR 최소값 0.33을 기준으로 통계치가 낮은 항목은 수정하거나, 문항 교체, 항목 통합 등의 방법으로 보완하였고, 이 과정을 거친 2차 델파이 조사 결과에서는 성과평가모형의 내용타당도가 모든 항목에서 개선된 것으로 확인이 되었다. 이와 같이 내용타당도가 확보되어 ‘학습자 및 이해관계자’, ‘업무수행 프로세스’, ‘조직(원)의 학습 및 성장’, ‘자원’의 4개 관점과 13개 핵심성과요인과 각 핵심성과요인에 따른 54개의 핵심성과지표가 대학평생교육원의 BSC 성과평가모형으로 확정되었다.
셋째, 계층화 분석법을 이용하여 다수 전문가 패널의 의견 수렴과정을 통해 성과평가 항목 간의 가중치를 분석하여 모형의 관점, 핵심성과요인, 핵심성과지표 항목 간의 상대적 중요도를 제시하였다. 대학평생교육원 BSC 성과평가모형의 중요도는 첫 번째 위계인 관점에서는 ‘학습자 및 이해관계자’ 관점이, 두 번째 위계인 핵심성과요인 13개 중에서는 ‘학습자 만족 제고’가, 마지막 위계인 핵심성과지표 54개 가운데는 ‘학습자 만족도’가 가장 중요한 것으로 도출되었다. 이를 통해 대학평생교육원의 질적 제고를 위한 경영에서 집중적으로 성과관리를 해야 할 관점, 핵심성과요인, 핵심성과지표를 확인하였고, 경영에서 주요 관심을 가져야 하는 영역을 안내하였다. 또한 우선순위로 분석된 관점, 핵심성과요인, 핵심성과지표는 향후 성과평가를 바탕으로 대학평생교육원 경영 및 평생교육 사업 등에 대한 개선 및 혁신을 할 방법론의 역할을 제공할 것이다.
이상의 결과을 통해 본 연구는 다음과 같은 함의를 도출할 수 있다.
대표적 평생교육기관인 대학평생교육원의 BSC 성과평가모형은 대학평생교육원을 대상으로 개념적이고 실증을 위한 평가도구로 활용할 수 있다. 대학평생교육원의 사회적 책무성 확보 및 대학의 예산 지원과 확산을 위한 객관적 자료를 제공할 수 있는 경영차원 평가도구의 개발이라는 점에서 의미가 있다.
또한, 본 연구의 대학평생교육원의 BSC 성과평가모형과 모형 구성 항목의 상대적 중요도 확인에 의한 가중치 성과평가지표 도출은 대학평생교육원을 비롯한 평생교육기관 평가실무에 중요한 기준을 마련하였다는 데 의의가 있다.

목차 (Table of Contents)

• Ⅰ. 서론 1
• 1. 연구의 필요성 및 목적 1
• 2. 연구 문제 5
• 3. 용어 정의 6
• 4. 연구의 제한점 7
• Ⅱ. 이론적 배경 8
• 1. 대학평생교육원의 가치와 경영 특성 8
• 2. 기관 성과평가와 BSC의 이론적 접근 21
• 3. BSC 성과평가모형 설계 37
• 4. 성과평가모형 개발 방법의 탐구 43
• Ⅲ. 연구 방법 56
• 1. 연구 절차 56
• 2. BSC 성과평가모형 초안 설계 방법 59
• 3. BSC 성과평가모형의 타당화 방법 63
• 4. BSC 성과평가모형의 가중치 산정 방법 67
• Ⅳ. 연구결과 71
• 1. 대학평생교육원의 BSC 성과평가모형 초안 71
• 2. 대학평생교육원의 BSC 성과평가모형 타당화 87
• 3. 대학평생교육원의 BSC 성과평가모형 중요도 산출 124
• Ⅴ. 결론 149
• 1. 요약 149
• 2. 논의 151
• 3. 제언 158
• 참고문헌 161
• 부 록 173
• 1. 전문가 면접 조사 참여자 174
• 2. 전문가 면접 조사 질문지 175
• 3. 델파이 전문가 패널 179
• 4. 1차 델파이 조사 질문지 181
• 5. 2차 델파이 조사 질문지 190
• 6. 가중치 평정 델파이 질문지 199
• 7. 핵심성과지표 산출 방법 207
• Abstract 210

참고문헌 (Reference)

• 1 배호순, "평가모형", 1998
• 2 성은숙, 김희경, "BSC 실천매뉴얼", 2001
• 3 박순창, "미래학의 이해", 청목, 2013
• 4 오혁진, "평생교육경영학", 학지사, 2003
• 5 Kaplan,R.S., "The Balanced Scorecard", 1996
• 6 교육인적자원부, "2004 평생교육백서", 2004
• 7 성은숙, "전략 BSC 성과혁신", 2009
• 8 한국교육개발원, "2006 평생교육 백서", 2006 평생교육백서, 2006
• 9 교육과학기술부, 평생교육진흥원, "2010년 평생교육백서", 2010
• 10 국가평생교육진흥원, "2011?2012 평생교육백서", 2013
• 11 Zahedi, "TheAnalyticHierarchyProcess-", 1986
• 12 권철신, 홍순욱, "리더를 위한 의사결정", 2000
• 13 UNESCO, "Terminology of Adult Education", TerminologyofAdultEducation, 1979
• 14 교육부, 한국교육개발원, "2013 평생교육통계자료집", 2013
• 15 최돈민, "평생교육 지표 개발 연구", 평생교육 지표 개발 연구, 2003
• 16 김용현, "평생교육프로그램개발론", 양서원, 2010
• 17 장원섭, "인적자원개발 : 이론과 실천", 학지사, 2015
• 18 김귀숙, "시·도교육청 평가 준거 개발", 시?도교육청 평가 준거 개발, 2010
• 19 우수명, "TP 사회복지 program 개발과 평가", 인간과복지, 2007
• 20 Saaty, "Decision Making forLeaders.RWS Publishings", 1995
• 21 Norton,D.P., "The Balanced Scorecard-Measures that Drive", 1992
• 22 Lawshe, "A quantitative approach to content validity", A Quantitative Approach to Content Validity, 1975
• 23 Kirkpatrick, "Techniques for evaluating training programs", Techniques for Evaluating Training Programs, 1959
• 24 Gordon, "TheDelphimethodinFuturesResearchMethodology", The DelphiMethod in Futures Research Methodology, 1994
• 25 유현실, "진로상담전문가의 역량모형 개발", 서울대학교 대학원, 서울대학교 대학원 박사학위논문, 2009
• 26 박용성, "AHP에 의한 의사결정 : 이론과 실제", 교우사, 2012
• 27 Tyler, Ralph W, "Basic principles of curriculum and instruction", Chicago University Press, BasicPrinciplesofCurriculum andInstruction, 1971
• 28 Sadler, "The Origins and Functions ofEvaluative Criteria", 1985
• 29 김태환, "지방교육행정기관 평가제도의 평가", 2007
• 30 한상훈, "대학평생교육 발전방안에 관한 연구", 충남대학교 교육발전연구소, "교육발전논총, 2001
• 31 김영준(Kim Young-joon), 라은종(Ra Eun-jong), "교육행정부문의 BSC 적용에 관한 연구", 한국교육행정학회, "교육행정학연구, 2006
• 32 오혁진, "평생교육경영학의 지향점과 연구과제", 한국평생교육학회, "평생교육학연구, 2002
• 33 교육부, "제3차 평생교육진흥기본계획(2013∼2017)", 2013
• 34 Dalkey, "The Delphimethod an experimentalstudy ofgroupopinion", TheDelphiMethod:An ExperimentalStudy ofGroupOpinion, 1969
• 35 배호순, "평가의 원리:교육 프로그램을 중심으로", 1990
• 36 최돈민, "평생교육 기관의 역할과 기능 정비방안", 2013
• 37 권두승(Kwon Doo-Seung), "평생학습도시 사업 평가체제 구축 방안", 2006
• 38 서우종(Suh, Woojong), 홍진원(Hong, Jinwon), "고등교육기관에 대한 BSC 참조 모형 개발", 인하대학교 산업경제연구소, "경상논집, 2010
• 39 김순기, 김봉기, "비영리조직에서의 균형성과표 적용방안", 서강대학교 경영학연구원, "서강경영논총, 2001
• 40 강현수, 조용근, 조근태, "앞서가는 리더들의 계층분석적 의사결정", 2005
• 41 Landeta, "Current Validity of the Delphi Method in SocialSciences", 2006
• 42 권오준, "공공부문 BSC시스템 수용에 관한 실증연구", 단국대학교, 단국대학교 대학원 박사학위논문, 2008
• 43 박민서, "비영리조직에서의 BSC의 적용에 관한 연구", 2008
• 44 변종임(Byun, Jong-Im), 박소연(Park So-Yeon), 이경아(Lee Kyung-Ah), "성인문해교육 지원 사업의 성과 분석 연구", 한국평생교육학회, "평생교육학연구, 2007
• 45 정기수(Jung, Ki Soo), "내부마케팅에 의한 대학평생교육기관 경영", 한국평생교육학회, "평생교육학연구, 2009
• 46 고재윤, 정미란, "소믈리에 자격증 평가항목개발에 관한 연구", 소믈리에 자격증 평가항목 개발에 관한 연구, 2006
• 47 Saaty, "The Analytic Hierarchy Process-What It Is and How It IsUsed", TheAnalyticHierarchyProcess:Whatitisand how itisused, 1987
• 48 Wright, Rowe, Rowe, G., "The DelphiTechnique as a ForecastingTool:Issuesand Analysis", 1999
• 49 임현성, "방과후 학교 프로그램 평가준거 및 도구 개발", 동의대학교 대학원, 동의대학교 대학원 석사학위논문, 2007
• 50 Vargas, "An Overview ofAnalyticHierarchy Processand It‘sApplications", 1990
• 51 Barzliay, Saaty, Vargas, "High LevelDecisions:ALessonfrom theIranHostageRescueOperation", 1982
• 52 Kaplan,R.S., "Using the Balanced Scorecard as a Strategic Management System", 1996
• 53 삼일PwC컨설팅, "정부와 공공부문 BSC:성과관리체계 구축방법론", 2005
• 54 최지희, 조대연, 한숭희, "평생학습 지표개발 및 통계조사체제 수립연구", 2007
• 55 Somers, "Shaping the balanced scorecard for use in UK social enterprise", 2005
• 56 김한별, "마케팅 개념에 의한 평생교육 참여현상의 이해", 한국성인교육학회, "AndragogyToday, 2007
• 57 Norton, Kaplan, "Strategy Map:Converting IntangibleAssets into Tangible Outcomes", 2004
• 58 이규영, "대학 부설 평생교육원 프로그램 평가 도구 개발", 한국평생교육학회, "평생교육학연구, 2004
• 59 박혜영, "평생학습도시 교육사업의 통합적 성가평가모형", 2009
• 60 박혜영, 박혜영, "평생학습도시 교육사업의 통합적 성과평가모형", 고려대학교 대학원, "박사학위 논문, 2009
• 61 성도경, 장철영, 이지영, "BSC 관점에서의 지역정보화 성과평가에 관한연구", 2008
• 62 Niven, "Balanced Scorecard Step by Step: Maximizing andMaintainingResult", 2002
• 63 최운실(Choi Un-shil), 정민승(Jung Min-Seung), "평생교육기관에서의 학습성과에 대한 질적 분석", 한국평생교육학회, "평생교육학연구, 2007
• 64 Denzin, "The Research Act: A Theoretical Introduction toSociologicalMethod", 1970
• 65 최윤미, "비지니스 영어 평가내용 개발을 위한 델파이연구", 2001
• 66 이장익, "평생교육기관 경영전략분석에 관한 SWOT 조사연구", 한국성인교육학회, "AndragogyToday, 2006
• 67 김동주, 나운환, "장애인직업재활시설의 경영성과평가에 관한 연구", 2007
• 68 김병태, "BSC를 활용한 출연연구기관 기관평가제도의 유효성", 2007
• 69 이만표, "경인지역 평생교육기관의 경영특성과 성과의 관계", 2003
• 70 김애련, 김애련, "대학평생교육원 성인학습자의 학습성과 인식 연구", 단국대학교 대학원, "평생교육학연구, 2004
• 71 현영섭, 홍영란, "한국의 평생학습지도:KEDI평생교육통계를 중심으로", 2009
• 72 권오경 ( Oh Kyoung Kwon ) , 방희석(Heeseok Bang), "BSC를 활용한 물류기업간 제휴성과에 관한 실증연구", 한국해운물류학회 (구 한국해운학회), BSC를 활용한 물류기업간 제휴성과에 관한 실증연구, 2009
• 73 권대봉, 김희동, 김재현, 이윤수, "대학 부설 평생교육원 담당자의 직무역량 요구분석", 한국방송통신대학교 원격교육연구소, "평생학습사회, 2013
• 74 서대석, "대학 행정지원부문에서의 BSC 도입방안에 관한 연구", 嶺南大學校社會科學硏究所, "사회과학연구, 2002
• 75 Scriven, "The Methodology of Evaluation.In R.E.Stake(Ed.).Curriculum evaluation", 1967
• 76 Stufflebeam, "The CIPP Model for Evaluation In D. L.Stufflebeam & T. Kellaghan(Eds.)", 2003
• 77 Olve, Nils-Go@an, "Performance drivers : a practical guide to using the balanced scorecard", J. Wiley, 1999
• 78 박민서, "비영리조직에서의 BSC(균형성과표)의 적용에 관한 연구", 2008
• 79 전주성, 오혁진, "성인교육 프로그램 질에 대한 학습자의 평가준거 연구", 한국평생교육학회, "평생교육학연구, 2003
• 80 김은희(金銀嬉), "장애인 복지기관의 BSC 성과평가모형 개발에 관한 연구", 한국정책과학학회, "한국정책과학학회보, 2010
• 81 이충렬, 서희정, 윤명희, 박재국, 김영미, "부산지역 대학 평생교육원의 운영 실태 및 활성화 방안", 숭실대학교 한국평생교육 · HRD연구소, "평생교육?HRD 연구, 2009
• 82 임지연, "청소년활동 프로그램의 논리주도적 평가준거체제 개발", 고려대학교 대학원, 고려대학교 대학원 박사학위논문, 2006
• 83 윤여송, 윤여송, "전문대학교의 성공요인과 BSC적용 성과관리에 관한 고찰", 서울시립대학교 경영대학원, 2011
• 84 김대관 ( Dea Kwan Kim ) , 박양우 ( Yang Woo Park ), 김학준 ( Hak Jun Kim ) , "BSC를 활용한 서울시내 특1급 호텔의 KPI 개발에 관한 연구", 한국호텔외식경영학회, 2009
• 85 윤여각, "평생교육의 활성화를 위한 고등교육 체제 개혁 방안 연구", 2000
• 86 김영환, "균형성과표를 활용한 공공병원의 성과관리 모형개발 연구", 순천향대학교 일반대학원, 순천향대학교 대학원 박사학위논문, 2006
• 87 변영훈, "공무원이 지각한 교육청 BSC 성과관리제도 운영에 관한 연구", 2009
• 88 최진용, "BSC(균형성과표)운영개선 방안연구:경기도 교육청을 중심으로", 2012
• 89 김경화(Kim Kyung-Hwa), "평생교육기관의 사업성과 평가시스템 개발 및 운영방안 연구", 한국교육행정학회, "교육행정학연구, 2005
• 90 천무영, "학교정보화사업의 BSC 평가모형 개발과 성과분석에 관한 연구", 2011
• 91 이봉섭, "평가모형에 기반한 보험전문직 계속교육의 변천과정 사례연구", 중앙대학교 대학원, 중앙대학교 대학원 박사학위논문, 2010
• 92 이윤재, "외항선사의 효율적인 전략관리를 위한 BSC의 유용성에 관한연구", 2007
• 93 곽승진, Kim, Hwan-Min, Choi, Jae-Hwang, Kwak, Seung-Jin, 김환민, 최재황, "BSC를 이용한 학술정보 유통기관의 성과지표 개발 및 중요도 분석", 한국문헌정보학회, 2007
• 94 서희정, "평생교육기관 성과평가를 위한 균형성과표(BSC)의 적용 가능성 탐색", 2013
• 95 김대들, 이찬주, 이병욱, "CIPP 평가모형을 활용한 시ㆍ도교육청 직업교육 발전 방안 분석 연구", 2011
• 96 이정원, "R&D 평가시스템 이론적 체계 구축 및 적용방안에 관한 연구.정책연구", 2000
• 97 권두승(Kwon Doo-Seung), "평생교육기관 이미지 측정모델 개발 및 평생교육기관간 이미지 비교", 한국평생교육학회, "평생교육학연구, 2006
• 98 한홍련, "CIPP평가모형 적용을 통한 중학교 방과후학교 프로그램 평가지표 개발", 2011
• 99 전화춘, "초등학교 특별보충과정 프로그램 평가척도 개발:CIPP 평가모형의 적용", 2009
• 100 Davis, Grant, "Focus on quantitative methods: Selection and use ofcontent experts for instrument development", 1997
• 101 유희성, "BSC 성과관리제도의 수용성 제고 방안 연구:충청남도 교육청을 중심으로", 2011
• 102 송해덕, 신서경, "BSC관점에서 과학기술계 정부출연연구교육기관 성과측정 평가체계 개발", 숭실대학교 한국평생교육 · HRD연구소, 2010
• 103 최홍선, "평생학습 중심대학의 성과 분석을 통한 대학의 평생학습체제 전환 방안", 광운대학교, 평생학습 중심대학의 성과 분석을 통한 대학의 평생학습체제전환 방안, 2011
• 104 양병찬, "영국의 대학확장 연구:대학사회교육 이념 형성과 제도화 과정을 중심으로", 1997
• 105 김병규, 이곤수, "사회적 위험과 위기대응적 사회정책의 평가:AHP를이용한 상대적 중요도 분석", 2010
• 106 최종철, "성인학습자 관점에 기초한 사이버대학 교육프로그램 평가준거 개발 및 적용", 홍익대학교 대학원, 성인학습자 관점에 기초한 사이버대학 교육프로그램 평가준거개발 및 적용, 2008
• 107 Rowe, "ExpertOpinionsin Forecasting:TheRoleof the Delphi Technique in J. Armstrong (Ed.) Principles ofForecasting", 2001
• 108 김경희, "평생교육기관의 교육서비스질과 학습자만족에 영향을 미치는 마케팅 요인 분석", 2008
• 109 현영섭 ( Young Sup Hyun ), 권대봉 ( Dae Bong Kwon ), "평생교육기관 종사자 대상의 델파이 조사에 기초한 평생교육기관 경영의 변화 동향", 한국인력개발학회, 2007
• 110 오진희, "교육행정의 성과관리시스템 연계운영 방안에 관한 연구:부산광역시 교육청을 중심으로", 부경대학교 행정학과, 부경대학교 대학원 석사학위논문, 2008
• 111 류세은, 노유진, "AHP를 활용한 학술연구조성사업 발전 방향에 관한 연구:이공계분야 기초연구지원을 중심으로", 2007
• 112 권두승, 이희수, 양병찬, "제3차 평생교육포럼ㆍ제4차 평생교육정책포럼평생학습도시 발전을 위한 지원시스템 체계화 전략", 2006
• 113 장석인, "BSC의 비재무적 관점이 재무적 관점에 미치는 영향에 관한 실증적 연구 -경기지역 제조업을 중심으로", 한국인적자원관리학회, 2010
• 114 김동주, "장애인 직업재활시설의 경영성과평가에 관한 연구-균형성과표(BSC)와 계층분석적(AHP) 접근을 중심으로", 장애인직업재활시설의 경영성과평가에 관한 연구:균형성과표(BSC)와 계층분석적(AHP)접근을 중심으로, 2007
• 115 김진화, "2007년도 한국평생교육학회 하계학술연차대회 자료집:정착기 한국 평생교육의 발전과 과제(2000년 이후)", 2007
• 116 Caralli, "The Critical Success Factor Method: Establishing aFoundation for Enterprise Security Management. Carnegie MellonSoftwareEngineeringInstitute", 2004