정책 수혜자 관점의 국가연구개발사업 성과평가제도 설계 고찰 : 정책 수용성과 환류효과를 중심으로

다국어 초록 (Multilingual Abstract)

The purpose of supporting national R&D programs is to contribute to the enhancement of science and technology capacities, the advancement of national industries, and economic revitalization by making an upfront investment in science and technology, which have high risks and uncertainties. As of 2018, the budget for national R&D programs is KRW 19.6 trillion, fourth largest in the world, and the ratio of investment to GDP ranked no. 1 around the world with the high investment intensity.
With an increasing demand for improving the effectiveness of national R&D programs, the Korean government has exerted great efforts to improve the effectiveness by implementing a reinforced performance evaluation system for national R&D programs since 2005. Nevertheless, the current performance evaluation system has limitations, such as provider-centered evaluation, the use of uniform evaluation criteria and limited performance evaluation indicators that do not reflect the characteristics of projects to be evaluated, and the lack of linkage between evaluation outcomes and budget allocation and adjustment, resulting in controversy over the policy effectiveness of the performance evaluation system.
Unlike existing research, which mostly focused on improving the laws and systems, the performance evaluation process, and the promotion system from the perspective of policy providers, this study analyzed the effects of the appropriacy of the components of the performance evaluation system on the acceptance of evaluation outcomes and feedback activities from the viewpoint of policy beneficiaries. In addition, it analyzed which feedback activities had contributed to improving the achievement of the goals, improving performance, and budget allocation efficiency of national R&D programs, based on which, effective measures to increase the policy effectiveness of the evaluation system were suggested. For this study, an explanatory design method was utilized among other mixed research methods where quantitative analysis and complementary qualitative analysis are performed. For an empirical analysis of the policy effectiveness of the evaluation system, a survey was conducted with performance evaluation beneficiaries including project managers of dedicated organizations, corporations, universities, and government-funded research institutes by utilizing binary and ordered logit models. In addition, in-depth interviews were conducted with policy providers and beneficiaries such as governments, dedicated organizations, corporations, universities, and government-funded research institutes in order to supplement the specificity of the results of the empirical analysis and obtain credibility. The major analysis results of this study are as follows:
First, when it comes to the effects of the appropriacy of the components, which include 15 sub-items of each of the four stages of the performance evaluation system, on the acceptance of evaluation outcomes, the evaluation committee, period and duration, outcomes, reports, etc. showed positive effects on the acceptance of evaluation outcomes, while evaluation preparation had a negative effect. In particular, the organization of the evaluation committee equipped with expertise was a critical factor that determined the success of the implementation of the evaluation system and the reliability of evaluation outcomes, having the most significant effect on the acceptance of evaluation outcomes, while the item of evaluation preparation showed the most negative effect due to excessive workload during the process of evaluation preparation, tight evaluation schedule, etc. As a result of analyzing the effects of the detailed items of each stage consisting of the performance evaluation system(plan, input, process, and output) on the acceptance, the evaluation criteria was the key component having a positive effect on the stage of plan; the evaluation committee and period and duration on the stage of input; the linkage between evaluation processes on the stage of process; and the evaluation outcomes and outcome adjustment on the stage of output. Since such results were consistent with the limitations of the performance evaluation system revealed through the literature review and the analysis of preceding research, the results of the empirical analysis can be considered valid.
Second, as a result of analyzing the effects of the acceptance of evaluation outcomes on feedback activities at each stage of the national R&D programs, it was revealed that acceptance had a very high positive effect at all stages. In addition, the analysis of the effects of the evaluation system components on the feedback activities at each stage found that the evaluation committee, fairness of evaluation, the linkage between the evaluation processes, and evaluation reports showed positive effects. Based on the results, it can be considered that fairness in the implementation of the performance evaluation system and credibility of evaluation outcomes improve the acceptance and encourage active feedback activities to enhance national R&D programs.
Third, the analysis on the effects of the reflection levels of the evaluation outcomes’ feedback activities on the improvement of the performance of national R&D programs found that the reflection levels of the input, process, and output stages showed positive effects on the improvement of project performance; the reflection level of the input stage on the improvement of budget allocation efficiency; and the reflection levels of the plan, process, and output stages on the improvement of goal achievement. Given that the improvement of the performance of national R&D programs was achieved by inputting appropriate budget, promoting systematic management, and carrying out activities to achieve goals and excellent performance, it is considered that proper reflection through feedback activities on the improvement of national R&D programs derived from performance evaluation has critical effects on increasing policy effectiveness through the improvement of the performance of national R&D programs. Based on the above analysis results, it was revealed that the appropriacy of the implementation of the performance evaluation system has a decisive influence on the acceptance of evaluation outcomes and feedback activities, ultimately contributing to increasing the effectiveness through the improvement of the performance of national R&D programs.
In-depth interviews were conducted in order to increase the specificity and reliability of the empirical analysis results and explore effective measures to improve the current performance evaluation system. As a result of the interviews, the experts provided specific solutions to improve the performance evaluation system: implementing the evaluation system by establishing an evaluation index system that reflects project characteristics in order to avoid uniform evaluation; transforming the performance evaluation system from the current quantitative indicator-based evaluation method to multi-faceted evaluation including qualitative evaluation by experts; evaluating the performance for a mid to long-term, instead of immediate performance; varying the evaluation preparation and period according to project size; adjusting the evaluation period for sufficient investigation and verification; promoting a range of institutional improvement and support policies to enhance the expertise of the performance evaluation committee; facilitating the linkage between self-evaluation and meta-evaluation to improve the credibility of performance evaluation outcomes; strengthening the linkage between actual performance evaluation outcomes and budget allocation and adjustment; introducing various incentives to expand the use of performance evaluation outcomes; establishing the evaluation direction by taking the global trends and internal and external environmental changes into account; and analyzing the causes of success as well as failure and reinforcing feedback.
The theoretical and political implications of this study derived from the results of the multi-angled analyses such as literature review, empirical analysis, and in-depth interviews are as follows: As for the theoretical implications, this study investigated the effectiveness of the performance evaluation system centering on how much the system had contributed to the general improvement of the performance of national R&D programs from the perspective of policy evaluation, and the empirical analysis revealed that the level of reflection on the process of feedbacking the evaluation outcomes can vary according to the acceptance of the policy implementation outcomes. In addition, the feedback of the policy evaluation process was set as a medium in order to increase the reliability of the diagnosis of the linkage between the evaluation system and the performance of national R&D programs, discovering the implication that the reflection level of the feedback affected the improvement of the performance of national R&D programs. This study also enhanced the sophistication of meta evaluation research on the performance evaluation system for national R&D programs by drawing the conclusion that the components of each stage of the evaluation system have effects on the appropriacy and acceptance of the performance evaluation system. The political implications of this study include improving the uniform evaluation indicators of the current system; exploring ways to increase appropriacy such as the expertise of the evaluation committee; enhancing the acceptance of evaluation outcomes by strengthening the linkage between the evaluation outcomes; reinforcing institutional complementation to strengthen the effective linkage between performance evaluation outcomes and budgets allocations; introducing evaluation methods to separate short-term and mid and long-term performance by transforming the current immediate performance-focused evaluation method; improving the system by changing the process of evaluation preparation and response to a customer-oriented system in order to reduce excessive workload; and diagnosing the exact policy effects of the performance evaluation system for national R&D programs and establishing a monitoring system for continuous improvement.

국문 초록 (Abstract)

국가연구개발사업 지원목적은 위험성과 불확실성이 높은 과학기술영역에 선행투자를 통한 과학기술 역량강화, 국가 산업 고도화 및 경제 활성화에 기여함에 있다. 국가연구개발사업 예산은 2018년 기준 19.6조 규모로 세계 4위이고, GDP 대비 투자 비중은 세계 1위를 차지할 정도로 높은 투자집중도를 보이고 있다.
이에 국가연구개발사업 효과성 제고에 대한 요구가 지속적으로 증대됨에 따라 정부는 2005년 이후 강화된 국가연구개발사업 성과평가제도 시행을 통한 국가연구개발사업 효과성 제고에 많은 노력을 기울여 왔다. 그럼에도 불구하고 현행 국가연구개발사업 성과평가제도는 공급자 중심 평가, 평가대상 사업특성을 반영하지 못한 획일적인 평가기준 및 한정된 성과평가 지표 활용, 평가결과와 예산배분 및 조정 간 연계미흡 등의 한계점으로 인해 성과평가제도의 정책효과에 대한 논란이 지속되고 있는 실정이다.
본 연구에서는 기존 선행연구가 주로 정책 공급자 관점에서 법·제도, 성과평가 프로세스 및 추진체계 개선에 중점을 둔 것과 차별화하여 정책 수혜자 관점에서 성과평가제도 구성요소의 적절성이 성과평가 결과에 대한 수용성 및 환류활동에 미치는 영향에 대해 분석하였다. 또한 어떠한 환류활동이 국가연구개발사업 목표 달성도 향상, 성과제고, 예산 배분 효율성을 높이는데 기여했는지에 관해 분석하였으며, 이를 기반으로 국가연구개발사업 성과평가제도의 정책 효과성을 높일 수 있는 실효적 방안에 대해 제안하였다. 본 연구를 위해 양적분석 결과와 이에 대한 보완적 설명을 위한 질적분석이 추가된 혼합연구방법 유형 중 설명적 설계방법을 사용하였다.
국가연구개발사업 성과평가제도 정책 효과성에 대한 실증분석을 위해 전담기관 사업담당자, 기업, 대학, 정부출연연구소 등 성과평가 수혜자를 대상으로 설문조사를 실시하였으며, 이항 로짓 모형 및 순서형 로짓 모형을 활용하여 분석을 수행하였다. 또한 도출된 실증 분석결과의 구체성을 보완하고 신뢰도를 확보하기 위해 정부, 전담기관, 기업, 대학, 정부출연연구소 등 정책공급자 및 정책수혜자를 대상으로 한 전문가 심층인터뷰를 실시하였다. 본 연구의 주요 분석결과는 다음과 같다.
첫째, 성과평가제도 4개 단계 별 15개 세부항목 등 구성요소의 적절성이 성과평가 결과 수용성에 미치는 영향에 대해서는 평가위원회, 평가시기 및 기간, 평가결과, 평가보고 등이 성과평가 결과의 수용성에 긍정적인 영향을 미치는 반면, 평가준비는 부정적인 영향을 미치는 것으로 나타났다. 특히 전문성이 확보된 평가위원회 구성은 성과평가제도 시행의 성공여부 및 성과평가 결과의 신뢰성을 결정짓는 매우 중요한 요인으로 성과평가 결과 수용성에 가장 큰 영향을 미치는 구성요소인 반면, 평가준비 항목은 성과평가 준비과정의 과도한 업무량, 촉박한 평가일정 등으로 인해 부정적 영향을 크게 미치는 구성요소인 것으로 나타났다. 성과평가제도를 구성하는 각 단계 별(기획, 투입, 과정, 결과) 세부항목이 수용성에 미치는 영향에 대한 분석 결과, 기획단계에서는 평가지표, 투입단계에서는 평가위원회, 평가시기 및 기간, 과정단계에서는 평가과정 간 연계성, 결과단계에서는 평가결과, 평가결과 조정 등이 긍정적 영향을 미치는 핵심 구성요소로 나타나, 문헌분석 및 선행연구 분석을 통해 나타난 성과평가제도의 한계점과 일치하는 경향을 보여 타당한 실증분석 결과가 도출되었다.
둘째, 성과평가 결과 수용성이 국가연구개발사업 각 단계 별(기획, 투입, 과정, 결과) 환류활동에 미치는 영향에 대한 분석결과, 모든 단계에서 평가결과의 수용성이 매우 높은 긍정적 영향을 미치는 것으로 나타났다. 또한 성과평가제도 구성요소가 각 단계 별 환류활동에 미치는 영향에 대한 분석에서는 평가위원회, 평가공정성, 평가과정 간 연계성, 평가보고 등이 긍정적인 영향을 높게 미치는 구성요소로 나타났다. 이는 성과평가제도 시행의 공정성 및 평가결과에 대한 신뢰도가 수용성을 높이고, 국가연구개발사업 개선을 위한 적극적인 환류활동을 유인하는 결과가 반영된 것으로 볼 수 있다.
셋째, 성과평가 결과의 환류활동 반영도가 국가연구개발사업 성과제고에 미치는 영향에 대한 분석결과, 사업성과 제고에서는 투입, 과정, 결과단계 반영도가, 예산배분 효율성 증대에서는 투입단계 반영도가, 목표달성 향상도에서는 기획, 과정, 결과단계 반영도가 긍정적인 영향을 미치는 것으로 나타났다. 국가연구개발사업 성과제고가 적정 예산을 투입하고 체계적 관리를 추진하며, 목표달성 및 우수성과가 창출되기 위한 활동이 복합적으로 적절하게 이루어진 결과임을 볼 때, 성과평가 결과 도출된 국가연구개발사업의 개선사항에 대해 환류활동을 통한 적절한 반영이 국가연구개발사업 성과제고를 통한 정책 효과성을 높이는데 중요한 영향을 미치는 것으로 나타났다. 이상의 분석결과를 기반으로 볼 때, 성과평가제도 시행의 적절성이 평가결과 수용성 및 환류활동에 결정적인 영향을 미치며 궁극적으로 국가연구개발사업의 성과제고를 통한 효과성을 높이는데 기여하고 있음을 알 수 있었다.
실증분석 결과에 대한 구체성 및 신뢰도를 높이고 현행 성과평가제도의 실효적인 개선방안을 도출하기 위해 전문가 심층인터뷰를 추진하였다. 인터뷰 결과, 전문가들은 획일적 평가를 탈피하기 위해 사업특성을 반영한 평가지표체계 구축을 통한 성과평가 시행, 정량적 지표중심 평가에서 전문가 정성적 평가를 포함한 다면평가로의 성과평가제도 방식 전환, 즉시 창출 성과에서 중장기 파급성과 중심으로의 평가, 사업규모에 따른 평가준비 및 평가기간 차별화, 충분한 성과조사 및 검증기간 부여를 위한 성과평가 시기 조정, 성과평가 평가위원회의 전문성을 높일 수 있는 다양한 제도적 개선 및 지원정책 추진, 성과평가 결과 신뢰도 향상을 위한 자체평가와 상위평가 간 연계 활성화, 실질적인 성과평가 결과와 예산 배분 및 조정 간 연계성 강화, 성과평가 결과 활용 확대를 위한 다양한 인센티브제도 도입, 글로벌 트렌트 및 대내외 환경변화를 고려한 평가방향성 설정, 성공요인과 더불어 실패요인에 대한 분석 및 환류 강화 등 성과평가제도 개선에 대한 구체적인 의견을 개진하였다.
본 연구에서 문헌분석, 실증분석, 전문가 심층인터뷰 등 다각적인 분석결과를 기반으로 도출된 이론적 함의와 정책적 함의는 다음과 같다. 먼저 본 연구의 이론적 함의는 성과평가제도 시행이 국가연구개발사업의 전반적인 성과제고에 기여한 정도를 중심으로 성과평가제도의 효과성을 살펴본 정책평가 관점에서 이루어졌고, 정책시행 결과의 수용성 정도에 따라 성과평가결과 환류과정에 대한 반영도가 달라질 수 있음을 실증분석 결과로 도출하였다. 또한 성과평가제도와 국가연구개발사업 성과 간 연계성 진단에 대한 신뢰도를 높이기 위해 정책평가 과정의 환류를 매개로 설정하여 환류 반영도가 국가연구개발사업 성과 제고에 영향을 미쳤다는 함의를 발굴했으며, 성과평가제도 각 단계 별 구성요소가 성과평가제도 적절성 및 수용성에 미친 영향에 대한 결과를 도출하여 국가연구개발사업 성과평가제도 관련 메타평가연구의 정교함을 높였다. 정책적 함의로는 현행 성과평가제도의 획일적인 평가지표에 대한 개선, 평가위원회 전문성 등 적절성을 높이기 위한 방안모색, 평가결과 간 연계성 강화를 통한 성과평가 결과의 수용성 제고, 성과평가 결과와 예산 반영의 실효적 연계강화를 위한 제도적 보완 강화, 현행 단기성과 위주의 성과평가에서 단기성과와 중장기적 성과로 이원화하는 평가 방안 도입, 성과평가 준비과정 및 대응과정에서의 과도한 업무량 저감을 위한 수요자 관점의 제도개선, 국가연구개발사업 성과평가제도의 정확한 정책효과를 진단하고 지속적인 개선을 이루기 위한 모니터링 체계 구축 등을 도출하였다.

목차 (Table of Contents)

• 제1장 서 론 1
• 제1절 연구의 의의 1
• 1. 연구 배경 1
• 2. 연구 목적 3
• 제2절 연구범위 및 방법 6
• 1. 연구 범위 6
• 2. 연구 방법 7
• 제3절 성과평가제도 개선에 관한 선행연구 10
• 제2장 이론적 고찰 15
• 제1절 국가연구개발사업 성과평가제도 이론적 논의 15
• 1. 국가연구개발사업 유형 및 특징 15
• 2. 국가연구개발사업 성과평가제도 개념 및 특징 22
• 3. 국가연구개발사업 성과평가제도 운영 현황 26
• 4. 국가연구개발사업 성과평가제도 한계점 31
• 제2절 국가연구개발사업 성과평가제도 효과성에 관한 논의 39
• 1. 정책평가와 효과성 간의 관계 39
• 2. 국가연구개발사업 성과평가제도에서의 효과성 42
• 제3절 국가연구개발사업 성과평가제도 수용성과 환류효과 44
• 1. 국가연구개발사업 성과평가제도에서의 수용성 44
• 2. 정책평가 과정에서의 환류 46
• 3. 국가연구개발사업 성과평가제도에서의 환류 효과 48
• 제4절 국가연구개발사업 성과평가제도 구성요소에 관한 논의 50
• 1. 메타평가 논리모형 설정에 관한 논의 50
• 2. 메타평가 논리모형에 따른 구성요소 설계 53
• 제3장 연구 설계 57
• 제1절 연구 모형 57
• 1. 연구의 흐름 57
• 2. 분석틀 61
• 3. 연구 가설 65
• 4. 변수의 개념 및 구성 70
• 제2절 연구 방법론 76
• 1. 자료수집 방법 및 설문지 구성 76
• 2. 분석방법 79
• 3. 분석 절차 83
• 제4장 분석결과 85
• 제1절 실증적 분석결과 85
• 1. 성과평가제도 적절성이 성과평가결과 수용성에 미치는 영향요인 분석 85
• 2. 성과평가 결과 환류과정에 미치는 영향요인 분석 110
• 3. 환류가 국가연구개발사업 성과 제고에 미치는 영향요인 분석 124
• 제2절 실증적 분석결과 종합 132
• 제5장 전문가 심층인터뷰 결과 136
• 제1절 전문가 심층인터뷰 추진 현황 136
• 제2절 전문가 심층인터뷰 추진 결과 139
• 제6장 결론 156
• 제1절 연구의 요약 156
• 제2절 연구의 함의 161
• 1. 이론적 함의 161
• 2. 정책적 함의 165
• 제3절 연구의 한계 및 후속연구 제언 174
• 참고문헌 176
• 부 록 190
• ABSTRACT 200

참고문헌 (Reference)

• 1 최봉기, "정책학", 서울: 박영사, 2004
• 2 류지성, "정책학", 서울: 대영문화사, 2007
• 3 과학기술부., "과학기술부", 공공 R&D 프로그램 평가제도 국제비교연구, 2006
• 4 기획재정부, "기획재정부", 년도 예산안 편성 및 기금운용계획안 작성 세부지침, 2018
• 5 법제처, "법제처(http://www", moleg.go.kr), null
• 6 김명수, "공공정책평가론", 서울: 박영사, 2003
• 7 박성민, 유민봉, "한국인사행정론", 경기: 박영사, 2013
• 8 남궁근, "행정조사방법론", 법문사, 2010
• 9 이용준, "공공부문사업평가", 국회예산정책처, 2005
• 10 이광희, 홍은경, "정책평가 우수사례", 한국행정연구원, 2004
• 11 과학기술정보통신부. 제4차 과학기술기본계획, "과학기술정보통신부", 제4차 과학기술기본계획~2022), 2018
• 12 과학기술정보통신부, "과학기술정보통신부", 년 국가연구개발 성과평가 실시계획, 2014
• 13 과학기술정보통신부, "과학기술정보통신부", 년 국가연구개발 성과평가 실시계획, 2015
• 14 과학기술정보통신부, "과학기술정보통신부", 년 국가연구개발 성과평가 실시계획, 2016
• 15 과학기술정보통신부., "과학기술정보통신부", 년 국가연구개발 성과평가 실시계획, 2017
• 16 과학기술정보통신부, "과학기술정보통신부", 년도 정부연구개발 투자방향 및 기준, 2019
• 17 과학기술정보통신부, "과학기술정보통신부", 년 NTIS 국가연구개발사업 성과 검증 매뉴얼, 2018
• 18 과학기술정보통신부. 제2차 국가연구개발 성과평가 기본계획, "과학기술정보통신부", 제2차 국가연구개발 성과평가 기본계획~2015), 2011
• 19 과학기술정보통신부. 제3차 국가연구개발 성과평가 기본계획, "과학기술정보통신부", 제3차 국가연구개발 성과평가 기본계획~2020), 2016
• 20 과학기술정보통신부, "과학기술정보통신부", 국가연구개발사업 표준 성과지표 가이드라인, null
• 21 국가과학기술연구회., "국가과학기술연구회", 융합연구단 평가방법론 개발, 2015
• 22 국가과학기술연구회., "국가과학기술연구회", 연구개발 성과평가 개선방안 연구, 2011
• 23 국가과학기술연구회., "국가과학기술연구회", 출연연 연구성과 질적 분석방법 개발, 2016
• 24 한국산업기술평가원., "한국산업기술평가원", R&D 성과평가 국내외 연구사례 및 개선방안, 2008
• 25 민성희, 이성우, 윤성도, 박지영, "로짓 프라빗 모형 응용", 박영사, 2005
• 26 한국과학기술기획평가원., "한국과학기술기획평가원", 국가 과학기술 성과 50년 미래 50년, 2016
• 27 김형진, 한인섭, "평가결과 활용의 영향요인 탐색", 정책분석평가학회보 21(2): 129-157, 2011
• 28 심선우, 임현, "국내 R&D사업 기획 현황 및 시사점", 한국과학기술기획평가원, 2015
• 29 박영창, "저출산 관련 정책평가 및 입법과제", 한국법제연구원, 2005
• 30 김주일, 한웅용, "2018년도 정부연구개발예산 현황분석", 한국과학기술기획평가원, 2018
• 31 류영수, "연구개발 정책의 효과성에 관한 연구", 한국과학기술기획평가원, 2013
• 32 국가과학기술지식정보서비스, "국가과학기술지식정보서비스(http://www", ntis.go.kr), null
• 33 이윤식, "우리나라 정책평가체계의 현안과 과제", 사회과학논총 6(2): 39-68, 2004
• 34 신범철, "정부 R&D 지원체계의 문제점과 개선방안", 감사논집 제26호, 2016
• 35 강희우, 오영민, 박한준, 권남호, "재정성과평가제도 환류방안에 관한 연구", 한 국조세재정연구원, 2018
• 36 박종수, "정보화사업 메타평가모형의 설계와 적용", 충남대학교 박사학위논문, 2003
• 37 김병철, "공공기관평가에 대한 메타평가 모형 개발", 정책개발연구 11(2). 1-28, 2011
• 38 박천오, "참여정부 인사개혁에 대한 공무원 수용도", 한국행정연구 15(2): 3-28, 2006
• 39 엄익천, "정부연구개발예산의 결정요인에 관한 연구", 국민대학교 박사학위논문, 2011
• 40 박해육, 최정우, 장혜윤, "성과정보 활용의 영향요인에 관한 실증분석", 지방행 정연구 27(3): 353-384, 2013
• 41 강영걸, 김효선, "인사고과의 공정성이 수용도에 미치는 영향", 경영교육논총 63: 91-115, 2010
• 42 최준혁, "혼합적 연구방법을 활용한 상황분석의 일례", 홍보학연구 18(4): 169-186, 2014
• 43 류영수, "기술영향평가의 메타평가 모형 개발 및 적용", 한양대학교 박사학위 논문, 2007
• 44 김종운, "국가연구개발사업 평가제도에 관한 비교연구", 호서대학교 석사학위 논문, 2012
• 45 이재훈, "이나래.연구자 중심 R&D 제도혁신 방향과 과제", 한국과학기술기획 평가원, 2017
• 46 김소영, "IMF 외환위기 실업자 직업훈련정책 효과성 분석", 숙명여자대학교 박사학위논문, 2019
• 47 강근복, "정책분석 및 평가에서의 양적질적 연구의 혼합", 한국정책분석학회 19(4): 43-67, 2009
• 48 홍형득, "국가연구개발사업의 메타평가에 관한 실증연구", 한국행정논집 14(4), 2000
• 49 이민형, 장필성, "Post-PBS 시대의 새로운 연구개발정책 방향과 과제", 과학기 술정책연구원, 2018
• 50 박노욱, 원종학, 오영민, "재정성과관리제도 운영의 성과 분석과 정책과제", 한 국조세재정연구원, 2015
• 51 오영민, 이삼열, 이광희, 오윤섭, "우리나라 정부성과평가제도에 대한 메타평가 연구", 한국조세재정연구원, 2017
• 52 강문상, 박석종, "정부 R&D예산 편성의 전략성 제고를 위한 혁신 과제", 한국 과학기술기획평가원, 2018
• 53 구만수, "가구특성을 고려한 주택구입자금 대출에 관한 분석", 영산대학교 박 사학위논문, 2014
• 54 허범, "정책의 수용성과 행정의 민주화. 현대사회 , 겨울호", 현대사회연구소, 1982
• 55 노화준, "정책평가론: 프로그램성과와 정책혁신의 효과 평가", 서울: 법문사, 2008
• 56 남창우, 이명숙, "공공부문의 BSC 수용성 및 조직성과의 영향요인 분석", 한국 행정학보 42(3): 165-190, 2008
• 57 강황묵, "경상북도 출자출연기관 경영평가제도에 대한 메타평가", 한국정부학 회 학술발표논문집 35-56, 2015
• 58 심준섭, "정책분석평가의 다각화: 양적 방법과 질적 방법의 결합", 정책분석평 가학회보 29(2): 143-166, 2019
• 59 이상현, 정상기, "국가 연구개발 성과에 대한 질적 평가 고도화 기반 연구", 한 국과학기술기획평가원, 2017
• 60 홍형득, "성과관리와 정책평가 연구의 특성에 관한 네트워크분석", 정책분석평 가학회보 21(3): 39-59, 2011
• 61 김민경, "농가의 정보접근성이 농축산물 판매액에 미치는 영향 분석", 서울대 학교 석사학위논문, 2016
• 62 이석환, 조주연, "성과평가제도의 수용성에 영향을 미치는 요인에 대한 연구", 한국사회와 행정연구 20(4): 269-291, 2010
• 63 고용수, "창의성과 자율성 중심의 국가연구개발 성과평가 혁신 방향", 한국과 학기술기획평가원, 2018
• 64 이석원, "공공사업의 객관적 효과성 측정을 위한 실험적 평가 방법론", 한국정 책학회보 30(0): 29-31, 2012
• 65 박동배, 황용수, "국가연구개발사업의 예산과 정책목표. 과학기술정책연구원", 정책연구 1995-23, 1995
• 66 강윤호, "성과주의 예산제도의 평가와 그 결과에 영향을 미치는 요인", 한국거 버넌스학회보 14(2): 291-323, 2007
• 67 권보경, 홍성주, 이명화, 양승우, "연구성과 평가법제 분석 및 개선방안. 과학기 술정책연구원", 정책연구 2014-01, 2014
• 68 강문상, 강성배, "국가연구개발사업 평가결과가 예산결정에 미치는 영향 분석", 기술혁신학회지 18(4): 539-560, 2015
• 69 배정회, 정선양, "성지은.한국의 국가연구개발 성과평가(1999~2013) 전개와 특 징", 기술혁신연구 22(4): 165-198, 2014
• 70 김재근, "수질오염총량관리제의 정책수용성 분석: 광주시를 중심으로", 성균관 대학교 석사학위논문, 2007
• 71 조현대, "국가연구개발 정성평가 현황과 발전방향. 과학기술정책연구원", 정책 연구 2015-25, 2015
• 72 한미경, "국가연구개발사업에 대한 메타평가 연구. 과학기술정책연구원", 정책 연구 2006-05, 2006
• 73 강준의, 김인동, 구본장, "BSC에 의한 성과평가제도의 인식정도가 조직성과에 미치는 영향", 창업정보학회지 7(3): 15-43, 2004
• 74 조현대, "연구개발성과의 질적 평가체계 구축 방안. 과학기술정책연구원", 정책 연구 2016-06, 2016
• 75 이광호, "6인.융합 연구개발사업 평가체계 개선방안. 과학기술정책연구원", 정책연구 2015-01, 2015
• 76 김재훈, "정책효과성 증대를 위한 집행과학에 관한 연구. 한국개발연구원", 연 구보고서 2014-05, 2014
• 77 오은주, "혼합연구방법론(Mixed Methods): 정성적, 정량적 방법을 교차시키 기", 국토 132-141, 2008
• 78 이화석, "국가연구개발사업의 성과평가와 예산배분의 연계성에 관한 분석", 서 울대학교 석사학위논문, 2012
• 79 이숙영, "선취업 후진학 정책 평가연구: 특성화고, 마이스터고를 중심으로", 중 부대학교 박사학위논문, 2017
• 80 이찬구, "연구개발사업의 메타평가에 관한 연구: 정보통신분야를 중심으로", 충 남대학교 박사학위논문, 1997
• 81 유화선., "유화선.국가연구개발사업의 예산편성과 성과평가 간의 관계 분석", 성균관대 학교 석사학위논문, 2016
• 82 양승우, "연구개발 시스템상 성과평가제도의 역할 재정립 및 법제 개선방안", 과학기술정책연구원, 2016
• 83 서인석, 조일형, 정원희, "주민만족도를 통한 지방행정서비스 평가: 복지서비스 를 중심으로", 지방행정연구 29(4). 65-92, 2015
• 84 이종엽, "의약분업정책의 정책수용성 평가: 정책수용성 확보전략을 중심으로", 한국행정학회 하계학술대회 발표자료집, 2003
• 85 김부철, 하혜수, 정홍상, "메타 평가 모형 개발에 대한 시론적 논의: 체제론적 관점을 적용하여", 한국행정논집 25(2): 455-478, 2013
• 86 노유진, 안문석, "한국정부에 있어서 정책평가결과 활용의 영향요인과 활용유 형의 특성", 정책분석평가학회보 14(3): 227-268, 2004
• 87 조민경, "재정분권이 경제발전에 미치는 효과에 관한 연구: 메타분석을 중심 으로", 영남대학교 박사학위논문, 2013
• 88 박태동, "메타평가 관점에서 준시장형 공기업의 성과평가시스템 개선에 관한 연구", 영남대학교 박사학위논문, 2013
• 89 김성수, "공공부문의 BSC 운용에 대한 만족도 평가: 해양경찰청의 전략 맵을 중심으로", 한국행정논집 18(4): 1029-1054, 2006
• 90 공동성, 윤기웅, "성과와 예산 간 연계성 분석: 2008~2010년 재정사업 자율평 가결과를 중심으로", 한국행정연구 21(2): 165-197, 2012
• 91 우재영, "순서화 로짓모형을 이용한 농협의 선호도 분석: 충남지역 주민을 대 상으로", 농촌지도와 개발 16(2): 405-438, 2009
• 92 문종범, 황명구, 정동우, 유왕진, "메타평가를 적용한 국가연구개발사업 평가시 스템의 효율성 분석 모형 개발", 벤처창업연구 4(4): 1-25, 2009
• 93 김태훈, "책임운영기관의 사업성과 메타평가에 관한 연구: 국립중앙극장을 중 심으로", 성균관대학교 박사학위논문, 2006
• 94 이재송, 최열, "고령층의 사회경제적 특성을 고려한 주택연금 이용 및 만족도 결정요인 분석", 대한토목학회 37(2): 437-444, 2017
• 95 길부종, "국가연구개발사업 평가제도 개선 및 정책방안 연구. 한국과학기술기 획평가원", 연구보고 2010-42, 2010
• 96 김형준, 최열, 주호상, "묘지부동산 중 자연장에 대한 선택 결정요인 분석: 부 산지역 사례를 중심으로", 한국부동산학회 50(0), 2012
• 97 고영석, "정부 성과평가제도의 효과성에 관한 연구: 국방기관 성과평가제도를 중심으로", 건국대학교 박사학위논문, 2015
• 98 배정회, 황두희, 정선양, "국가연구개발사업 성과평가제도의 효과 분석 연구: 과학기술지식생산함수 활용", 국가정책연구 31(4): 27-57, 2017
• 99 박태동, "국가연구개발사업 성과평가제도의 효과 분석 연구: 과학기술지식생산 함수 활용", 국가정책연구 31(4): 27-57, 2017
• 100 임다희, "서울시 교육격차 영향요인에 관한 연구: 순서화 로짓 및 구조방정식 을 중심으로", 성균관대학교 석사학위논문, 2012
• 101 고용수, 한웅용, "정부연구개발 성과평가의 새로운 접근방법론 탐색연구. 한국과학기술기획평가원", 연구보고 2016-012, 2016
• 102 윤근혜, "국가대형연구개발사업의 성과분석에 관한 연구: 에너지기술개발사업 을 중심으로", 성균관대학교 석사학위논문, 2011
• 103 정주용, "정책수용성 급반전 현상에 관한 연구: 방사성폐기물 처리장 입지정 책을 중심으로", 고려대학교 박사학위논문, 2008
• 104 김민영, "성과평가제도 수용성의 선행 요인 및 조직효과성에 관한 연구: 한국 NGO를 중심으로", 성균관대학교 석사학위논문, 2013
• 105 최태진, "국가연구개발사업의 유형별 성과분석을 통한 전략적 연구관리 체계 구축에 관한 연구", 건국대학교 박사학위논문, 2007
• 106 조현대, "원천연구 성과제고 및 활용강화를 위한 성과평가체계 개선 방안. 과학기술정책연구원", 정책연구 2014-02, 2014
• 107 김혜연, "국가연구개발사업의 효율성 향상을 위한 개선방안 연구: 정부출연연 구기간을 중심으로", 고려대학교 석사학위논문, 2017
• 108 임다희, "경력단절여성 재취업 정책의 효과분석: 직업교육훈련과 집단유형의 차이분석을 중심으로", 성균관대학교 박사학위논문, 2017
• 109 정재진, "지방공기업 경영평가정보 수용의 영향요인 분석: 경기도 지방공기업 경영평가를 중심으로", 한국행정학보 44(1): 203-230, 2010
• 110 김상현, 최열, 이재송, "로짓모형을 이용한 월세 거주자의 주거비부담능력 결 정요인 분석: 부산시 사례를 중심으로", 한국부동산학회 59(0), 2014
• 111 김순영, "연구개발사업의 메타평가 모형 분석 및 실증 연구: 국방연구개발사 업 자체평가를 중심으로", 호서대학교 박사학위논문, 2010
• 112 강근복, "5인.평가를 통한 예산절감(창출) 효과 측정 방법론 연구: 국가연 구개발사업 평가를 중심으로", 충남대학교, 2007
• 113 김성숙, "베이비붐 세대의 특성에 따른 주거 선택에 관한 연구: 이항 순서형, 로짓 프로빗 모형을 이용", 영산대학교 박사학위논문, 2015
• 114 이재원, "지방정부의 성과관리시스템 개발에 관한 연구: 서울시와 경기도의 성과관리체제를 중심으로", 한국행정학보 36(1): 215-230, 2002
• 115 오영민, 전준오, "우리나라 부담금 관리제도의 효과성 분석: 부담금운용평가 결과 환류의 실효성 분석을 중심으로", 한국행정연구 27(4): 163-198, 2018
• 116 이윤식, "정부업무 평가결과 활용의 개선방안에 관한 연구: 정부기관평가제도 의 성공적 정착과 발전방향", 한국행정연구원 106-153, 2002
• 117 박미경, "보육정책의 효과성 평가연구: 영유아 보육료 지원 정책과 국공립보 육시설 확충 정책을 중심으로", 성균관대학교 석사학위논문, 2014
• 118 강근복, 황병상, "정부출연연구기관평가의 발전방안 논고: 기초기술연구회의 평가사례에 대한 메타평가를 중심으로", 한국정책학회보 14(1): 121-151, 2005
• 119 권기헌, 조일형, 정성영, "정부간 관계(Intergovernmental Relation)의 영향요인 에 관한 연구: 정부 수준(level)별 인식 차이를 중심으로", 정부학연구 19(3): 245-283, 2013
• 120 이태근, "국가연구개발 성과평가계획 수립을 위한 평가체계 분석 및 발전 방안 연구. 한국과학기술기획평가원", 연구보고 2015-018, 2015
• 121 윤국원, "성과평가제도가 사업효과성에 미치는 영향에 관한 연구: 지역산업육 성정책에 대한 인식을 중심으로", 건국대학교 박사학위논문, 2016
• 122 백장현, 차화동, "실증분석을 통한 지역산업 R&D 육성전략 및 투자 효율성 제고방안 연구: 전북 지역산업 R&D를 중심으로", 기술혁신학회지 18(2): 233-263, 2015
• 123 손수정, "4인.기술가치평가 기반 국가 R&D사업의 성과평가 및 기술료 연 계 가능성 탐색연구. 과학기술정책연구원", 정책연구 2014-24, 2014
• 124 임동진, "환류요인이 환류활동과 업무성과에 미치는 효과분석 : 우리나라 중 앙행정기관 성과관리제도에 있어서", 한국행정연구 18(2): 225-251, 2009
• 125 송찬송, "우리나라 성과평가체계에 논리모형의 활용가능성 탐색: 미래창조과 학부 자체평가지표 개선을 중심으로", 경희대학교 석사학위논문, 2014
• 126 박성민, 최은영, 이효주, "입법부 공무원의 성과평가제도 수용성에 미치는 영향요인 연구: AMO이론과 사회자본이론 관점을 중심으로", 한국조직학회보 14(2): 1-45, 2017
• 127 김병철, "정부출연연구기관 평가에 대한 메타평가 모형 설계 및 적용: 경제 인문사회연구회 평가시스템을 중심으로", 서울시립대학교 박사학위논문, 2008
• 128 권혁인, "우리나라 지방자치단체 평가시스템의 메타평가에 관한 연구: 행정자 치부의 지방자치단체 평가를 중심으로", 강원대학교 박사학위논문, 2008
• 129 이광희, 이석민, "정부업무평가제도의 성과정보 활용에 미치는 영향요인, 그리 고 제도 신뢰 요인 연구: 특정평가를 중심으로", 한국행정학보 48(3): 205-226, 2014
• 130 최관섭, "성가평가제도의 수용성과 영향요인에 관한 연구: 우리나라 중앙행정 기관 일반직 공무원의 인식을 중심으로", 명지대학교 박사학위논문, 2014
• 131 허찬무, "성과측정지표의 특성이 성과평가결과의 수용성 및 활용도에 미치는 영향에 관한 연구: 기초지방자치단체 공무원의 인식을 중심으로", 단국대학교 박사학위논문, 2012
• 132 오영민, "우리나라 성과주의 예산제도의 재정성과정보 활용에 대한 실증연구: 재정성과목표관리제도 성과정보 활용의 효과성 분석을 중심으로", 한국정책학 회보 25(1): 551-576, 2016
• 133 Creswell, J. W., "Research Design : Qualitative, Quantitative, and Mixed Methods Approaches. 강윤수 외 역(2005). 연구설계: 정성연구, 정량연구 및 혼합연구에 대한 실제적인 접근", 서울: 교우사, 2003
• 134 김옥녀, "여성폭력 관련시설 평가 정책의 집행요인이 피평가자의 평가 수용성 에 미치는 영향: 가정폭력, 성폭력, 성매매피해자 보호시설의 종사자 인식을 중심으로", 서울시립대학교 박사학위논문, 2015