<ABSTRACT>


An Impact Analysis of the Performance Information on the Budget Decision-Making
- Based on the Korea's Program Assessment Ratings-


JUNG, Moo-Kyung
Department of Public Administration
Graduate School, Korea University

Performance-based budgeting is an area of performance management which manages the organization based on 'the performance'. Since the establishment of the modern budget system, budget theory has developed in two ways: incrementalism focusing on the politics of the budget and rationality using analytical methods. In particular, from the politics-administration dichotomy's point of view, the budget system dominated by the US Congress during the early 20th century brought about corruption and inefficiency during the appropriations process, giving rise to the need to separate administration from politics, resulting in the development of a budget theory that focuses on rationality. Following this reform movement, the US budget system has transformed from a traditional line-item approach in the early performance budgeting stage, Planning-Programming-Budgeting-System (PPBS), Management by Objectives (MBO), Zero-Based Budgeting (ZBB) to the performance-based budgeting including Government Performance and Results Act (GPRA) and Program Assessment Rating Tools (PART). In addition to the USA, other OECD member countries have also introduced performance-based budgeting, in order to correspond to growing budget deficits and national debts that resulted from the increase of social welfare expenditures and the economic slowdown. In particular, the New Public Management theory which emphasized governmental accountability, transparency and efficiency, has influenced this rational budgetary reforms. In response to the worldwide budget reform movement, Korea also initiated budget reforms by introducing top-down budgeting and performance-based budgeting. Korea introduced Program Assessment Rating Tools (K-PART) to enhance the effectiveness and accountability of budgetary programs. Annually, one third of the budgetary programs in line ministries are self-assessed and meta-evaluated by the central budget authority (currently the Ministry of Strategy and Finance). During last 6 years from 2005 to 2010, a total of 2,920 programs have been evaluated.

This study analyzes the impact of performance on budgetary decisions, as measured by K-PART in the following ways. First, this study focuses on both the macro- and micro-budgeting processes. The point of the macro-budgeting process is to decide the 'budget ceiling' for each line ministry, the maximum budget that line ministries could make the best use of when formulating their own budget requests to the central budget authority. This study aims to examine how the K-PART average scores influence the budget ceiling decision-making process. Second, this study aims to analyze the impact of the K-PART ratings on the micro-budget process, in which the central budget authority decides the budget for each program based on the ceilings given to line ministries by the central budget authority. Particular attention has been paid to the Administration and National Assembly's budget-decision processes. Futhermore, the objective of this study is to examine which organization among the Administration and National Assembly has more influence on the budget-decision process. In addition, this study plans to analyze how each individual K-PART rating (Effective-Moderately Effective-Adequate-Ineffective) affects the budget decision-making process. While the Effective and Moderately Effective ratings have been expected to positively influence budget allocation of the Administration and National Assembly, the Ineffective rating has been expected to negatively influence budget allocation. Finally, this study aims to examine the integration effects of macro- and micro-budgeting processes through K-PART ratings. Examining the effects of K-PART separately on the micro- and macro-budget processes is inadequate to fully understand the effects of the integration process by K-PART ratings because the budget decision-making process is a combination of both macro- and micro-budget allocation. Therefore, it is necessary to examine the effects of K-PART on the integration of macro-budget and micro-budget processes as a whole.

In order to analyze the effects of K-PART on budgetary decision-making process as a whole, this study establishes a regression model for K-PART results between 2005 and 2010. Dependent variables are the budget ceiling increase rate for macro-budgeting model and the budget increase rate for micro-budgeting model and the integrated model for macro-budgeting and micro-budgeting. Independent variables consist of K-PART scores for the macro-budgeting model and K-PART grades for the micro-budgeting and integrated models. Control variables are fiscal factor (a past budget increase rate, national project), program factor (program size, program category, program characteristics), organization factor, political factor (partisanship, national assembly project). Based on theses variables, the regression models are established.

The main characteristics of this study methods is to introduce the new concept of 'the budget ceiling increase rate gab', which is defined as the difference between estimated budget ceiling increase rate and real budget ceiling increase rate as means to integrate macro-budgeting and micro-budgeting. If the BCgab is negative(-), which means that estimated BCgap is less than real BCgap, then the budget ceiling for line ministries is allocated more than expected in micro-budgeting. This is contributed to less incentives to operate K-PART in micro-budgeting due to an over-allocation of budget ceilings to line ministries. As a result, the BCgap operates as means to integrate macro-budgeting and micro-budgeting through the K-PART system.

The major results of regression analysis demonstrates as follows. As regards the impact of K-PART on macro-budgeting, the results confirm that the K-PART average score has positively influenced the budget ceiling increase rate in the Administration's macro-budgeting process. In addition to the K-PART score, the past budget increase rate has also influenced the budget ceiling decided during the Administration's budget decision-making process.
As regards the impact of K-PART on micro-budgeting, the results confirm that K-PART grades have positively influenced the budget decisions on individual programs in the Administration and the National Assembly. Futhermore, K-PART has influenced the budget decision in the Administration more than in the National Assembly. Explanations for this result are given as follows: the National Assembly's budget decision process has an intrinsic political nature; the K-PART system is an Administration initiative, of which coordination with the National Assembly was insufficient; the National Assembly has restricted constitutional right to deliberate the Administration's budget proposal, not having the right to increase the budget without prior consent of the Administration. Second, the results confirm that the K-PART grades has influenced programs rated ineffective more than those graded effective. This implies that the K-PART system has been operated as a means to cut back the budget rather than as an incentive to increase the budget over the 6 years. Thirdly, the results confirm that the impacts of K-PART vary taking into account the control variables such as fiscal factor, program factor, organization factor and political factor.
As regards the impacts of K-PART on the integrated process of the macro- and micro-budgeting, the results confirm that K-PART has positively influenced the integrated budget decision in the Administration process, after taking into account the impacts made by both the BCgab and the interaction of BCgab with the K-PART grade.

Based on the research results, this study presents some recommendations for improving the performance-based budgeting system. First, macro-budgeting needs to use performance information more actively. For this, performance targets and procedures for macro-budgeting need to be developed with prudence, and decisions on budget ceilings need to be made on such performances. Second, the role and aim of performance-based budgeting need more clarification. Performance-based budgeting needs to be operated by balancing the disincentive to cut back the budgets for ineffective programs and the incentive to increase budgets for effective programs. Third, the designing of a new measurement system according to the characteristics of programs and organizations is an important issue. The one-size-fits-all approach of K-PART is difficult to apply uniformly to each different program. Taking into account that different program types should use different methods, PART questions and criteria should be updated depending on the types of programs which reflect these differences. Fourth, more attention should be paid to the cross-cutting programs, with which multi-ministries are involved for similar program purposes. Performance targets and procedures for the cross-cutting programs need to be developed for a more advanced performance-based budgeting system. Fifth, the budget allocation process of the National Assembly needs to be improved to make it become a more performance-oriented system.

However, there is a limitation on the methodology and the sample used for this study. Outliers that have more than 100% budget changes were ignored. Finding and collecting the data for variables at the ministry and program level has its own challenges. In particular, the difficulty of data collection for the budget ceiling increase rate gab can lead to low explanation for the integration model and level of R-Squares in some regression results. Futhermore, in order to minimize the limitations as to the methodology of this study, it might have been more conductive for this research to have employed both the quantitative and the qualitative approach since survey or interviews may be beneficial in understanding the overall situation of connecting the PART ratings to actual budget allocations.

<국문초록>


미국&#8228;영국 등 OECD 국가를 중심으로 성과관리제도의 확산과 심화가 세계적으로 이루어지면서 우리나라도 예산의 효율성과 책임성을 제고하기 위하여 성과중심예산제도를 도입하여 운영하고 있다. 2004년에 총액배분 자율편성제도(Top-down 예산제도) 등 예산개혁을 시행하면서 현재 성과중심예산제도의 기본 축인 재정성과 목표관리제도(성과계획서-성과보고서 제도)와 재정사업 자율평가제도 등을 도입하여 시행하고 있다. 본 연구의 목적은 행정부와 국회의 예산결정에 재정성과정보(재정사업 평가결과)가 어떠한 영향을 미치는지에 중점을 두고 있다.
주요내용은 첫째, 우리나라 예산결정과정을 거시적 예산결정과 미시적 예산결정으로 구분하여 재정사업평가결과가 거시적 예산결정과 미시적 예산결정에 각각 어떠한 영향을 미치는지를 분석한다. 또한 거시적 예산결정과 미시적 결정을 통합한 종합적 분석을 시도하여 재정사업 평가결과가 전체예산과정에 미치는 효과를 분석한다. 둘째, 재정사업평가결과가 미시적 예산결정에 미치는 영향을 '종합평가등급'과 '개별평가등급'을 통하여 분석을 한다. 먼저 종합평가등급을 사용하여 행정부와 국회의 예산배분과정에 어떠한 영향을 미치는지를 분석하고, 특히 종합평가등급이 행정부와 국회의 예산증가율에 미치는 영향력을 비교하여 행정부와 국회 중 어느 기관이 더 재정사업평가결과의 영향을 많이 받는지를 분석한다. 셋째, 종합평가등급에 의한 분석뿐만 아니라 개별평가등급(우수-다소 우수- 보통-미흡)이 예산배분에 어떠한 영향을 미치는지도 분석한다. 재정사업평가시스템에 의하면 우수등급 사업에 대해서는 예산증액 등의 유인이 제공되고 미흡등급 사업에 대해서는 예산삭감 등 벌칙이 제공되도록 되어 있어 개별평가등급을 사용하여 이러한 주장을 실증적으로 분석한다. 마지막으로 예산배분과정은 본질적으로 정치적 성격을 가지고 있기 때문에 재정사업 평가결과 이외에 정치적&#8228;경제적 환경의 영향을 받는다. 본 연구에서는 선행연구 등을 감안하여 재정적 요인, 사업적 요인, 조직특성 요인, 정치적 요인 등을 통제하여 재정사업 평가결과가 예산배분에 미치는 효과를 분석한다.
본 연구는 이러한 연구목적을 실증적으로 분석하기 위하여 2005～2010년 재정사업 평가결과를 대상으로 회귀모형을 설정한다. 거시모형 독립변수는 재정사업 평가점수이고 종속변수는 지출한도증가율, 통제변수는 전년도 예산증가율, 경상 경제성장율 갭, 국정과제사업을 사용한다. 미시모형 독립변수는 재정사업 평가등급(종합평가등급, 개별평가등급), 종속변수는 행정부와 국회의 예산증가율, 통제변수는 재정적 요인(전년도 예산증가율, 국정과제사업), 사업적 요인(사업규모, 사업유형, 사업성격), 조직특성 요인, 정치적 요인(당파성, 국회관심사업)을 사용한다. 그리고 통합모형에서는 거시적 예산결정을 설명하는 지출한도증가율 갭(추정 지출한도증가율-실제 지출한도증가율)과 지출한도증가율×재정사업 평가등급을 변수화하여 미시모형에 이를 추가한 통합모형을 구축하여 재정사업평가등급이 행정부 예산증가율에 미치는 영향을 종합적으로 분석한다.
상기 회귀모형을 통한 분석결과는 다음과 같다. 먼저, 거시적 예산결정과 재정사업 평가결과의 관계에 대한 분석결과의 주요내용은 다음과 같다. 거시적 예산결정에 대한 재정사업 평가점수(단순평균 평가점수)의 영향은 재정사업 평가결과(성과정보)가 지출한도증가율에 정(+)의 영향력을 미치는 것으로 분석되었다. 거시적 예산결정은 미시적 예산결정처럼 성과정보(재정사업 평가결과)와 지출한도 증감을 연계시키는 명시적인 메커니즘이 없지만 성과정보의 축적&#8228;성과문화의 정착 등으로 성과정보를 자연스럽게 연결시키는 시스템이 작동되고 있다고 분석된다. 또한 재정사업 평가점수 이외의 변수가 지출한도 결정에 미치는 영향을 보면 전년도 예산증가율은 통계적으로 유의미하게 정(+)의 영향을 미치지만 경상 경제성장률 갭과 국정과제사업(재원배분 우선순위)는 통계적으로 의미가 없는 것으로 분석되었다.
둘째, 미시적 예산결정에 재정사업 평가결과가 미치는 영향을 보면 첫째, 종합평가등급은 행정부 예산증가율과 국회 예산증가율에 정(+)의 영향을 미치는 것으로 분석되었다. 2005년부터 시행해 오고 있는 성과중심예산제도가 어느 정도 정착되었다고 해석된다. 둘째, 종합평가등급이 국회보다는 행정부 예산증가율에 더 큰 영향력을 보이는 것으로 분석되었다. 이는 국회예산심의가 사업의 타당성이나 사업성과에 기초하여 이루어지지 못해 당초 행정부가 국회에 제출한 예산안보다 국회확정예산의 성과관리가 약화된 것을 의미한다. 셋째, 미흡&#8228;다소 우수&#8228;우수 등 개별등급에 따라 예산증가율이 어떻게 변화하느냐를 분석해 보면 미흡등급의 경우 상당한 부(-)의 효과, 다소 우수등급은 상당한 정(+)의 효과, 우수 등급은 약간의 정(+)의 효과를 보여주고 있어 우수사업의 경우 인센티브가 상대적으로 약하게 나타난다고 분석된다. 이는 재정사업 평가제도가 성과우수사업에 대한 인센티브보다는 성과미흡사업에 대한 페널티로 활용되고 있다는 점을 시사한다. 마지막으로, 사업적&#8228;조직적&#8228;정치적 요인 등에따라 종합평가등급이 행정부 예산증가율에 미치는 영향이 다르게 제시되었다.
셋째, 통합모형에서는 지출한도증가율 갭이 (-)로 나타나면 행정기관별 지출한도가 예상보다 큰 규모로 결정된다는 것을 의미하고, 이는 미시적 예산결정에서 행정기관의 예산증가율이 높게 나타나고, 결국 재정성과관리가 약화될 것으로 가정하였다. 분석결과 지출한도증가율 갭이 부(-)로 제시되었고, 그 결과 통합모형의 분석결과(종합평가등급이 예산증가율에 미치는 영향)가 미시모형의 분석결과보다 낮게 제시되어 이러한 가설이 타당한 것으로 해석된다.
분석결과와 주요 OECD 국가의 성과중심예산제도 사례, 그리고 우리나라 제도분석 등을 통해 나타난 정책적 함의는 다음과 같다. 첫째, 거시적 예산결정에 성과정보를 더 활용할 필요가 있다. 행정기관이 예산을 얼마나 효율적이고 성과지향적으로 사용했느냐를 측정하고 이 결과를 거시적 예산결정에 반영하기 위해 현재의 성과중심예산제도를 보완하는 새로운 평가제도 개발 등을 추진할 필요가 있다. 둘째, 성과중심예산제도의 목적과 역할을 분명히 할 필요가 있다. 앞으로 성과중심예산제도에 일선 행정기관의 적극적인 참여를 유도하기 위해서는 ‘성과미흡사업에 대한 페널티와 성과우수사업에 대한 인센티브’간 균형 있는 운용이 필요하다고 본다. 셋째, 사업규모, 사업유형, 사업성격, 조직성격 등에 따라 평가결과가 예산증가율에 다른 영향력을 보여주고 있기 때문에 이러한 점을 고려하여 재정사업 평가제도를 운용할 필요가 있다. 넷째, 재정사업 평가제도가 역할을 제대로 하기 위해서는 평가대상사업의 선택과 집중이 필요하다. 특히, 영국, 호주, 미국 등의 국가에서 여러 부처에서 동일한 목적을 달성하기 위해 추진하고 있는 다부처 관련 사업(cross-cutting program)에 대한 성과관리 강화가 필요하다고 본다. 다섯째, 국회의 예산심의과정을 보다 성과증심으로 운영되도록 제도개선이 필요하다. 미국의 성과중심예산제도의 경험에서 알 수 있듯이 성과중심예산제도의 성패는 국회가 얼마나 성과중심예산제도를 정치적으로 지지하고 적극적으로 활용하느냐에 달려있다고 할 수 있다. 국회 예산심의과정이 정치적 성격을 가지고 있지만 예산배분과정을 보다 합리적이고 투명하게 하기위해 성과정보를 활용하려는 노력이 필요하다. 마지막으로 성과중심예산제도의 발전을 위해서는 성과관리의 중요성에 대한 정책결정자의 관심과 인식의 제고가 필요하다. Schick(2007)이 주장하는 것처럼 좋은 성과는 하늘로부터 저절로 떨어지는 것이 아니기 때문에 정책결정자는 ‘왜 어떤 기관은 성과가 좋으며 어떤 기관은 나쁜지?, 좋은 성과를 내는 기관의 특징은 무엇인지?, 조직들은 어떻게 성과를 향상시키는 것인지?’ 등에 대해 관심을 가져야 한다.
본 연구에서는 거시모형과 미시모형을 통합하는 새로운 분석방법론을 시도했다는 점에서는 의의가 있지만 분석 방법론적으로 다음과 같은 한계가 있다. 첫째, 거시적 예산결정 관련하여 가장 중요한 자료중의 하나인 행정기관별 지출한도 증가율 등 자료수집과 관리에 어려움이 있어 정확한 분석에 한계를 보여주었다. 특히 거시모형과 미시모형을 연계하는 변수로 ‘지출한도증가율 갭과 지출한도 증가율 갭×재정사업 평가등급'을 설정하였지만 앞에서 언급한 자료의 한계로 유의미한 결과가 제시되지 못하였다. 앞으로 자료의 보완 등을 통하여 추가검증이 필요하다고 본다. 둘째, 거시모형과 미시모형에서 설정된 독립변수와 통제변수의 적절성 문제이다. 본 연구에서 재정적 요인, 사업적 요인, 조직적 요인, 정치적 요인 등 다양한 통제변수를 설정하여 분석을 시도하였지만 앞으로 통제변수 등을 포함한 추가적인 모형개발을 통해 분석력을 높일 필요가 있다. 또한 앞으로 설문조사&#8228;인터뷰 등 정성적 분석방법을 활용하여 정량적 분석에 치우친 보 연구방법론을 보완할 필요가 있다.