성과관리계획상의 만족도지표 실태분석 및 개선방안 연구

국문 초록 (Abstract)

1. 연구의 개요1) 연구배경2006년 정부업무평가기본법 제정 이후 정부업무평가제도는 중앙행정기관의 평가자율성을 강화하는 방향으로 개선되고 있다. 즉 자체평가의 자율성을 확대하되 평가업무 부담을 경감하여 성과중심의 행정을 견인하겠다는 것이다. 이처럼 자율적 성과관리를 정착시키려는 정부의 노력은 아주 바람직한 방향이라 하겠다. 그러나 자체평가의 자율성 강화는 성과관리에 대한 부처의 자율적 노력을 요구한다는 점에서 의도한 성과를 거둘 수도 있지만 오히려 성과관리에 대한 무관심 또는 평가 부실이라는 문제점을 낳을 수도 있다. 즉 상급 기관에 의한 평정이 배제된 상황에서 자체평가의 실효성이 약화될 가능성이 있는 것이다. 따라서 성과관리에 관심을 지속시키고 자체평가의 실효성을 확보할 수 있는 제도적 장치가 요구되고 있다.자체평가 및 자율적인 성과관리 강화를 위해 제도적 차원에서의 개선방안은 많이 논의되고 있지만, 실제 자체평가에서 중요한 역할을 담당하고 있는 성과관리계획상의 성과지표에 대한 분석 및 개선방안에 대한 논의는 거의 없는 편이다. 중앙행정기관 각 부처의 자체평가위원회에 참여하고 있는 전문가들에 따르면 중앙행정기관이 수립한 성과관리계획에서 제시된 성과지표의 상당수가 적절하지도 않고 타당하지도 않다고 한다. 즉, 성과지표가 투입이나 과정에 치우쳐 있고, 목표체계에 맞게 지표 수준이 조응하지 않으며, 해당 성과지표별로 제시된 목표치의 관대화 경향이 심하다는 것이다. 그래서 자체평가의 실효성을 확보하기 위해 자체평가위원회의 활성화, 중앙행정기관의 평가역량 강화, 단위과제별 평가 결과의 서열화 및 성과급 반영 등이 거론되고 있다. 또한 자체평가를 통해 생성된 성과정보의 적절성 및 신뢰성을 높여야 하고, 성과관리계획의 구성 및 체계도 개선해야 한다는 주장도 제기되고 있다.2) 연구목적중앙행정기관들은 성과관리계획 상의 성과지표로 자체적으로 수행한 고객만족도조사 결과를 많이 활용하고 있다. 이는 국무총리실이 성과지표를 가급적 결과 중심으로 작성하라는 요구를 하고 있기 때문으로 보인다. 그러나 목표치와 측정산식의 불일치, 측정산식 자체의 오류 및 부적절한 설명, 자료수집방법의 부적합 및 모호함 등의 문제가 나타나고 있다. 따라서 만족도 조사에 대한 실태분석 및 문제점을 파악하고 이에 대한 개선방안 모색을 위한 연구가 필요하다. 이러한 맥락에서 본 연구의 목적은 중앙행정기관의 성과관리지표 중 만족도 조사 관련 지표에 대하여 메타평가적 기준을 통해 운영실태 및 문제점을 파악하고 이를 통해 개선방안을 제시하는 것이다.3) 연구대상 및 범위본 연구의 대상은 우리나라 성과관리계획을 수립ㆍ관리하고 있는 총 39개의 중앙행정기관을 대상으로 한다. 보다 구체적인 연구의 대상은 우리나라 39개 전체 중앙행정기관이 성과관리계획을 수립하여 공개하는 성과관리계획서에 제시되어 있는 성과지표 중 고객만족도 조사를 활용한 지표를 대상으로 하고자 한다.본 연구의 범위는 39개 전체 중앙행정기관의 2008년 성과관리계획에서 제시된 만족도 조사 관련 성과지표를 대상으로 하지만, 구체적인 연구 범위는 다음과 같다. 우선 고객만족도 조사 방법론 및 메타평가 방법론에 토대를 둔 분석틀을 수립하고 이에 의거하여 각 중앙행정기관의 만족도 관련 성과지표를 분석하는 내용이 포함된다. 다음으로 고객만족도 조사를 수행하는 중앙행정기관의 평가환경 등을 분석하는 내용이 포함된다. 그리고 이러한 분석에 근거하여 중앙행정기관의 성과관리계획 상의 성과지표별 개선방안을 제시한다. 마지막으로 중앙행정기관의 평가담당 공무원 및 일선 사업부서 공무원들을 위한 만족도 조사표준매뉴얼을 작성한다.4) 연구의 방법본 연구에서 활용되는 주요 방법은 문헌분석 및 내용분석, 그리고 설문조사 등이다. 고객만족도 조사 실태분석 틀을 수립하기 위해 고객만족도 조사에 대한 기존연구 및 조사방법에 대한 이론적 논의들이 집약된 문헌들을 분석한다. 그리고 중앙행정기관의 성과관리계획에서 제시된 고객만족도 지표를 수집하고 분류한 뒤, 분석 틀에 의거해 내용분석을 실시한다. 또한 중앙행정기관의 성과관리 업무를 담당하고 있는 공무원들을 대상으로 설문조사 및 심층 인터뷰를 실시하여, 고객만족도 조사와 관련된 현안 및 개선방안 등을 도출하고자 한다. 나아가 고객만족도 조사방법 및 활용에 대한 해외사례도 탐색하여 실태분석 및 표준매뉴얼 개발에 반영하고자 한다.5) 연구체계2. 만족도 조사의 메타평가 및 분석틀본 연구의 목적은 우리나라 중앙행정기관의 2008년 성과관리계획 상의 성과지표로 활용되고 있는 만족도 조사를 메타평가하고 이를 토대로 만족도 조사의 문제점을 파악하고 개선방안을 모색하여 향후 만족도 조사의 표준지침이 되는 표준 매뉴얼을 개발하고자 하는 것이다. 이러한 연구목적을 달성하기 위해 본 연구에서는 다음과 같이 연구의 분석 틀을 구성하였다. 우선, 만족도 조사와 메타평가의 선행연구 및 이론적 논의 파트에서는 성과관리와 고객만족, 고객만족도 측정방법론, 메타평가방법론 등에 대한 선행연구 검토와 심도 있는 이론적 논의를 토대로 현재 우리나라 중앙행정기관들이 활용하고 있는 성과관리계획상의 만족도 조사의 문제점 및 개선방안을 도출하는데 이론적 논거를 제시하고자 한다.다음으로 성과관리계획상의 만족도 조사의 운영실태 및 문제점 등을 파악하기 위해 본 연구에서는 크게 두 가지의 분석적 관점을 활용하고자 한다. 첫 번째 분석적 관점은 만족도 지표에 대한 분석기준 및 분석지표를 토대로 만족도 지표의 운영실태를 분석하는 것이다. 두 번째의 분석적 관점은 만족도 지표를 활용하는 공무원을 대상으로 설문조사를 실시하는 것이다. 먼저, 만족도 지표에 대한 분석기준으로는 만족측정모형, 척도, 표본설계, 서베이 방법, 검증 등을 활용하였다. 다음으로 만족도 지표에 대한 설문조사를 통해 만족도 지표(조사)의 환경적 측면, 투입적 측면, 실행 및 실시과정, 결과활용, 전반적 운영실태, 만족도 지표 개선방안 등을 분석하고자 한다.마지막으로 위의 두 가지 관점을 근거하여 파악된 문제점들을 토대로 만족도 조사의 개선방안을 제시하고자 한다. 이러한 만족도 조사의 개선방안을 토대로 향후만족도 조사에서 기준이 되는 표준내지는 지침으로 활용할 수 있는 `만족도 조사표준 매뉴얼`을 개발하고 만족도 조사에 대한 정책적 시사점을 도출하고자 한다. 본 연구에서 사용하고자 하는 연구의 분석 틀의 내용을 정리하면 다음의 <표 1>과 같다.3. 성과관리계획상의 고객만족도 조사 실태 분석1) 성과관리계획상의 만족도 지표 실태 분석○ 만족도 지표현황2008년도 39개 중앙행정기관의 만족도 지표에 대한 현황을 살펴보면 <표 2>와 같다. 총 관리과제 6,292개 중 만족도 지표는 910개로 약 14.5%에 해당하며, 1,148개 성과목표 중 만족도 지표는 190개로 16.6%에 이르고 있다.○ 측정모형 현황39개 중앙행정기관의 성과관리계획에 제시된 고객만족도 지표 중 관리과제와 성과목표의 만족도 지표가 아닌 다른 지표들을 제외한 총 1,100개를 분석대상으로 하였다. 측정모형의 제시여부를 검토한 결과, 3.5%에 해당하는 38개 지표만이 만족도 조사의 측정모형을 제시하고 있는 것으로 나타났다(<표 3> 참조).한편 대부분의 만족도 지표들이 만족도 조사의 측정모형을 제시하고 있지 않기 때문에, 측정모형에 대한 타당성 및 신뢰성 등을 판단하기 어렵다. 따라서 측정모형에 대한 세부적인 분석은 해당 지표를 관리하는 부처의 사업 담당자들로부터 세부자료 수집 및 심층 면접 등을 통해 이루어져야 할 것으로 판단된다. 그러나 39개 부처의 1,100개 지표에 대한 사업담당자들을 대상으로 전수조사를 위한 자료수집 및 심층 면접은 시간 및 비용 등 현실적 제약 때문에 쉽지 않다. 따라서 실태를 잘 보여줄 수 있는 일부 부처를 대상으로 심층 분석을 시도하고자 한다. 이러한 부처는 성과관리를 주관하고 있는 국무총리실의 의견을 반영하여 선정하였는데, 지식경제부, 환경부, 국방부, 관세청, 소방방재청, 특허청, 통계청 등이다. 후술하겠지만 지표 분석 틀에서 제시된 세부 착안 사항 중 성과관리계획에 제시되지 않아 내용 분석이 불가능한 항목에 대해서 심층 분석을 통해 접근하도록 한다.○ 표본설계 및 조사<표 4>에 따르면, 1,100개의 지표 중 조사대상자를 제시하고 있는 경우는 357개로써 약 32%에 불과한 것으로 나타났다. 실제 만족도 조사가 이루어지기 때문에 모든 조사에서 조사대상자가 있을 것으로 생각되지만, 성과지표 및 목표치를 제시하는 성과관리계획서에 조사대상자를 밝히지 않는 것은 성과측정 및 평가에 공정성 문제를 야기할 수 있다.만족도 조사에서 실제 서베이는 우편, 인터넷, 대면, 전화 등 다양한 방법을 활용할 수 있다. 각 방법별로 장단점이 있고, 조사설계와의 정합성 문제가 있으므로, 만족도 조사결과를 활용한 성과지표를 제시할 때 서베이 방법에 대한 정보를 제공하는 것이 바람직하다. 성과관리계획 상에 서베이 방법을 제시한 경우는 약 6%에 불과하다. 서베이 방법을 제시한 65개 지표 중에서 인터넷을 사용하는 지표가 47개로 가장 많았다. 물론 외부 전문조사기관에 의뢰한 경우 전화 및 대면 등의 방법을 많이 사용한 것으로 추측된다. 따라서 보다 심층적인 현황 파악 및 실태 분석은 세부적인 자료를 수집한 뒤에 이루어져야 할 것으로 보인다.2) 만족도 측정 모형 종합 분석중앙행정기관별 만족도 지표들에 대한 분석결과는 <표 5>로 종합될 수 있다. 분석결과 지표들의 만족도 측정방법은 크게 3가지 유형으로 나눌 수 있었는데, 점수로 측정하는 유형, 비율로 측정하는 유형, 그리고 만족도 측정방법이 아닌 경우가 그것이다. 각각의 유형에서 나타나는 문제점은 다음과 같다.점수로 만족도를 측정하는 유형은, 척도 자체를 점수화한 방법과 척도 점수를 10점 및 100점으로 환산한 방식으로 다시 세분화 될 수 있는데, 척도점수 자체를 측정한 경우에는 척도(5점, 7점, 10점, 100점)를 누락한 문제점이 있었고, 척도 측정 후 환산한 방식에서는 척도 및 환산식(10점 만점, 100점 만점)을 제시하지 않은 정보누락의 문제점이 있었다. 비율로 만족도를 측정하는 경우에는 척도 및 만족응답범위를 제시하지 않은 형태로 정보누락의 문제가 나타나고 있었다. 이처럼 지표들의 첫번째 문제는 만족도 측정방식에 따라 필요한 정보가 누락된 경우라고 할 수 있는데, 이 경우 측정방식에 따라, 즉 점수측정이냐 비율측정방식인가에 따라 필요한 정보가 제공되도록 하는 것이 해결책으로 제시된다.두 번째 문제는 측정산식이 제시되지 않는 경우로서, 외부기관에 조사를 의뢰하여 조사결과를 활용한다거나 추후 보고서를 제출한다는 방식으로 언급되어 측정산식이 전혀 제공되지 않는 경우이다. 전문적인 조사기관에 의뢰함으로써 조사의 신뢰성과 타당성을 확보하고 있거나, 추후 보고서 제출이 이루어진다고 하더라도, 측정에 관한 기본적인 방법론적 정보를 압축적으로 제공하여야 할 필요가 있다.세 번째 문제는 측정산식상의 모호한 표현이 문제가 되는 경우로서, 측정하려고 하는 것이 점수인지 비율인지를 알 수 없게 하고 구체적인 측정산식의 파악을 어렵게 하는 표현들이다. 예를 들어 `만족도`, `만족도 평균`, `설문조사 결과` 등의 표현이 대표적이었으며, 요소별 만족도를 구성하는 경우에도 마찬가지였다. 또한 `백분율`이라는 표현은 점수를 의도한 것인지 비율을 의도한 것인지 모호하여 측정산식의 정확성을 떨어뜨릴 수 있고, `조사대상자`의 경우는 인원수를 의미하는 것인지 대상자의 만족도 점수를 의미하는 것인지 모호할 수 있으므로 구체화된 측정산식을 통해 문제점을 해결하여야 한다. 대다수의 지표에서 발생하는 문제점은 위의 세가지 유형중에 하나에 속하고 있다.마지막 문제는 측정산식상의 오류의 유형으로서, 많은 사례에 해당하는 것은 아니며, 비교적 명백한 오류에 대한 정확한 정정이 필요한 경우이다. 점수와 비율측정방식을 혼돈하여 `×100`을 누락하거나 불필요하게 기재한 경우, 비율(%)표기를 누락하거나 불필요하게 기재한 경우, 환산식이 잘못된 경우 등이 해당한다.만족도 측정방법이 아닌 유형으로서, 산림청의 임산물 통상 협상 만족도의 경우를 들 수 있는데, 측정산식에 표본추출의 내용이 기재된 형태로 나타나고 있다.3) 세부사례분석모든 기관의 모든 지표에 대해서 이러한 심층 분석을 수행하는 것은 현실적으로불가능하기 때문에, 일부 기관을 대상으로 사례 분석을 심층적으로 수행하였다. 심층 면접을 수행한 기관은 교육과학기술부, 법무부, 농수산식품부, 국토해양부, 특허청, 통계청 등이다.예를 들자면, 일부 부처는 고객만족도 조사를 종합적으로 관리하고 있지는 않지만 통계청 등 또 다른 일부 부처들은 고객만족도 조사를 통합하여 외부 전문조사기관에 의뢰하는 등 체계적으로 관리하고 있는 것으로 나타났다. 통계청은 매년 상하반기 고객만족도 조사를 실시하고 있는데, 고객을 외부고객과 내부고객으로 구분하고 관련 사업부서에서 제시한 만족도 조사를 모두 포함하여 하나의 패키지로 조사를 실시한다. 2009년 상반기 조사에서 외부고객의 경우 표본이 100명으로 일정하게 유지되며 내부 고객의 경우 전수조사로 실시되고 있다. 또한 외부고객의 표본추출은 유의할당 후 무작위로 추출되는 방식을 취하고 있다. 이렇게 조사된 결과는 각 만족도 지표의 성과측정에 반영되도록 하고 있다.4. 만족도 조사(지표)의 운영 실태 및 영향요인 분석1) 만족도 조사(지표)에 대한 인식조사를 위한 조사 설계설문조사는 이러한 성과관리시행계획 상의 만족도 조사(지표)의 운영실태, 문제점 및 개선방안을 파악하고 만족도 조사 표준매뉴얼의 개발에 도움을 주고자 하는 목적을 갖고 있다. 이를 위해 본 연구에서는 우리나라 40개 전체 중앙행정기관에서 성과지표로 만족도 조사(지표)를 활용하고 있는 부서의 전략과제 담당공무원을 대상으로 구조화된 설문지를 활용한 설문조사를 실시하고자 하였다.설문조사표의 주요 내용은 운영실태 및 개선방안을 모색하기 위해 크게 9개의 변수군인 성과관리시행계획상의 ①만족도 조사(지표)의 환경적 측면에 관한 변수, ②만족도 조사(지표)의 투입적 측면에 관한 변수, ③만족도 조사(지표)의 실행 및 실시과정에 관한 변수, ④만족도 조사(지표)의 결과 활용에 관한 변수, ⑤만족도 조사(지표) 전반의 만족도에 관한 변수, ⑥만족도 조사(지표)의 전반적인 운영실태에 관한 변수, ⑦만족도 조사(지표)의 전반적인 개선방안에 관한 변수, ⑧만족도 조사(지표)의 활용에 대한 만족도에 관한 변수, ⑨인구사회학적 변수로 구분하여 총 85개의 설문문항으로 구성하였다.설문조사에 사용된 주요 변수와 설문문항 항목의 목록을 살펴보면 다음의 <표 6>과 같다. 조사응답자의 인식과 태도에 관한 변수의 측정방법으로 ①만족도 조사의 환경적 측면에 관한 변수, ②만족도 조사의 투입적 측면에 관한 변수, ③만족도 조사의 실행/실시 과정에 관한 변수, ④만족도 조사의 결과활용에 관한 변수, ⑤만족도 조사 전반의 만족도에 관한 변수, ⑥만족도 조사 활용에 대한 만족도에 관한 변수로 구분했고 이들변수는 리커트(Likert) 5점 척도(scale)로 측정되었다.2) 만족도 조사(지표)의 운영실태에 대한 인식분석만족도 조사 환경적인 측면에서 살펴보면, 만족도 조사(지표)를 활용하고 있는 공무원들은 대체로 공무원들은 만족도 조사를 활용하는 취지를 잘 이해하고 만족도조사 활용의 필요성도 공감하고, 만족도 조사가 지니는 장ㆍ단점 등을 이해하고 있는 반면, 만족도 조사(지표)가 성과측정방법으로서의 적합성과 성과지표로의 타당성과 신뢰성은 상대적으로 낮다고 평가하였다.만족도 조사 투입적인 측면에서 살펴보면, 대체로 설문대상자에 대한 사전조사(pre-test)를 실시하지 않고, 조사 설문지 역시 내부의 검토만으로 이루어지고 있었으며, 만족도 조사에 필요한 적정한 예산을 확보하지 못하고 있는 경우가 많은 것으로 나타났다.만족도 조사 실행 및 실시과정 측면에서 살펴보면, 만족도 설문 조사시 내부에서 자체적으로 직접 실시하는 것 보다는 주로 외부 전문업체를 활용하는 경우도 많은 것으로 나타났다. 이러한 경우에는 조사대상자에 대한 명확한 기술이나 조사대상의 전체집단(모집단)의 크기, 통계적으로 유의미한 표본크기 산출 등 만족도 설문조사의 실시과정의 신뢰성이 대체로 높다고 평가하였다.만족도 조사 결과활용 측면에서 살펴보면, 만족도 조사 결과가 낮은 경우에 재조사를 한 경우는 거의 없었으며, 만족도 조사결과는 만족도 점수 외에도 활용할 수 있는 정보의 가치가 많다고 판단하였다. 또한 만족도 조사결과물을 CD/보고서 등의 형태로 잘 관리/보관하고 있고, 만족도 조사결과를 사업이나 정책개선과 조직/개인의 성과평가에 활용하고 있는 것으로 나타났다. 이러한 만족도 활용에도 불구하고 만족도 조사결과는 실제 업무에 대한 노력여부와는 인과관계가 없는 경우가 많다고 평가하였다.만족도 조사 운영실태 측면에서 살펴보면, 본 연구의 설문대상인 만족도 조사 중 약 35%가 100명 이하의 조사대상 규모로 실시되고 있는 것으로 나타났고, 특히 조사대상 규모(표본수)가 아주 작은 경우(예를 들어, 10명 1.2%(n=2), 20명 1.8%(n=3), 30명 2.4%(n=4))도 전체의 5% 이상으로 나타나 조사대상 규모에 대한 최소한의 가이드 라인이 필요한 것으로 나타났다. 또한 만족도 조사 활용 공무원들의 약 75%가 만족도 조사에 대한 조사설계 및 활용에 대한 전문적인 교육이나 컨설팅을 받지 않은 것으로 나타났다. 이는 만족도 조사(지표)에 대한 조사설계나 활용을 위한 매뉴얼, 교육, 컨설팅의 필요성이 절실하다는 것을 의미한다.중앙행정기관에서 성과관리시행계획 상의 만족도 지표를 활용하는 주된 이유는 만족도 지표가 성과측정에 가장 적합하면서도 이를 대체할 마땅한 성과지표가 없고, 또한 성과측정에 용이하면서도 평가총괄기관(총리실, 기재부 등) 등에서의 권유 등 복합적인 요인들에 의해서 만족도 지표를 활용하고 있다는 것을 알 수 있다.만족도 조사(지표)의 활용을 어떻게 하는 것이 바람직한가에 대한 설문조사 결과, 현수준유지 58.8%가 가장 높은 비중을 차지하고 있고, 그 다음으로 점진적 축소 23.9%, 점진적 확대 16.1%의 순으로 나타나 만족도 지표를 활용하고 있는 공무원들의 약 60%가 만족도 조사(지표)의 활용을 현 수준에서 유지하는 것이 바람직하다고 응답하였다.만족도 (조사)지표의 운영상 주요한 문제점으로는 만족도 조사관련 전담인력이 부족하고 만족도 관련 인력의 비전문성으로 인해 만족도 조사의 설계 역시 체계적이지 못한 것으로 나타났다. 또한 만족도 조사에 대한 교육훈련도 부족하다. 이러한 이유에서 점차 만족도 조사 자체에 대한 불신이 높아지고 있는 것으로 판단된다.3) 만족도 조사(지표)의 전반적인 만족도에 미치는 영향요인 분석다중회귀분석을 이용하여 성과관리시행계획 상의 만족도 조사(지표)의 전반적인 만족도에 영향을 미치는 요인들을 분석하기 위하여 ①만족도 조사(지표)의 환경적측면에 관한 변수(V11∼V18), ②만족도 조사(지표)의 투입적 측면에 관한 변수(V21∼V213), ③만족도 조사(지표)의 실행 및 실시과정에 관한 변수(V31∼V313), ④만족도 조사(지표)의 결과활용에 관한 변수(V41∼V414), ⑤인구사회학적 변수(성별, 연령, 학력, 직급, 공직기간, 현 부서 근무기간, 개인성과등급)를 독립변수로 하고 ⑥만족도 조사(지표)의 전반적인 만족도를 종속변수로 사용하였다.만족도 조사(지표)의 만족도 관련 변수 중 ①만족도 조사의 환경적 변수(VⅠ), ②만족도 조사의 투입적 변수(VⅡ), ③만족도 조사의 실행 및 실시과정 변수(VⅢ), ④만족도 조사 결과활용 변수(VⅣ), ⑤만족도 조사 전반의 만족도 변수(VⅤ)는 최소4개 이상의 복합변수로 구성되어 있어서 각 복합변수 간의 내적 상관관계를 검증하기 위하여 위의 <표 7>에서 신뢰도 분석을 실시하였다.성과관리시행계획상의 만족도 조사(지표)의 전반적인 만족도에 영향을 미치는 변수들(독립변수와 종속변수 포함)의 판별적 타당성을 검토하기 위하여 아래의 <표8>과 <표 9>에서 탐색적 요인분석을 실시하였다.성과관리시행계획 상의 만족도 조사(지표)를 활용하고 있는 중앙행정기관의 공무원들의 만족도 조사(지표)에 대한 전반적인 만족도에 영향을 미치는 요인들을 분석하기 위해 만족도 조사(지표)에 영향을 미치는 변수들의 신뢰성 분석과 타당성 분석을 통해 설정된 11개의 요인변수들과 6개의 인구사회학적 변수들을 독립변수로 설정하여 만족도 조사의 전반적 만족도 요인에 관한 변수를 종속변수로 하여 다중회귀분석을 실시하였다.아래의 <표 10>에서 성과관리시행계획상 만족도 조사(지표)를 활용하고 있는 중앙행정기관의 공무원들의 만족도 조사(지표)의 전반적인 만족도에 영향을 미치는 변수 중 상대적 중요도를 나타내는 Beta(β) 값의 크기를 비교하면, 결과활용 요인1(VT41)이 0.444로 가장 높고, 그 다음으로 실행적 요인 1(VT31) 0.234, 환경적 요인1(VT11) 0.208, 결과활용적 요인 2(VT42) -0.155의 순으로 나타났다. 이는 성과관리시행계획 상의 만족도 조사(지표)에 대한 전반적인 만족도는 만족도 조사의 환경적 요인, 실행적 요인, 결과활용적 요인들에 영향을 받는다는 것을 의미한다.만족도 조사(지표)에 대한 전반적인 만족도의 수준을 향상시키기 위해서는 첫째, 환경적 요인 측면에서 만족도 조사에 대한 필요성을 높이고, 성과측정방법으로서의 적합성, 타당성, 신뢰성을 높일 필요가 있다. 둘째, 실행적 요인 측면에서 만족도 조사의 대상, 모집단크기, 대상자 특징, 표본추출방법, 표본크기, 설문조사기간, 조사결과방법 등 만족도 조사 실행 및 실시과정에 대한 신뢰성과 타당성을 높일 필요가 있다. 마지막으로, 결과활용적 요인 측면에서 조사결과에 대한 외부공개, 결과물의 철저한 관리, 조사결과에 대한 조직구성원들의 수용성, 조사결과에 대한 정책/조직/성과/예산 등의 활용을 보다 높이는 것이 필요하다.5. 고객만족도 조사 표준 매뉴얼의 유용성과 한계만족도 측정을 위한 매뉴얼을 제시하기에 앞서 아래의 매뉴얼이 지니는 유용성과 한계에 대해 간략한 언급이 필요할 것 같다. 우선 만족도 측정 매뉴얼은 중요한 두가지 유용성을 지닌다. 첫째, 만족도 지표의 이해 및 활용의 경험이 부족한 공무원들에 대한 교육적 기능이다. 제4장의 만족도 조사 운영실태 결과를 살펴보면 만족도조사(지표)의 조사 설계 및 활용 등에 대해 교육(컨설팅)의 경험이 없는 공무원이 75.4%에 이른다. 만족도 조사결과를 이해하고 해석할 수 있는 능력을 지닌 공무원이 만족도 지수를 실제 활용하는 공무원의 1/4 밖에 안 된다는 것이다. 매뉴얼의 제공은 이들에게 상세한 설명이 없는 경우 참고용, 교육용으로 이용될 수 있는 유용성을 지니는 것이다. 둘째, 조사된 만족도의 적절한 이용의 측면이다. 제4장의 만족도조사 운영실태 결과는 만족도 조사관련 전담인력의 부족을 중요한 문제점으로 지적하고 있으며 동시에 만족도 관련 인력의 비전문성 역시 문제점으로 지적되고 있다. 이러한 상황에서 조사된 만족도를 어떻게 이용하는가는 중요한 문제이다. 신뢰할수 없는 수치에 대한 맹신을 탈피하고 적절한 신뢰수준하에서 이용할 조사결과를 이용할 수 있게 하는데 매뉴얼의 유용성을 찾을 수 있다.위와 같은 유용성에도 불구하고 몇 가지 한계점을 지적하지 않을 수 없다. 첫째, 각 행정기관마다 다양한 방식의 조사방법과 척도를 사용하고 있기 때문에 만족도측정매뉴얼이 모든 행정기관의 관련 공무원들 모두를 만족시키기 힘들다는 점이다. 예를 들어 간접측정을 이용하는 경우에도 회귀계수를 항목별 가중치로 부여하는 경우가 있는가하면 단순한 상관계수를 가중치로 부여하는 경우도 있다. 따라서 매뉴얼은 만족도 조사의 기본적 절차와 요구조건들에 대한 교육의 의미에 한정시켜 이용할 필요가 있다. 차후에 이러한 기본조건들과 측정의 과정을 중심으로 해당 행정기관의 특수성을 반영한 좀 더 포괄적인 매뉴얼의 개발이 요구된다. 둘째, 매뉴얼에서 개선방안으로 제시되고 있는 사항들 가운데 구체적인 예를 풍부하게 제공하고 있지 못하다. 이는 각 행정부처에서 제공하고 있는 정보가 빈약하여 해당부처의 관행에 대해 상당부분 이론적 추론에 의존할 수밖에 없고 따라서 그만큼 구체적인 예시를 제공하기 힘들다. 이러한 문제점과 한계 역시 차후 행정부처들의 만족도 조사에 과정에 대한 좀 더 구체적인 정보와 결과를 통해 보완할 필요가 있음을 인정한다.6. 정책적 시사점본 연구의 정책점 시사점은 다음의 세가지로 정리할 수 있다. 첫째, 중앙행정기관의 성과관리를 점검하고 있는 국무총리실 등은 성과관리계획 상에 제시되는 고객만족도 성과지표에 대한 주요 정보 기준을 제시할 필요가 있다. 약 천 개나 되는 고객만족도 성과지표는 해당되는 관리과제의 고객이나 업무 성격이 다르기 때문에 똑같은 조사방법론을 사용할 수 없다. 하지만 만족도 조사의 신뢰성과 타당성을 보여주는 최소한의 기준에 따라 관련 정보를 제공하는 것이 필요하다. 왜냐하면 성과관리계획에서 제시된 성과지표에 따라 자체평가가 이루어지고 이 평가결과는 부서별, 담당자별 성과급 등에 반영됨으로 인해 이전에 비해 평가의 공정성 문제가 중요해지고 있기 때문이다. 그리고 평가의 공정성 문제는 성과지표, 목표치 등에 대한 타당성 문제로 이어지고 있다. 나아가 자체평가위원들이 고객만족도 성과지표 자체를 신뢰할 수 있어야 평가를 공정하게 할 수 있다. 최소한의 기준에는 만족도 지표 분석틀 및 표준매뉴얼에서 제시한 측정모형, 사용된 척도, 환산방식, 조사 설계 등이 포함되어야 할 것이다. 한편 정부업무평가 및 성과관리를 총괄하는 국무총리실은, 부처의 만족도 조사가 과학적이며 체계적으로 이루어지도록 하기 위해 공공기관 만족도 조사 표준매뉴얼 등을 개발하여 보급할 필요가 있다. 그리고 이러한 매뉴얼에 입각해 만족도 조사가 이루어지는지 주기적으로 점검함으로써, 만족도 조사결과를 과대 포장한다든지, 성과평가에 악용하는 관행이 생기지 않도록 세심한 주의를 기울일 필요가 있다.둘째, 각 부처 성과관리 담당자 및 사업부서 공무원은 고객만족도 성과지표 개발 및 활용 시 고객만족도 표준매뉴얼이나 일반적인 조사방법론 등에 의거하여야 한다. 이를 위해 관련 전문기관으로부터 교육, 컨설팅 등을 지속적으로 받을 필요가 있다. 특히 공공부문에서 고객을 찾아내고 그들로부터 만족을 측정하는 것이 민간부문과는 많은 차이가 있기 때문에, 예비조사, 심층 분석, 사후 검증 등 조사결과의 신뢰성과 타당성을 높이기 위한 노력이 끊임없이 경주되어야 하고, 이 과정에서 전문기관은 유용한 도움을 많이 줄 수 있다. 일부 부처의 경우 만족도 지표와 관련된 고객만족도 조사만을 담당하는 부서를 별도로 운영하고 있거나 전담 공무원을 둘 정도로 만족도 조사 관리의 체계화를 꾀하고 있다. 또한 부처 내의 모든 만족도 조사를 외부 전문조사기관에 통합 발주함으로써 조사의 신뢰성과 타당성을 담보함과 동시에 조사결과의 공정성과 객관성을 높이려고 하고 있다. 이러한 부처의 노력은 자체평가의 비중이 점차 높아지고 평가의 공정성이 중요하게 부각되는 시점에서, 평가결과의 내부적 수용성을 높이는데도 기여할 것으로 생각된다. 만족도 조사에 대한 전문적이고 체계적인 관리시스템은 모든 부처 및 공공기관으로 확산될 필요가 있다. 수요자 중심의 행정, 국민을 우선하는 공직자의 입장에서 볼 때 새삼 더 강조할 필요가 있다.마지막으로 캐나다처럼 공공부문의 모든 기관이 제공하는 정책 및 서비스에 대한 공통의 만족도 조사 방법론 등을 수립하여 적용할 필요가 있다. 비교적 성과관리 제도를 체계적으로 운영하고 있는 캐나다는 CMT(Common Measurement Tool)라는 고객만족도 조사 수단을 개발하여, 모든 공공기관들이 이를 활용할 수 있도록 권장하고 있다. 모든 기관에 똑같이 적용하기는 힘들겠지만, 요금지불고객, 수혜자, 피규제자 등과 같은 고객의 분류방식을 활용하여 정책이나 공공서비스에 적용한다면 상당한 효과가 있을 것으로 생각된다.

다국어 초록 (Multilingual Abstract)

I. Research Background and Objective□Background of the Research○The government performance evaluation system in Korea has been improved to reinforce the autonomy of performance evaluation in the central government since enacting the 2006 Government Performance Evaluation Law. That is, the reinforcement of the autonomy of the government performance evaluation system has been reformed to reduce the burden of evaluation work and to guide performanceoriented public management.- Even though the government performance evaluation system is widely discussed to reinforce the self- evaluation of each government agency and the autonomy of performance management in terms of institution and system, there is little discussion about the analysis and improvement of performance indicators playing an important role in the self- evaluation of the Performance Management Plan. Therefore, considering the adaptability of performance indicators is important for establishing the performance management system related to government activities.□Objective of the Research○This paper provides an analysis for improving the government performance management system using satisfaction indicators in terms of criteria of meta- evaluation. This research focuses only on satisfaction indicators among other performance measurement indicators in the 2008 Performance Management Plan of 39 central government agencies. It builds up an analytic frame on customers` satisfaction and analyzes satisfaction indicators as a performance indicator. - This paper analyzes the current conditions of satisfaction surveys and satisfaction indicators used in government agencies and provides policy implications for better utilization. In addition, the paper suggests a standard manual of satisfaction surveys for public employees working for evaluation.II. Analysis Results□Analysis Results of Satisfaction Indicators○When satisfaction indicators of 39 central government agencies were reviewed, the satisfaction indicators were 14.5 percent as 910 out of 6,292 performance tasks, and 16.6 percent as 190 satisfaction indicators in 1,148 performance objectives. Also, 38 indicators being 3.5 percent of all satisfaction indicators are only providing a measurement model in satisfaction surveys. Only 32 percent of all satisfaction indicators shows the persons polled in the satisfaction surveys. Only 6 percent (65 indicators) of all indicators provide a specific research method for surveys in the Performance Management Plan. 47 out of 65 indicators are making use of internet and the computer as a survey method.□Public Employees` Survey Results○In the environmental aspect of satisfaction surveys, public employees understand the objectives, necessity, and pros and cons of the surveys very well; however, they evaluate that satisfaction indicators have relatively lower suitability in terms of performance measurement, validity and reliability of satisfaction surveys.○In the input aspect of satisfaction surveys, there are few pre- tests for those surveyed. The questionnaires are self- inspected, and they do not have enough budget for satisfaction surveys.○In the performance and process aspect of satisfaction surveys, the surveys are fulfilled by external professional institutions rather than by agencies themselves. In this case, public employees believe that there is higher reliability in terms of those surveyed, the size of sample, statistical significance, and the survey process.○In the output aspect of satisfaction surveys, when the result of satisfaction surveys is low, there are few re- tests. It is established that the results of satisfaction surveys are kept in the form of CDs or reports, and that many organizations use the results of satisfaction surveys for improving public projects or policies and for evaluating organizations or individuals. Despite the use of the results of satisfaction surveys, government employees believe that there is no close relationship between the results of satisfaction surveys and real governmental performance.○In the operation condition aspect of satisfaction surveys, it is established that often about 35 percent is the sampling size and that there also exist very small sampling size at times, about 5 percent (ex, 10 people 1,2% (n=2), 20 people 1.8% (n=3), 30 people 2.4% (n=4)). Therefore, satisfaction surveys need a guideline for appropriate sample size. Relative to satisfaction surveys, 75 percent of public employees do not have any education and expert advice. That is, they need a standard manual for the design and use of surveys, training, and expert advice.○Public employees in government agencies usually have utilized satisfaction indicators in Performance Management Plan due to several reasons: satisfaction indicators are suitable, it is not easy to change present satisfaction indicators into other performance indicators, and upper level governments (Prime Minister`s Office and Ministry of Strategy and Finance) strongly recommend the use of satisfaction indicators.○The results of the survey on the question of how to utilize satisfaction indicators as a performance indicator show that 58.8 percent of public employees are satisfied with the present level, while 23.9 percent want to decrease the use of satisfaction indicators and 16.1 percent hope to increase it. As it were, about 60 percent of public employees want to sustain the present level (proportion) in the use of satisfaction indicators.○In the operation problem aspect of satisfaction survey, the scarcity of manpower and public employees` specialties are major problems for using satisfaction survey. Also, there is an acute shortage of education and training for satisfaction surveys. Therefore, these reasons make satisfaction surveys more and more distrusted. ○Finally, several suggestions in order to improve the overall satisfaction level with regard to the satisfaction surveys (indicators) are as follows: in the environmental aspect, public employees feel keenly the necessity, reliability and suitability of satisfaction survey. Next, in the input aspect, they need suitable education and training for research design, and they need to secure a budget for satisfaction surveys. Third, in the operation condition aspect, they need to make higher reliability and validity for those surveyed, sample size, characteristics, sampling method, period, and the use of the results. In the use aspect of survey results, the results should be open to the public and be utilized for achieving the objectives of policy/organization/ performance/budget.III. Policy Recommendations○First, the Prime Minister`s Office that supervises the performance management of the central government agencies, needs to provide government agencies with important information related to the standard of satisfaction indicators. More than 1,000 performance indicators of customer satisfaction cannot be applied to the same research method due to the difference of customers and work. Nonetheless, at least the Prime Minister`s Office must offer essential information for securing reliability and validity in satisfaction surveys. Satisfaction indicators will become more important than before in terms of evaluating organizational and individual performance. Nonetheless, satisfaction indicators have many controversial issues in terms of their utilization as a performance indicator. For these reasons, the Prime Minister`s Office has to develop a standard manual for satisfaction surveys, both scientifically and systematically. The Office should periodically supervise each government agency on whether they use the standard manual or not and whether they use appropriately the survey results. ○Second, public employees working for performance management have to develop or use performance indicators through a standard manual or general research method. Also, they need continuous education and training about satisfaction surveys. ○Finally, we need to consider the Canadian case as a good benchmarking model wherein all public agencies use a common research method for satisfaction survey. Canada developed a Common Measurement Tool (CMT) scientifically and systematically. The Canadian federal government recommends the use of CMT for all public agencies. Even though it is difficult for all public agencies to apply CMT, it is shown that the classification of customers such as pay-customers, beneficiaries and so on, is very helpful in the use of satisfaction surveys.