KCI등재
대학 재정지원 사업 선정 평가의 순위 역전(rank reversal) 문제와 대응 방안 = Analysis for a Methodological Problem in selecting recipients of Governmental Funding Project
저자
발행기관
학술지명
敎育財政 經濟硏究(The Journal of economics and finance of education)
권호사항
발행연도
2012
작성언어
-주제어
KDC
372
등재정보
KCI등재
자료형태
학술저널
발행기관 URL
수록면
45-75(31쪽)
제공처
소장기관
매년 정부가 발표하고 있는 재정지원 사업 선정 결과는 대학에 큰 영향을 미치고 있다. 정부가 대학에 지원하는 사업 중 가장 큰 규모인 교육역량강화사업에 탈락한 대학은 재정적 위협을 받게 된다.
이 때문에 대학들은 선정 기준과 방식에 민감한 반응을 보일 수밖에 없다. 정부는 이에 따라 재정지원 사업의 객관성과 공정성을 높이기 위해 사전에 정해진 평가 지표를 토대로 순위를 낸 뒤 재정지원 대상과 액수를 결정하는 포뮬러를 활용하고 있다. 이 방식은 평가 지표의 실제 값(raw data)을 표준화(normalization)해 합산한 뒤 각 기관 별로 취득한 점수를 가지고 서열을 매기는 순위결정(ranking)이다.
본 연구는 대학 재정지원 사업 중 하나인 교육역량강화사업의 지원 대상자 선정 평가의 방법론 상 문제점을 분석했다.
첫째, 교육역량강화사업에서 활용되고 있는 순위결정은 대상 집단의 구성이 달라질 때 순위역전(rank reversal)이 나타난다. 2011년 교육역량강화사업에 있어서 4년제 일반대의 8개 유형별로 시뮬레이션을 실시한 결과 각 유형 별로 최하위 순위 대학 1개를 제외했을 때 수도권 대형과 지방 대형을 포함해 지방 중형, 지방 소형, 교육대, 산업대 등 6개 유형에서 기존 순위가 뒤바뀌는 현상이 나타났다. 특히 수도권 소형 대학에서는 순위역전에 따라 기존의 선정 대학이 탈락 대학으로, 탈락 대학이 선정 대학으로 뒤바뀌는 문제가 확인됐다.
둘째, 이러한 순위역전 현상을 일으키는 근본 원인은 척도가 다른 지표 데이터 값을 표준화하는 방법과 표준화된 점수를 합산하는 방법에 있는 것으로 나타났다. 예를 들어 기존 대상 집단에서 최하위 순위의 대학이 하나 제외됨에 따라 각 지표의 평균과 표준편차가 달라지고, 이에 따라 표준점수가 변화하면서 이 점수를 합산하는 과정에서 순위역전이 발생하는 것이다.
셋째, 표준화와 합산 방법을 바꾸지 않는다면 순위역전의 문제는 근본적으로 피할 수 없다. 대상 집단의 구성이 다소 바뀜에 따라 이처럼 순위역전이 발생한다면 순위결정의 안정성은 깨진다는 점에서 문제의 심각성이 있다.
이 문제는 정부의 방식과 동일하게 평가를 했을 때 나타난 것이다. 평가의 일관성과 신뢰성 측면에서 정책의 대안이 필요하다.
현재 정부재정지원 사업 선정 평가 뿐 아니라 표준화 및 점수 합산 방식의 순위를 내는 방법론을 활용하는 평가가 갈수록 늘어나고 있다. 예를 들어 언론사에 의한 대학 평가, 대학 자체 평가, 기관 평가 등에서도 주관적 심사 방식 대신 객관적인 지표 값을 활용한 선정 평가가 광범위하게 적용되고 있다. 이러한 평가 역시 정부 재정지원 사업 평가에서 나타나는 순위역전 문제에 취약하다. 순위 역전 문제에 대한 추가적인 연구가 필요하며, 이 문제를 피할 수 있는 대안적 방법론도 향후 연구과제가 될 것이다.
The purpose of this article is to focus on a methodological problem in selecting recipients in Educational Capacity Enhancement Project(ECEP). ECEP is the largest governmental funding project to support chosen universities which have higher standardized scores in evaluation indicators such as the graduate employment rate, ratio of student enrollment as of total quota, full time faculty rate, scholarship provision rates and educational expenses per student. The Government has annually evaluated universities by ranking with composite indicators and standardized scores ,and allocated limited financial resources to chosen recipients for boosting their educational capacities since 2008.
In this study, it is found that ranking reversals in evaluating universities for ECEP occurred at all categories for funding. Rank reversal means ranking irregularity when the set of subjects is modified by the way of excluding the worst one and re-calculating ranking scores. In example, the rank of A and B is reversed as a result of the exclusion of alternative D. It could reach contradictory results and endanger reliability and stability of the evaluation mechanism relying on ranking.
This study analyses the causes of rank reversal phenomenon. Some normalization method by standardized scores could result in rank reversals. Normalization is required prior to any data aggregation as the indicators in a data set often have different measurement units. And the use of additive aggregations could also lead to the same problems because of its full compensability, such that poor performance in some indicators can be compensated for by sufficiently high values in other indicators.
This study proves that these rank reversals are not possible when a proper normalization method is adopted and a multiplicative aggregation rule is used.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)