누구를 위한 디지털 전환인가? 자동화된 복지행정의 위험성 = Digital Transformation for Whom? Risks of Automated Welfare Services

국문 초록 (Abstract)

인공지능 등 신기술에 기반한 행정서비스의 급속한 도입은 기회와 위기를 동시에 가져오고 있다. 한편으로는 과도한 자원과 인력이 소모되던 방대한 데이터의 수집과 처리, 사각지대의 발굴, 보다 과학적인 의사결정 보조, 고객친화적인 서비스 경험 등을 가능케하면서 정책 및 행정서비스 과정을 보다 효율적⋅효과적으로 만들고 있는 반면, 수집한 개인정보의 처리, 알고리즘 편중(bias)의 문제, 사이버보안과 같은 문제들을 양산하고 있다. 본 논문은 인공지능 기반 행정서비스가 인간에 미칠 수 있는 위험성에 주목하여, 이를 해결하기 위해 인공지능을 설계하고 도입하는 과정에서 어떠한 인간개입이 필요한지를 논한다. 자동화된 복지행정서비스가 사회적 약자인 복지수급자들에게 악영향을 끼친 대표적 사례인 호주의 로보데트 스캔들에 초점을 맞춰서, 인공지능 기반 행정서비스에 내재된 다양한 위험성(risk)에 대해 논의한 후, 이에 대처하기 위하여 인공지능 시스템 설계시 구비해야 할 조건으로 인간의 3중 개입(triple-loop human intervention)을 제시한다.

다국어 초록 (Multilingual Abstract)

The rapid adoption of public services based on emerging technologies such as artificial intelligence is bringing both opportunities and risks. On the one hand, it makes public service processes more efficient and effective by enabling the collection and processing of vast amounts of data known to consume excessive resources and manpower in the past. It also enables the identification of blind spots, more scientific decision support, and customer-friendly service experiences. On the other hand, it raises challenges such as handling of private information, algorithmic bias, and cybersecurity. This paper focuses on risks that AI-based public services might pose to humans and discusses how human intervention is needed in the process of designing and introducing such services. Focusing on the Robodebt scandal in Australia, a representative case where automated welfare services adversely affect socially vulnerable welfare recipients, this paper discusses various risks inherent in AI-based public services and proposes triple-loop human intervention as a condition for AI system design.

참고문헌 (Reference)

• 1 조인성, "행정 분야에서 인공지능(AI)의 적용 가능성-독일에서의 논의를 중심으로" 25 (25): 77-104, 2022
• 2 한명성, "정부의 인공지능(AI)기반 서비스에 대한 국민의 사용 의향 분석 : 공공가치와 확장된 기술수용모형을 중심으로" 21 (21): 388-402, 2021
• 3 안준모, "인공지능을 통한 행정의 고도화 : 기회와 도전" 30 (30): 1-33, 2021
• 4 김휘식, "인공지능에 의한 행정상 자동결정에 대한 규율과 권리구제" 22 : 301-340, 2021
• 5 김대인, "인공지능과 행정법총론체계의 변화" 13 (13): 108-128, 2020
• 6 유순덕, "인공지능 서비스 영향성 평가를 위한 분석 기준 연구" 23 (23): 7-13, 2023
• 7 정소윤, "인공지능 기술의 행정 활용에 관한 연구동향 및 쟁점 분석" 22 (22): 175-207, 2019
• 8 박동아, "인공지능 기반 대화형 공공 행정 챗봇 서비스에 관한 연구" 20 (20): 1347-1356, 2017
• 9 윤상오, "인공지능 기반 공공서비스의 주요 쟁점에 관한 연구 : 챗봇(ChatBot)서비스를 중심으로" 32 (32): 83-104, 2018
• 10 장창기 ; 성욱준, "인공지능 기반 공공서비스 정책수용 의도에 관한 연구: 개인의 인식과 디지털 리터러시 수준이 미치는 영향을 중심으로" 29 (29): 60-83, 2022
• 11 이종한, "스마트 규제를 위한 데이터플랫폼 구축 기본 계획 수립 연구" 경제인문사회연구회 2023
• 12 김이인정 ; 이종훈 ; 황하 ; 홍승헌, "레그테크 발전 동향과 규제혁신에의 함의 : 규제준수 및 리스크 관리를 중심으로" 31 (31): 161-192, 2022
• 13 김한솔 ; 김병조, "국내 공공부문 AI 활용에 관한 탐색적 연구 : 기술의 진화(進化)와 사용의 편중(偏重)" 57 (57): 205-246, 2023
• 14 이제복 ; 최상옥, "공공서비스 인공지능 ML 적용과 공공가치" 24 (24): 3-27, 2018
• 15 김법연, "공공분야 인공지능서비스의 영향평가제도 도입에 관한 연구" 27 (27): 171-219, 2023
• 16 김길수, "공공부문에서 인공지능 활용에 관한 연구" 33 (33): 27-48, 2019
• 17 박석희 ; 조강주, "공공기관 사회적 책임 이행수준의 격차 원인 탐색" 32 (32): 29-57, 2021
• 18 송진순, "공공 소통 증진을 위한 인공지능 챗봇의 기능 강화 방안과 정책 제언" 13 (13): 339-366, 2021
• 19 Johnson, K., "This Tool Could Protect Against AI Bias—If It Were Used"
• 20 Gotterbarn, Don, "Thinking professionally: When soon after is way too late: the deception of ‘opt-out’systems" 41 (41): 6-8, 2010
• 21 Murphy, Kristina, "The robodebt horror was all about boosting the budget. That’s the brutal truth"
• 22 O’Donovan, Darren, "Submission No. 15 to the Senate Community Affairs References Committee Inquiry into Centrelink’s compliance program"
• 23 Bryson, Joanna, "Standardizing ethical design for artificial intelligence and autonomous systems" 50 (50): 116-119, 2017
• 24 Edwards, Lilian, "Slave to the Algorithm? Why a ‘Right to an Explanation’ is Probably Not the Remedy You Are Looking For" 16 (16): 18-84, 2017
• 25 Henriques-Gomes, Luke, "Robodebt: government admits it will be forced to refund $550m under botched scheme"
• 26 Commonwealth of Australia, "Report: Royal Commission into the Robodebt Scheme" 2023
• 27 Benington, John, "Public value: Theory and practice" Palgrave Macmillan 2011
• 28 Jørgensen, Torben, "Public Values : An Inventory" 39 (39): 354-381, 2007
• 29 Amershi, Saleema, "Power to the people: The role of humans in interactive machine learning" 35 (35): 105-120, 2014
• 30 Simard, Patrice, "Machine Teaching: A New Paradigm for Building Machine Learning Systems"
• 31 Fails, Jerry A., "Interactive machine learning" 39-45, 2003
• 32 Monarch, Robert, "Human-in-the-loop Machine Learning: Active learning and annotation for human-centered AI" Manning Publications 2021
• 33 Wang, Jiangtao, "Human-in-the-loop Machine Learning: A Macro-Micro Perspective"
• 34 Goodman, Bryce, "European Union regulations on algorithmic decision-making and a “right to explanation”" 38 (38): 50-57, 2017
• 35 Holmberg, K., "Ethics in AI and Robotics : A Research Agenda" 35 (35): 823-836, 2020
• 36 Crawford, Kate, "Can an Algorithm be Agonistic? Ten Scenes from Life in Calculated Publics" 41 (41): 77-92, 2016
• 37 Braithwaite, Valerie, "Beyond the bubble that is Robodebt: How governments that lose integrity threaten democracy" 55 : 42-259, 2020
• 38 Cath, Corinne, "Artificial Intelligence and the ‘Good Society’: the US, EU, and UK approach" 24 : 505-528, 2018
• 39 Settles, Burr, "Active Learning Literature Survey" 52 (52): 11-, 2009
• 40 Osborne, Stephen, "A new theory for public service management? Toward a (public) service-dominant approach" 43 (43): 135-158, 2013