인공지능의 자동화된 의사결정에 대한 인간의 개입 = Human Intervention in Artificial Intelligence-Based Automated Decision-Making

국문 초록 (Abstract)

본 연구는 인공지능(AI)에 의한 자동화된 의사결정(automated decision-making, ADM)의 확산에 따라 제기되는 헌법적 문제를 분석하고, 특히 인간의 존엄성과 자기결정권 보장을 위한 ‘인간의 개입권’의 의의와 한계를 규명하는 것을 목적으로 한다. 오늘날 AI 기반 의사결정 시스템은 금융, 고용, 복지 등 다양한 영역에서 효율성과 일관성을 바탕으로 광범위하게 활용되고 있으나, 이러한 시스템은 개인의 삶에 중대한 영향을 미치면서도 불투명한 알고리즘 구조와 데이터 기반 추론에 의해 작동한다는 점에서 기본권 침해의 위험을 내포한다.
인공지능의 의사결정 과정은 데이터 수집·가공, 모델 학습, 추론 및 결과 도출이라는 일련의 단계로 구성되며, 이 과정에서 인간의 개입이 구조적으로 축소되거나 형식화될 수 있다. 특히 AI 시스템은 단순한 자동화 기술을 넘어 자율성과 추론능력을 기반으로 새로운 정보를 생성하는 특징을 가지며, 이는 기존의 인간 중심 의사결정과 질적으로 다른 위험을 발생시킨다. 예컨대 허위 상관관계에 기초한 예측의 문제 및 ‘예측된 프라이버시’의 침해, 집단 속성에 기반한 확률적 평가, 그리고 블랙박스 현상에 따른 설명가능성의 결여는 인간을 수단화하고 자기조정 기회를 박탈함으로써 인간의 존엄성을 위협한다.
이러한 문제의식 하에, 본 연구는 유럽연합 개인정보보호규칙(GDPR) 제22조를 중심으로 자동화된 의사결정에 대한 규율과 인간의 개입권의 법적 근거를 검토하고, 특히 유럽사법재판소의 Schufa 판결을 통해 ‘자동화된 결정’의 범위와 ‘의미 있는 인간의 개입’의 요건을 분석한다. 해당 판결은 형식적 개입이 아닌 실질적 판단능력과 책임을 수반하는 인간의 개입을 요구함으로써, 알고리즘에 대한 비판적 검토와 수정 가능성을 확보하는 방향을 제시한다. 나아가 본 글에서는 EU 인공지능법(AI Act)의 인간 감독(human oversight) 규정과의 비교를 통해, 자동화된 의사결정에 대한 다층적 통제구조를 검토한다. 특히 고위험 AI 시스템에 대해 설계 단계부터 운영 및 사후 통제에 이르기까지 인간의 개입을 제도화한 점은, GDPR 제22조의 개별 권리 중심 접근을 보완하는 중요한 진전으로 평가된다.
결론적으로, 인공지능의 자동화된 의사결정에 대한 인간의 개입은 단순한 기술적 보완수단이 아니라, 인간의 존엄성과 자기결정권을 보장하기 위한 헌법적 요청으로 이해되어야 한다. 따라서 국내 법제에서도 인간의 개입권을 명시적으로 도입하고, 형식적 개입을 넘어 실질적 통제와 책임을 담보할 수 있는 제도적 장치를 마련할 필요가 있다.

다국어 초록 (Multilingual Abstract)

This study examines the constitutional implications arising from the increasing use of artificial intelligence (AI)-based automated decision-making (ADM) and aims to clarify the significance and limits of the “right to human intervention” in safeguarding human dignity and the right to self-determination. While AI-driven decision-making systems are widely utilized across various sectors—such as finance, employment, and social welfare—due to their efficiency and consistency, they pose significant risks to fundamental rights, as they operate through opaque algorithmic structures and data-driven inferences that can substantially affect individuals’ lives.
First, this study analyzes the decision-making process of AI systems, which consists of data collection and preprocessing, model training, inference, and output generation, and highlights the structural reduction or formalization of human involvement throughout these stages. In particular, AI systems are characterized not merely by automation but by autonomy and inference capabilities, generating new information beyond predefined rules. This feature gives rise to qualitatively different risks compared to traditional human decision-making. Such risks include reliance on spurious correlations, infringements of “predictive privacy,” probabilistic assessments based on group characteristics, and a lack of explainability due to the so-called “black box” effect. These phenomena may reduce individuals to objects of data processing and deprive them of opportunities for self-regulation, thereby threatening human dignity.
Against this background, the study reviews the legal framework governing automated decision-making under Article 22 of the General Data Protection Regulation (GDPR), focusing on the legal basis of the right to human intervention. It further analyzes the Court of Justice of the European Union’s Schufa judgment, which provides important interpretative guidance on the scope of “automated decisions” and the requirements for “meaningful human intervention.” The judgment emphasizes that human involvement must be substantive, involving genuine decision-making authority and critical assessment, rather than merely formal or symbolic participation. Furthermore, this study explores the multi-layered regulatory approach to ADM by comparing the GDPR with the human oversight provisions under the EU Artificial Intelligence Act (AI Act). In particular, the AI Act’s requirement of human oversight throughout the lifecycle of high-risk AI systems—from design to operation and ex post control—represents a significant development that complements the individual rights-based approach of the GDPR.
In conclusion, human intervention in AI-based automated decision-making should not be understood as a mere technical safeguard but as a constitutional requirement essential to protecting human dignity and the right to self-determination. Accordingly, it is necessary for the domestic legal system to explicitly recognize the right to human intervention and to establish institutional mechanisms that ensure substantive oversight and accountability beyond formalistic involvement.