인공지능기본법상 “고영향 인공지능”과 관련된 기본권 논의 - EU의 AI규제법과 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능기본법)’ 비교를 겸하여 - = A Constitutional Analysis of Fundamental Rights in Relation to High-Impact Artificial Intelligence - With a Comparative Study of the EU AI Act and the Framework Act on the Promotion of Artificial Intelligence and the Establishment of Trust in Korea -

국문 초록 (Abstract)

본고에서는 ｢인공지능 발전과 신뢰 기반 조성 등에 관한 기본법｣(이하 인공지능기본법)에서 정의하는 ‘고영향 인공지능’의 개념과 법적 구조를 분석하고, 그것이 가지는 헌법적 쟁점을 다각도로 검토한다. 특히 인간의 생명, 신체, 안전, 기본권 등에 중대한 영향을 미칠 수 있는 인공지능 시스템에 대해 헌법적 통제의 필요성과 방향성을 제시하는 데 주안점을 두었다. 최근 생성형 인공지능 등 기술의 급격한 발전과 함께 인공지능의 결정과 판단이 인간의 삶에 직접적인 영향을 미치는 고위험 분야로 빠르게 확산되고 있으며, 이로 인해 기술의 중립성을 전제로 한 기존 법제의 한계가 명확히 드러나고 있다.
이에 따라 본 연구는 세계 최초의 포괄적 인공지능 규제법인 EU의 ｢AI Act｣와 우리나라 인공지능기본법을 비교법적으로 분석하였다. EU의 AI규제법은 인공지능을 위험도에 따라 전면금지ㆍ고위험ㆍ제한적 위험ㆍ최소 위험으로 분류하고, 위험 수준에 따라 차등적인 규제와 처벌을 명시함으로써 기본권 침해 가능성에 대응하고 있다. 반면, 우리나라 인공지능기본법은 ‘위험’ 대신 ‘영향’이라는 개념을 도입하여 규제의 수위를 낮추고, 영향평가 및 자율적 책임 강화 방식에 초점을 두고 있는 점에서 산업 진흥 중심의 정책 방향을 반영하고 있다. 그러나 이러한 영향평가 방식은 실질적인 통제 수단이 되기에는 한계가 있으며, 기본권 침해 상황에 대한 예방적 대응이나 사후적 구제 수단이 미흡하다는 평가를 받을 수 있다.
고영향 인공지능은 채용, 대출, 의료, 교통, 공공행정 등 다양한 분야에서 인간의 존엄성과 권리에 직접적인 영향을 미칠 수 있다. 이로 인해 개인정보 자기결정권, 평등권, 직업 선택의 자유, 적법절차 원칙 등 헌법상 핵심 권리들이 위협받을 수 있으며, 이에 대한 입법적 대비가 불충분한 경우 규제 공백 상태에서 예기치 못한 권리침해가 발생할 우려가 있다. 특히 고영향 인공지능의 의사결정 구조는 인간의 개입 여지를 약화시키고, 알고리즘 편향, 설명 불가능성, 책임소재 불명확성 등의 문제를 동반함으로써, 기존의 헌법질서에 적합한 새로운 규율체계의 필요성을 강하게 제기하고 있다.
따라서 본 논문은 고영향 인공지능에 대한 규제는 단순한 기술 통제를 넘어서 헌법적 정당성과 국민의 기본권 보호를 최우선에 두어야 한다고 본다. 이를 위해 고영향 인공지능의 정의와 규제 대상 범위를 보다 명확하게 설정하고, 영향평가 제도의 실효성을 확보하며, 설명가능성과 이의제기 절차를 보장하는 법적 장치를 마련하는 것이 시급하다. 또한 인간 중심의 AI 원칙, 데이터 편향 방지 의무, 개인정보 최소수집 원칙, 사회적 재교육 및 안전망 구축 등을 통해 기술의 진보와 권리 보호의 균형을 실현하는 것이 중요하다. 본 연구는 헌법적 관점에서 인공지능기본법을 재조명함으로써, 향후 인공지능 규제정책의 정합성과 제도적 완결성을 확보하는 데 기여하고자 한다.

다국어 초록 (Multilingual Abstract)

This paper examines the constitutional implications of the term "High-Impact Artificial Intelligence" (HI-AI) as defined in Korea’s Framework Act on the Promotion of AI and Establishment of Trust (2024). With the rapid development of generative AI and its increasing integration into high-risk sectors such as healthcare, public administration, finance, and transportation, concerns about potential infringements on fundamental rights—such as human dignity, privacy, and equality—are intensifying. In response, this study analyzes the legal responsibilities and regulatory framework imposed on HI-AI in Korea’s framework law, while engaging in a comparative legal analysis with the European Union’s Artificial Intelligence Act, the world’s first comprehensive AI regulatory regime.
The EU AI Act adopts a risk-based classification model, introducing strict prohibitions and pre-market requirements for AI systems that pose unacceptable or high risks to fundamental rights. In contrast, Korea’s framework law employs the term “high-impact” rather than “high-risk,” emphasizing regulatory management through transparency, user protection, and human oversight without corresponding enforcement measures or sanctions of comparable magnitude. While the Korean law is more industry- friendly and oriented toward technological promotion, it faces criticism for its limited legal enforceability and potential gaps in rights protection.
From a constitutional perspective, HI-AI systems can affect core rights such as the right to human dignity, the right to informational self-determination, the right to equality, the freedom to choose one’s occupation, and due process. Particularly problematic are issues surrounding algorithmic bias, accountability, lack of explainability, and limited mechanisms for legal redress. As such, this study argues that constitutional legitimacy should form the foundation of any regulatory framework for HI-AI and recommends enhancements to ensure transparency, enforceable rights to explanation and objection, and legal certainty in governance structures.
Ultimately, the paper advocates for a balanced regulatory approach that fosters innovation while firmly anchoring AI development within a human-centered constitutional framework. It underscores the necessity for robust institutional safeguards that harmonize AI advancement with the protection of individual rights in the digital age.