생성형 AI가 야기하는 형사법적 문제와 대응방향 - 가짜뉴스와 딥페이크 음란물을 중심으로 - = Criminal Law Issues and Countermeasures Arising from Generative AI - Focusing on Fake news and Deepfake pornography -

국문 초록 (Abstract)

생성형 AI의 등장은 그 유익함 만큼이나 가짜뉴스의 확산에 따른 사회혼란과 누구나 딥페이크 성범죄의 피해자가 될 수 있다는 불안감을 야기하고 있다. 이러한 생성형 AI를 비롯한 인공지능기술의 부작용으로 인해 야기될 사회혼란과 불안감의 확산에 적절히 대응하기 위해 이미 세계 각국은 인공지능의 개발과 이용의 전반에 대한 법체계를 마련하거나 딥페이크 영상물등 AI로 인해 생성되는 불법콘텐츠에 개별화된 규제정책을 내어놓고 있고, 한국도 그러한 노력에 동참하고 있다. 인공지능의 개발과 이용 전반에 대한 법정책은 미국과 유럽이 다른 방향성을 보이고 있고, 한국의 경우 개별적인 문제상황이나 컨텐츠에 대해서는 비교적 적극적이고 공격적인 형사정책을 취하고 있지만 인공지능의 개발과 이용 전반에 대해서는 아직 구체적인 방향성을 정립하고 있지는 못한 상황이라고 할 수 있다.
생성형 AI가 야기할 문제상황에 대해 위험사회의 도래를 적극적으로 주창하며 형법의 적극적 기능변화를 요구하는 의견도 적지 않지만, 아직은 자유주의적・법치국가적 형법원칙을 견지해야 하는 상황이라고 생각한다. 하지만 생성형 AI는 아직은 ‘좋은 도구’이자 기술적 수단일 뿐 그 자체로 인간을 위협할 만한 독자적인 주체가 등장하였다고 보기는 어렵고, 기술의 발전을 위해 형법은 되도록 그 모습을 드러내지 않는 것이 바람직한 상황이라고 할 수 있다. 그렇다 하더라도 생성형 AI시대에 정보 이용의 신뢰성과 긍정적 정보이용 문화의 형성을 위한 최소한 장치로 생성형 AI 생성물에 대한 표시의무의 부과와 그에 대한 제제규범의 마련은 필요할 것으로 보이고, 타인의 법익을 침해하거나 명백히 악의적인 목적으로 생성형 AI를 이용하는 악의적 이용자에 대한 사전적 형법개입은 현재 형사입법자의 경향성으로 볼 때 불가피성을 강조하며 도입될 가능성이 커 보인다.
하지만 개별적인 측면에서 가짜뉴스에 대한 규범적 규제는, 규제의 불가피성을 주장하는 견해가 많음에도 불구하고 표현의 자유라는 법리상의 근본적 한계를 넘어서기는 어려워 보인다. 딥페이크 음란물의 경우에도 이미 개념과 규제법제가 존재하는 만큼 이를 넘어서는 형사처벌대상의 확장이 필요한 시점이라고는 보여지지 않는다. 다만 가짜뉴스의 경우에는 민관이 협력하는 기술적・정책적 대응이 필요해 보이고, 딥페이크 음란물의 경우에는 피해자보호와 적극적 수사활동을 위한 법적 방안의 정비가 요청되는 상황이라고 할 수 있다.

다국어 초록 (Multilingual Abstract)

The emergence of generative AI, while beneficial, is also causing social unrest due to the spread of fake news and instilling a sense of anxiety that anyone could become a victim of deepfake sexual crimes. In response to the societal confusion and growing fear caused by the side effects of generative AI and other artificial intelligence technologies, many countries have already established legal frameworks governing the development and use of AI or introduced specific regulatory policies for illegal content generated by AI, such as deepfake videos. South Korea is also participating in these efforts.
Legal and policy approaches to AI development and use differ between the U.S. and Europe. While South Korea is relatively proactive and aggressive in its criminal policies toward specific issues or content, it has yet to establish a concrete direction regarding the broader development and use of AI. There are voices advocating for a more assertive shift in criminal law, warning of the risks that generative AI might bring and calling for changes in the law’s role, but I believe it is still necessary to uphold the principles of liberalism and the rule of law in criminal justice.
Generative AI is still just a 'useful tool' and a technical means, and it is difficult to assess it as an independent agent that could threaten humans. Therefore, it is preferable for criminal law to remain as inconspicuous as possible to allow technological progress. Nonetheless, to ensure the reliability of information usage and foster a positive information use culture in the era of generative AI, it seems necessary to introduce mandatory labeling of AI-generated content and establish regulatory norms. Additionally, given the current tendencies of criminal legislators, preemptive legal interventions against malicious users who infringe on others' rights or use generative AI with clearly malicious intent seem likely to be implemented.
However, when it comes to fake news, normative regulations face fundamental limitations due to the principle of freedom of expression, despite the many arguments in favor of inevitable regulation. As for deepfake pornography, since the concept and regulatory framework already exist, it does not seem to be the right time to expand criminal punishment beyond what is already in place. Nevertheless, in the case of fake news, a collaborative technical and policy response between the public and private sectors appears necessary, and in the case of deepfake pornography, there is a need to strengthen legal measures for victim protection and active investigative efforts.