KCI등재
생성AI의 기만수단으로의 오용: 실태, 대응기술, 법적 쟁점 = The Misuse of Generative AI for Deception: Status Quo, Mitigating Technologies, and Legal Challenges
생성AI(generative AI)의 대중화와 함께 생성한 딥페이크(deepfake) 등 합성매체(synthetic media)를 통해 사람을 참칭하고 사람의 작업으로 위장하며 허위정보의 생성을 조력하는 등 기만수단으로 오용하는 사례가 늘고 있다. 기만을 행하는 실행자ㆍ이용자에 대해서는 소비자ㆍ투자자 보호법, 공직선거법 등 기존 법제를 적극 적용하여 대응하되, 특히 폐해가 크고 사회적 신뢰를 훼손하는 사칭스캠․스피어피싱 등 범죄를 위한 합성매체의 생성에 대한 대응을 강화하는 한편, 기술적 조치 무력화를 금지ㆍ처벌하며, 소비자ㆍ투자자 보호나 공직선거 관련 가이드라인을 정비해야 한다. 생성AI의 기만적 오용이 야기하는 위해와 준수비용을 합산한 사회적 비용을 최소화하기 위해, 기반모델(foundation model) 제공자가 워터마킹(watermarking) 등 기술적 조치를 하고, 플랫폼은 이에 기한 탐지 툴을 제공함으로써, 수용자가 원하는 경우 기만적 합성매체를 쉽고 값싸게 회피하게 해주는 구조를 유도할 필요가 있으나, 이를 법적 의무로 부과하기보다는 세이프하버(safe harbor) 등 인센티브 부여로 구현해야 한다. 나아가 본래 공급자(supplier)인 기반모델의 제공자에게 EU AI 법안과 같이 “합리적으로 예견가능한 오용(reasonably foreseeable misuse)”에 대해서까지 책임을 지우는 등 관리ㆍ감독책임의 확장 방안이 논의될 수 있으나, 기만의 양태가 다른 오용에 비해 맥락특유적(context-specific)이라 합리적으로 예견가능한 경우는 실제 많지 않을 수 있고, 경직된 의무 부과가 남용-이용 상충(misuse-use tradeoff) 하에서 적법한 이용, 제공자의 모델 개방의 유인, 실행자의 활동공간, 표현의 자유를 위축시키고 하류시장에 대한 경영간섭과 남용을 유발할 수 있다는 점에서 신중을 기해야 한다. 다만, API 등 서비스 형태의 제공자가 기만행위의 발생 신고를 수령할 경우 실행자에 대한 API 등의 제공의 중지 또는 제한, 가능한 범위 내에서의 정보제공 등으로 신속히 대응하도록 하고, 피사칭자로부터 개인정보로서의 사진ㆍ영상ㆍ음성 정보의 처리중단을 요구받을 경우 그 구현절차를 명확히 하는 등 기만행위 대응을 위해 기존의 플랫폼과 유사한 비용효과적인 역할을 수행하게 할 필요가 있다.
더보기As generative AI applications become more widespread, so do their misuses in the form of deepfakes and other deceptive synthetic media made to impersonate real people, counterfeit or plagiarize authentic works, and disseminate disinformation. This paper explores how law enforcement and AI companies can play different roles and carry varying degrees of responsibility to contain AI abuses in society. Law enforcement must first apply existing laws to protect entities such as consumers and investors as well as social structures such as the electoral process. Lawmakers should also adapt the current legal system to address targeted concerns arising from deepfakes such as spear-phishing or astroturfing. AI companies at various points in the supply chain are also expected to partake in this effort. For instance, foundation model developers can integrate mitigating technologies like watermarking, while deployers and platform services can adapt filtering or detection tools. Here, the extent of responsibility borne by foundation model suppliers is still a point of contention – under the EU AI Act, foundation model suppliers are obligated to monitor downstream usages for “reasonably foreseeable misuse.” It is also crucial to be mindful of over-regulating the industry. Excessive legal obligations could restrict downstream usages, hinder freedom of expression, discourage model open-sourcing, and introduce other variations of market interference in application markets. Hence, this paper recommends law enforcement to facilitate model suppliers to self-regulate as in the U.S. or to implement incentive schemes such as safe harbor provisions. As a minimum safeguard, the providers, upon notice of deceptive output, should be prepared to respond promptly by shutting down or limiting API access, disclosing investigative information, and otherwise addressing requests from affected parties.
더보기분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)