대학 글쓰기 수업에서의 ChatGPT ‘환각(Hallucination)’ 교육 사례 연구 = A Case Study of ChatGPT 'Hallucination' Training in a University Writing Class

국문 초록 (Abstract)

본 연구는 학습자들이 ChatGPT를 학습 도구로 적절하고 주체적으로 활용하기 위해서는 ChatGPT의 오류와 한계에 대해 정확히 이해를 하고 있어야 한다는 문제의식에서 ChatGPT의 ‘환각’ 완화 방안 교육의 필요성과 함께 교육 방안과 사례를 제시하였다.
H대학의 필수 교양 <말하기와 글쓰기> 수업 3개 분반 학습자를 대상으로 75분 2차시에 걸쳐 ‘환각’ 개념 이해, 유형에 따른 분류, 완화 방안 교육을 실시하였다. 개념 이해 및 사례 찾기 활동을 통해 학습자의 흥미를 유발하고, ‘환각’의 위험성을 공유하였으며, ‘환각’의 유형 교육에서는 기존 연구 결과를 토대로 ‘환각’ 유형을 소개하여 ChatGPT ‘환각’에 대한 이해를 높였다. ‘환각’ 완화 방안 교육에서는 프롬프트 작성 단계와 답변 결과를 검증하는 단계로 나누어 학습자가 ChatGPT ‘환각’ 발생을 완화하기 위해 참조할 수 있는 방안을 추천했다.
매 차시 교육 효과를 검증하기 위하여 퀴즈를 제시하여 개념을 알고 있는지 지식 측면의 이해를 확인하였고, 실제로 ‘환각’의 오류를 수정할 수 있는지를 확인하였다. 이어서 설문조사를 실시하여 유형, 개념, 완화 방안 순으로 학습자에게 도움이 되었음을 확인하였다. ‘환각’ 교육의 효과에 대한 긍정적인 평가는 학습자들이 ‘환각’에 대한 경각심을 갖게 되었다는 점, 검증 필요성 및 그 어려움을 인식하게 되었다는 점, 검색 엔진과의 비교를 진행하여 더 적절한 학습 ‘도구’를 선택할 수 있는 기준을 세우게 되었다는 점 등에서 찾을 수 있다.

다국어 초록 (Multilingual Abstract)

This study started from the problem that learners should have a clear understanding of the errors and limitations of ChatGPT in order to properly and actively utilize it as a learning tool. This study presented the need for 'Hallucination' education of ChatGPT, as well as education plans and examples.
The study was conducted on 105 learners in three classes of H University's required liberal arts <speaking and writing> class. Two 75-minute sessions were conducted to understand the concept of 'Hallucinations,' categorize them by type, and provide mitigation measures. Conceptualization and case-finding activities were used to arouse learners' interest and share the dangers of hallucinations. In the 'Hallucination Types' training, we introduced the types of 'Hallucinations' based on existing research results to enhance the understanding of ChatGPT 'Hallucinations'. In the 'Hallucination Mitigation Measures' training, we recommended measures that learners can refer to in order to mitigate the occurrence of ChatGPT hallucinations by dividing the training into the steps of creating prompts and validating the answer results.
To verify the effectiveness of the training, a quiz was given after each session to check the knowledge and understanding of the concepts, and to see if they could actually correct the 'hallucination' errors. Afterward, a survey was conducted to confirm that the training was helpful to the learners in understanding the type, concept, and mitigation measures. The positive evaluation of the effectiveness of the 'Hallucinations' training was based on the learners' awareness of 'Hallucinations', the need for verification and its difficulties, and the comparison with search engines, which provided a basis for choosing a more appropriate learning tool.

참고문헌 (Reference)

• 1 장민, "프롬프트 엔지니어" 알투스 1-260, 2023
• 2 강동훈, "챗지피티(Chat GPT)의 등장과 국어교육의 대응" 국어문학회 82 : 469-496, 2023
• 3 장성민, "챗GPT가 바꾸어 놓은 작문교육의 미래―인공지능 시대, 작문교육의 대응을 중심으로" 한국작문학회 56 : 7-34, 2023
• 4 이선종, "챗GPT 질문의 기술" 영진닷컴 384-, 2023
• 5 한예주, "챗GPT 등장과 저널리즘 공정성 논쟁 연구 : 현직 기자들의 심층인터뷰를 중심으로" 고려대학교 2023
• 6 반병현, "챗GPT : GPT 노마드의 탄생" 생능출판사 1-272, 2023
• 7 홍래성 ; 윤정안, "인공지능 시대의 리터러시에 관한 시론적 탐색―ChatGPT, 글쓰기 능력, 대학 글쓰기 교육 등에 초점을 맞추어" 89 : 53-85, 2023
• 8 전지니, "인공지능 시대 대학생을 위한 말하기와 글쓰기" 태학사 1-450, 2024
• 9 행정안전부 국가기록원, "이달의 기록"
• 10 조별, "생성형 인공지능 시대의 대학 글쓰기 교육과 평가의 방향" 돈암어문학회 44 : 7-34, 2023
• 11 남시현, "생성형 AI의 최대 난제, ‘할루시네이션’"
• 12 양 은 영, "생성형 AI의 개발 및 이용에 관한 규제의 필요성―대규모 언어모델에기반한 대화형 인공지능 서비스(LLMs AI)를 중심으로" 성균관대학교 법학연구원 35 (35): 293-325, 2023
• 13 윤인선, "생성형 AI 시대의 교양교육으로서 글쓰기 교육과 리터러시 역량" 한국리터러시학회 14 (14): 13-40, 2023
• 14 이용호, "뻔뻔한 거짓말, 할루시네이션Hallucination, 똑똑하면서 멍청한 챗gpt"
• 15 한수영, "디지털 전환시대의 책읽기 : 지식콘텐츠, 챗GPT 그리고 고전" 한국고전연구학회 60 : 161-184, 2023
• 16 김상철, "대학에서의 AI 활용 가이드라인 현황 및 설계 방향 연구" 목원대학교 교양교육혁신연구센터 13 : 11-44, 2023
• 17 이윤빈, "대학생 필자의 글쓰기 과정에서 챗GPT에 대한 질문 양상 연구―쓰기수준별 필자 집단의 비교를 중심으로" 한국교양교육학회 17 (17): 35-52, 2023
• 18 최상민, "대학생 글쓰기 교육에서 ‘생성형 AI’ 활용 방안에 대한 시론-조선대 <열린사고와 표현> 교과목에서의 활용 사례를 중심으로" 한국리터러시학회 55 : 269-293, 2023
• 19 전종희, "대학교육의 챗GPT 대응 현황 및 방안 연구" 한국국제문화교류학회 12 (12): 517-548, 2023
• 20 오선경 ; 장미정 ; 박정은, "대학 글쓰기에서의 생성형 AI 활용 윤리에 대한 학부생 인식 연구" 한국리터러시학회 14 (14): 69-96, 2023
• 21 오선경, "대학 교양 글쓰기에서의 챗GPT 활용 사례와 학습자 인식 연구" 한국교양교육학회 17 (17): 11-23, 2023
• 22 이규연, "뉴사피엔스 챗GPT" 광문각출판미디어 1-256, 2023
• 23 송광호, "김대식 교수 “챗GPT 사용 못 하면 직업 전선서 도태될 수도”"
• 24 홍진옥 ; 전기화, "글쓰기 수업 내 챗GPT의 활용 가능성―서평 쓰기 수업을 중심으로" 한국작문학회 59 : 7-35, 2023
• 25 "극지e야기"
• 26 강남수, "과학 관련 사회적 쟁점(SSI)토론 수업에서 생성형 AI 의 활용이 고등학생의 담화 요소와 생성형 AI 활용에 대한 인식에 미치는 영향" 한국교원대학교 2024
• 27 Chomsky, Noam, "The False Promise of ChatGPT"
• 28 Ji, Ziwei, "Survey of Hallucination in Natural Language Generation" 1 (1): 2022
• 29 "Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models"
• 30 Metz, Cade, "OpenAI to Offer New Version of ChatGPT for a $20 Monthly Fee"
• 31 Bender, M. Emily, "On the Dangers of Stochastic Parrots : Can Language Models Be Too Big?" 2021
• 32 Rachyl, Jones, "It's time to get serious about AI hallucinations"
• 33 Chui, Michael, "Generative AI is here: How tools like ChatGPT could change your business"
• 34 OpenAI, "GPT-4 Technical Report" 1-46, 2023
• 35 윤기영, "ChatGPT의 한계와 가능성" 국가미래연구원
• 36 Marr, Bernard, "ChatGPT: What Are Hallucinations And Why Are They A Problem For AI Systems"
• 37 Van Dis, A. M. Eva, "ChatGPT: Five priorities for research" 614 (614): 224-226, 2023
• 38 노대원 ; 홍미선, "ChatGPT 글쓰기 표절 대응과 교육적 활용 전략" 국어교육학회 82 : 71-102, 2023
• 39 Rohit, Shewale, "ChatGPT Statistics-Users, Revenue"
• 40 박남기, "AI 시대의 대학 교양교육 패러다임 탐색" 숙명여자대학교 교양교육연구소 8 : 7-41, 2023
• 41 Shah, Hardik, "4 Types of AI hallucinations"