한국어 가짜 구매후기 생성과 탐지 성능 평가 = Generation of Korean Fake Reviews and Evaluation of Detection Methods

국문 초록 (Abstract)

최근 챗지피티(ChatGPT)가 선풍적인 인기를 끌면서 일반 대중들도 일상생활에서 인공지능을 통해 텍스트를 생성할 수있게 되었다. 이에 따라 아마존과 같은 전자상거래 플랫폼에서 챗지피티를 통해 생성된 글이 올라오기 시작하였다. 그러나 전자상거래 플랫폼에서 구매 후기가 다른 고객의 구매 의사결정에 영향을 미칠 수 있다는 점에서 인공지능에 의해 생성된 가짜 구매후기를 탐지하는 것은 중요하다. 하지만 현재 한국에 생성된 텍스트에 대한 공개된 데이터셋이 없는 상황 이다. 이에 따라 본 연구는 두 단계 1) 가짜 구매후기 생성, 2) 가짜 구매후기 탐지로 진행되었다. 우선, 수집된 후기로 지시어 기반의 언어모델인 KULLM을 미세 조정하여 텍스트를 생성하였다. 생성된 텍스트의 품질은 자동 평가지표(혼란도, Rouge-L)와 사람의 지각평가를 통해 측정되었다. 그 후 분류 데이터셋을 구축하여 네 가지 BERT 기반의 언어모델과 DetectGPT 방법론을 탐지성능평가에 활용하였다. BERT 기반 언어모델의 평균 F1 점수는 0.98 이상으로 높은 탐지 성능을 보였다. DetectGPT의 F1 점수는 생성에 활용한 모델을 탐지에 그대로 활용한 경우에는 0.85, 모르는 경우에는 0.66의성능을 보여 언어모델 대비 낮은 탐지 성능을 보였다. 그러나 텍스트 생성에 활용되지 않은 다른 모델을 탐지에 활용한 경우에는 전처리가 성능을 향상시키는 것을 확인하였다. 본 연구의 기여점은 다음과 같다. 우선, 언어모델을 통한 가짜 구매 후기 데이터셋을 구축하였다. 또한 언어모델의 이진분류를 통한 성능 비교 외에도 새로운 방법론인 DetectGPT를 한국어에 적용하고, 생성된 모델을 아는 경우와 모르는 경우의 탐지 성능을 모두 측정하였다. 실무적으로는, 사람들이 거대언어모델이 생성한 텍스트를 식별하기 어렵다는 점을 확인함으로써 플랫폼은 생성된 구매후기를 관리해야한다는 점을 시사하였다.

다국어 초록 (Multilingual Abstract)

As ChatGPT has recently gained tremendous popularity, the public is able to generate text through generative AI in their daily lives. Consequently, reviews generated by ChatGPT have begun to appear on e-commerce platforms like Amazon. Since reviews on these platforms can influence other customers’ purchasing decisions, it is important to detect fake reviews generated by AI. However, there is no available dataset of generated texts in Korea. Therefore, this study was conducted in two stages: 1) fake reviews generation and 2) fake reviews detection. First, KULLM was fine-tuned to generate fake reviews. The quality of the texts were measured using automatic evaluation metrics (perplexity, Rouge-L) and human perception survey. Subsequently, four BERT-based language models and the DetectGPT were used for detection. The BERT-based language models showed high detection performance with average F1 scores above 0.98. In contrast, the DetectGPT had a relatively lower F1 score. The performance was 0.85 when the same model used for generation was also used for detection, and it was 0.66 when a different model was used for detection. However, preprocessing of texts improved performance when a different model, not used for text generation, was utilized for detection. The contributions of this study are as follows. First, we constructed LLM-generated text dataset for Korean. Also, we compared the detection performance of different models including BERT-based models and DetectGPT. Practically, this study indicates that people are hard to distinguish texts generated by large language models, suggesting that platforms need to manage these fake reviews to enhance the reliability of online reviews.