한국어 생성문서의 사실성 평가 시스템과 사례연구 = Factuality Evaluation System for Korean Generated Documents and Case Study

국문 초록 (Abstract)

본 논문은 한국어 생성 문서의 사실성을 평가할 수 있는 프레임워크를 제시한다. 최근 대규모 언어모델들이 공개되면서 환각 현상을 통한 거짓 정보 생성 가능성이 증가함에 따라, 생성 문서의 정밀한 사실성 평가가 중요한 과제로 떠오르고 있다. 이를 위해 대상의 문화권과 인기도를 고려한 한국어 평가셋을 구축하였다. 또한, 사실성 평가 대상과 비대상의 구분할 수 있는 코어 원소 사실 문장 선별 모듈을 포함한 한국어 문서의 사실성 평가 소프트웨어를 개발하였다. 실험을 통해 제안된 프레임워크의 유효성을 정량적으로 확인하였고, 문서 생성에 사용된 언어모델 별 사실성 성능과 평가 대상의 특성(문화권 및 인기도)에 따른 성능 차이를 비교 분석하였다.

다국어 초록 (Multilingual Abstract)

This paper presents a framework for evaluating the factual consistency of LLM-generated documents in Korean. As large-scale language models become increasingly prevalent, the risk of generating non-factual information due to hallucinations has emerged as a critical concern, underscoring the need for accurate factuality assessment. We constructed a Korean factuality evaluation dataset that considers the cultural background and subject popularity, and we developed an evaluation system that includes a module for identifying verifiable core atomic facts. The effectiveness of the proposed framework is quantitatively validated through experiments, and we conduct a comparative analysis of factuality performance across different language models and subject characteristics, such as cultural domain and popularity.