RAG 기법을 활용한 LLM 서비스 품질 향상을 위한 데이터 Chunking 전략에 대한 연구 = Research on Data Chunking Strategies for Enhancing LLM Service Quality Using the RAG Technique

다국어 초록 (Multilingual Abstract)

In the field of Natural Language Processing (NLP), language models like GPT have achieved significant success, yet the training approach that relies on large-scale data has limitations in providing information for specific domains. The Retrieval-Augmented Generation (RAG) technique aims to overcome these limitations by combining document retrieval and response generation to aim for more accurate information provision. This study focuses on analyzing the impact of document data chunking strategies, that is, the method of dividing data into processing units, on the performance of the RAG technique. Through experimentation, we evaluated how combinations of various chunk sizes affect search and generation performance. It was found that using combined composite chunk sizes generally contributes to improved search and answer performance compared to single chunk sizes. This can be interpreted as allowing the model to learn information in a more diverse context and thereby generate more accurate embeddings. We propose an optimal chunking strategy for improving the quality of LLM services by utilizing a composite chunk division approach.

국문 초록 (Abstract)

자연어 처리(NLP) 분야에서 GPT와 같은 언어 모델들이 큰 성과를 거두고 있으나, 대규모 데이터에 의존하는 훈련 방식은 특정 도메인에 대한 정보 제공에 한계를 가진다. RAG(Retrieval-Augmented Generation) 기법은 이 한계를 극복하기 위해 문서 검색과 응답 생성을 결합하여 더 정확한 정보 제공을 목표로 한다. 본 연구는 문서 데이터의 청킹 전략, 즉 데이터를 처리 단위로 나누는 방법이 RAG 기법의 성능에 미치는 영향을 집중적으로 분석한다. 실험을 통해 다양한 청크 크기의 조합이 검색 및 생성 성능에 어떤 영향을 미치는지 평가하였다. 단일 청크 사이즈보다 조합된 복합 청크 사이즈를 사용하는 것이 일반적으로 검색 및 답변 성능 향상에 기여할 수 있음을 확인하였다. 다양한 크기의 청크를 혼합함으로써 모델이 더 다양한 맥락에서 정보를 학습하고, 이를 통해 더 정확한 임베딩을 생성할 수 있기 때문으로 해석될 수 있다. 복합 청크 분할 방식을 사용하여 LLM 서비스의 품질 향상을 위한 최적의 청킹 전략을 제안한다.

목차 (Table of Contents)

• 초록 (국문) i
• ABSTRACT ii
• 목차 iii
• 표 목차 v
• 그림 목차 vi
• 1장. 서론 1
• 1.1 연구 배경 1
• 1.2 연구 목적 2
• 2장. 배경 지식 3
• 2.1 LLM (Large Language Model) 정의 3
• 2.2 LLM 동작원리 4
• 2.3 RAG (Retrieval-Augmented Generation) 정의 7
• 2.4 RAG의 작동 원리 7
• 2.5 RAG의 장점 및 한계 8
• 2.6 데이터 청킹의 중요성 9
• 3장. 실험 10
• 3.1 데이터 셋 10
• 3.2 실험 설계 11
• 4장. 연구 결과 17
• 4.1 연구 실험 결과 17
• 5장. 결론 24
• 참고문헌 25