Topic-agnostic Few-shot Classification Framework using Dense Retrieval Model for Solving Real-world Applications = 퓨샷 러닝을 통해 토픽을 분류하는 프레임워크

다국어 초록 (Multilingual Abstract)

In the face of an ever-expanding array of information, there's a heightened need for classifying varied topics. Responding to this need, we present TFCF (Topic-agnostic Few-shot Classification Framework), a streamlined framework developed to equip classifiers for few-shot topic categorization. Within TFCF, text examples from a particular topic serve as queries to generate a Customized dataset through a dense retriever model. The Multi-query retrieval (MQR) algorithm, proficient in processing multiple topic-specific queries, is employed to shape this Customized dataset. We then optimize a classifier leveraging the Customized dataset to classify the topic. To underscore the efficiency of our methodology, we conduct experiments on both prevalent classification benchmark datasets and specially designed datasets encompassing 291 distinct topics that mirror the varied content found in practical environments. Notably, TFCF delivers performance on par with, or even exceeding, baseline models employing in-context learning methods, including GPT-3 175B and InstructGPT 175B. This is achieved even though TFCF operates with 177 times fewer parameters, attesting to its capability.

국문 초록 (Abstract)

최근 21세기 사회에서 점점 다양한 정보의 양이 늘어나면서 임의의 토픽 혹은 주제를 분류하는 요구가 점점 중요해지고 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 TFCF라는 소수의 예제를 통해 특정 토픽을 분류하는 학습시키기 위한 간단한 프레임워크를 제안한다. TFCF는 특정 토픽의 몇몇 예제들을 쿼리로 사용하여 Retrieval을 사용해 Customized dataset을 구축한다. Customized dataset을 구축할 때, 여러 개의 쿼리를 효과적으로 한 번에 처리하는 다중 쿼리 검색(MQR) 알고리즘을 최초로 제안한다. 다음과 같이 구축된 데이터셋을 사용하여 토픽을 분류하기 위한 분류기를 학습시키기 위해 미세 조정을 실시한다. 본 논문에서 소개하는 방법론의 유효성을 입증하기 위해서, 자연어처리에서 자주 사용되는 분류 벤치마크 데이터셋과 실제 애플리케이션에서 마주칠 수 있는 다양한 내용을 반영한 291개의 다양한 주제로 구성된 데이터셋을 직접 구축하여 평가를 진행한다. TFCF는 GPT-3 175B와 InstructGPT 175B와 같은 In-context Learning을 사용하는 베이스라인과 비교하여 훨씬 적은 파라미터에도 불구하고 대부분의 실험에서 비슷하거나 더 우수한 성능을 보여, 그 효과를 입증한다.

목차 (Table of Contents)

• Abstract i
• Contents ii
• List of Tables iv
• List of Figures v
• Chapter 1 Introduction 1
• 1.1 Problem Description 1
• 1.2 Research Motivation and Contribution 2
• 1.3 Organization of the Thesis 3
• Chapter 2 Literature Review 4
• 2.1 Review on Information Retrieval 4
• 2.2 Review on Retrieval-Augmented Methods in NLP 5
• 2.3 Review on In-context Learning with LLMs 6
• Chapter 3 Method 8
• 3.1 The Process of Building Customized dataset 9
• 3.2 Training Process in TFCF · 10
• 3.2 Enhancing the Potential of TFCF · 11
• Chapter 4 Experiment 12
• 4.1 Experimental Setup 12
• 4.2 Few-shot Topic Classification Task 13
• 4.3 Negative Queries on TFCF 16
• 4.4 Multi-class Classification Task 17
• Chapter 5 Discussion 20
• 5.1 Potential Points in TFCF 20
• 5.2 Data Collection 21
• 5.3 Real-world Applications 22
• Chapter 6 Conclusion 23
• 6.1 Conclusion · 23
• 6.2 Limitations· 23
• 6.3 Future Direction 24
• 6.4 Ethics Statement 24
• Reference 25
• Appendix 30
• 국문초록 42
• 감사의 글 43