임베딩 모델을 통한 문장의 의미 및 구조적 유사성 비교 평가 = Evaluation of Semantic and Structural Similarity of Sentences Using Embedding Models

국문 초록 (Abstract)

본 논문은 검색 증강 생성(Retrieval-Augmented Generation)에서 활용되는 임베딩 모델의 중요성에 주목하여, 유사도 계산에 영향을 미치는 요인을 분석하였다. 임베딩 모델은 유사한 문장을 찾기 위해 텍스트를 실수 값의 벡터로 변환하고, 벡터 값을 기반으로 코사인 거리 값을 계산하여 그 결과에 따라 유사성을 결정 짓는다. 그러나, 해당 유사도 값이 문장의 의미적 유사도 외에도 다르게 해석할 수 있는 요인이 있어, 이를 찾아 분석하였다. 공개된 다양한 임베딩 모델을 대상으로 실험한 결과, 일부 모델은 문장의 구조적 유사성을 기준으로 유사도를 판단하는 경향이 있었으며, 동음이의어가 포함된 문장에서는 대부분의 모델이 정확한 유사도 평가를 하지 못하는 경우도 있었다. 본 연구는 모델별 성능 차이를 분석하고, 특정 목적에 적합한 임베딩 모델을 선택하는 방향성을 제시함으로써 RAG의 성능 개선에 기여할 수 있음을 보여준다.

다국어 초록 (Multilingual Abstract)

This paper focuses on the importance of embedding models used in Retrieval-Augmented Generation (RAG) and analyzes factors that influence similarity calculations. Embedding models convert text into real-valued vectors to identify similar sentences, with cosine distance being calculated based on these vectors to determine similarity. However, this similarity score can be influenced by factors other than semantic similarity. In this study, we analyze these factors. Experimental results with various publicly available embedding models reveal that some models tend to assess similarity based on sentence structure. Furthermore, most models struggle to accurately evaluate similarity when sentences contain homonyms. This study provides an analysis of performance differences between models and suggests guidelines for selecting embedding models appropriate for specific purposes, contributing to the performance enhancement of RAG systems.

참고문헌 (Reference)

• 1 "https://huggingface.co/sentence-transformers/paraph rase-multilingual-mpnet-base-v2"
• 2 "https://huggingface.co/sentence-transformers/paraph rase-multilingual-MiniLM-L12-v2"
• 3 "https://huggingface.co/sentence-transformers/distilus e-base-multilingual-cased-v2"
• 4 "https://huggingface.co/sentence-transformers/distilus e-base-multilingual-cased-v1"
• 5 "https://huggingface.co/sentence-transformers/all-mp net-base-v2"
• 6 "https://huggingface.co/sentence-transformers/LaBSE"
• 7 "https://huggingface.co/beademiguelperez/sentence-t ransformers-multilingual-e5-small"
• 8 "https://huggingface.co/BAAI/bge-m3"
• 9 "https://en.wikipedia.org/wiki/Cosine_similarity"
• 10 I. O. William, "Text Embedding Implementation Using Retrieval Augmented Generation (RA G) Model Combined With Large Language Model" 8 (8): 637-645, 2024
• 11 T. Gao, "SimCSE: Simple Contrasti ve Learning of Sentence Embeddings"
• 12 N. Reimers, "Sentence-BERT: Sentence Em beddings using Siamese BERT-Networks"
• 13 A. Asai, "Self-R AG: Learning to Retrieve, Generate, and Critique through Self-Reflection"
• 14 W. Yu, "Retrieval-augmented Generation across Heter ogeneous Knowledge" 52-58, 2022
• 15 P. Lewis, "Retrieval-Augmented Generatio n for Knowledge-Intensive NLP Tasks" 33 : 9459-9474, 2020
• 16 H. Kim, "Research Trends in Retrieval Augmented Generation and Vector Database Optimization for Artificial Intelligence Chatbots" 42 (42): 8-15, 2024
• 17 F. Feng, "Language-agnostic BERT Sentence Embedding" 878-891, 2022
• 18 N. Ampazis, "Improving RAG Quality for Large Langu age Models with Topic-Enhanced Reranking" 74-87, 2024
• 19 T. Schopf, "Effici ent Domain Adaptation of Sentence Embeddings Using Adapters" 1046-1053, 2023
• 20 Bhawana Prasain, "Cross encoders and bi-encoders"
• 21 S. Yan, "Corrective Retrieval Augmented Generation"
• 22 J. Chen, "BGE M3-Embedding : Multi-Lingual, Multi-Functionalit y, Multi-Granularity Text Embeddings Through Self-Kno wledge Distillation"