Prompt as Query : 프롬프트 기반 MLM을 활용한 MRC style 감정-원인쌍 추출 모델

국문 초록 (Abstract)

Emotion Cause Pair Extraction(ECPE), 즉 감정-원인쌍 추출은 기존의 감정인식 또는 감성분석 과제에서 나아가, 감정의 원인까지 추출하는 과제로, 그 유용함에 많은 주목을 받고 있다. 기존 연구에서는 쌍 추출을 위해 cartesian product를 사용하거나, 절 간의 문맥을 형성하기 위해 LSTM과 같은 추가적인 layer를 도입하는 경우가 대다수였다. 하지만 이는 연산량을 증가시켜, 학습과 추론을 느리게 만드는 원인이 되었다.

본 연구에서는 MRC style Prompt Based MLM을 도입하여 위에서 언급한 연산량 증가 문제를 해결하고 성능을 향상시키고자 한다. MRC(Machine Reading Comprehension, 기계독해) 형태의 ECPE는 감정-원인간의 관계를 명확히 모델링 한다는 장점이 있고 cartesian product에 의존하지 않는다. 이에 더해 Prompt Based Fine Tuning은 사전학습모델이 가지고 있는 고유의 지식을 최대한 사용하므로 추가적인 layer를 사용할 필요가 없어진다. 따라서 MRC와 Prompt Based Fine Tuning의 결합은 성능은 향상시키면서 연산량을 줄일 수 있는 방법이다. 본 연구는 이에 더해 MRC 형태의 ECPE의 성격에 맞게, 추론 시의 원인절 예측을 강제하여 성능을 높이는 방안을 제안한다.

결과적으로, 본 연구에서 제안하는 방식으로 학습된 모델이 ECPE 영어 데이터셋에서 state-of-the-arts를 달성하였으며, 기존 모델들에 비하여 학습시간과 추론시간에서도 강점이 있음을 보여주었다.

다국어 초록 (Multilingual Abstract)

Emotion Cause Pair Extraction (ECPE) is a task that goes beyond conventional emotion recognition or sentiment analysis tasks by extracting not only the emotions but also their causes. This task has received considerable attention due to its usefulness. Previous research mostly relied on using Cartesian product for pair extraction or introducing additional layers such as LSTM to form context between clauses. However, these approaches increased computational complexity, leading to slower training and inference processes.

In this study, we introduce the MRC (Machine Reading Comprehension) style Prompt Based MLM (Masked Language Model) to address the aforementioned issue of increased computational complexity and enhance performance. MRC-based ECPE, in the form of Prompt Based Fine Tuning, offers the advantage of explicitly modeling the relationship between emotions and causes without relying on the Cartesian product. Furthermore, Prompt Based Fine Tuning eliminates the need for additional layers by utilizing the inherent knowledge of pre-trained models to the fullest extent. Therefore, the combination of MRC and Prompt Based Fine Tuning provides a method to improve performance while reducing computational complexity. Additionally, this study proposes a method to enhance performance by enforcing the prediction of cause clauses during inference, which aligns with the nature of MRC-based ECPE.

As a result, the model trained using the proposed approach in this study achieved state-of-the-art performance on an ECPE English dataset and demonstrated advantages in terms of training and inference time compared to existing models.

목차 (Table of Contents)

• 국 문 요 약 V
• 1. 서론 및 연구배경 1
• 2. 관련연구 4
• 2.1. Emotion Cause Pair Extraction 4
• 2.2. Prompt Based Fine Tuning 5
• 3. 연구방법 8
• 3.1. Prompt Design 8
• 3.2. Prompt Based Masked Language Modeling 10
• 3.3. 원인절 예측 강제 12
• 4. 실험 및 분석 15
• 4.1. 실험 설계 15
• 4.1.1. 데이터셋 16
• 4.1.2. 평가 방식 16
• 4.1.3. 실험 환경 16
• 4.1.4. 비교 모델 17
• 4.2. 성능 비교 19
• 4.3. Logit 차이 기반 원인절 강제 예측의 효과 21
• 5. 결론 및 향후 연구 24
• 5.1 요약 및 결론 24
• 5.2 연구의 미흡점 및 향후 연구 방향 24
• 참고문헌 26
• 영문요약 29