다자간 대화 시스템을 위한 예상 수신자 및 타겟발화 예측 태스크 = Expected Addressee and Target Utterance Prediction for Construction of Multi-Party Dialogue Systems

국문 초록 (Abstract)

최근 사람들간의 소통창구가 많아지면서 일대일 대화 뿐만 아닌 다자간의 대화가 많아지고 있으며, 이와 함께 다자간 대화를 분석하기 위한 연구가 활발히 이루어지고 있다. 기존에 제안된 다자대화 분석 모델들은 일반적으로 응답이 주어진 상태에서 최종 응답의 수신자, 즉 발화의 대상을 예측해 왔다. 그러나 이는 실제 다자간 대화 응답 생성에 필요한 작업과는 다르며, 실제 다자간 대화를 위해서는 발화자가 자신이 응답할 수신자를 선정하는 과정이 필요하다. 이를 위해, 본 논문에서는 응답 정보에 의존하지 않는 새로운 다자간 대화 수신자 예측 태스크를 제안한다. 제안한 태스크를 통해 실제 다자간 대화상에서 어떤 발화에 대답할지에 대한 예상 타겟발화와, 발화의 대상인 예상 수신자를 예측하여 맞추는 것을 목표로 한다. 또한 예상 타겟발화 및 수신자 예측을 위해 트랜스포머 인코더 기반의 마스크드 토큰 예측 학습 방식을 활용한 모델을 제안한다. 본 논문에서 제안하는 모델은 최종 응답이 없이 이전까지의 대화 맥락을 통해 현재 발화자의 예상 타겟발화와 예상 수신자를 예측한다. 제안한 모델은 Ubuntu IRC 데이터셋에서 예상 수신자 정확도 82%와 예상 타겟발화 정확도 68%의 성능을 획득하였으며, 이는 제안한 모델이 발화해야 하는 대상을 예측하여 다자간 대화 시스템에 활용할 수 있음을 보여준다. 이후 다자대화 데이터셋을 추가 제작하고 실제 다자간 대화 응답 생성 시스템에 적용하여 연구를 확장할 계획이다.

다국어 초록 (Multilingual Abstract)

As the number of communication channels between people has increased in recent years, there has been a rise in both multi-party conversations and one-to-one conversations. Research on analyzing multi-party conversations has also been active. In the past, models for analyzing such dialogues typically predicted the addressee of the final response based on the previous responses. However, this differs from the task of generating multi-party dialogue responses, which requires the speaker to select the addressee to whom they will respond. In this paper, we propose a new task for predicting the addressee of a multi-party dialogue that does not rely on response information. Our task aims to predict and match the expected target utterance with the expected addressee in a real multi-party dialogue. To accomplish this, we introduce a model that uses a transform encoder-based masked token prediction learning method. This model predicts the expected target utterance and the expected addressee of the current speaker based on the previous dialogue context, without considering the final response. The proposed model achieves an accuracy of 82% in predicting the expected recipient and 68% in predicting the expected target utterance accuracy on the Ubuntu IRC dataset. These results demonstrate the potential of our model for use in a multi-party dialogue system, as it can accurately predict the target utterance that should be used. Moving forward, we plan to expand our research by creating additional datasets for multi-party dialogues and applying them to real-world multilateral dialogue response generation systems.

참고문헌 (Reference)

• 1 Yang, Zhilin, "Xlnet : Generalized autoregressive pretraining for language understanding" 32 : 2019
• 2 Le, Ran, "Who is speaking to whom? learning to identify utterance addressee in multi-party conversations" 2019
• 3 Meng, Zhao, "Towards neural speaker modeling in multi-party conversation: The task, dataset, and models" 32 (32): 2018
• 4 Lowe, Ryan, "The Ubuntu Dialogue Corpus : A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems" 2015
• 5 Liu, Yinhan, "Roberta: A robustly optimized bert pretraining approach"
• 6 Wang, Weishi, "Response Selection for Multi-Party Conversations with Dynamic Topic Tracking" 2020
• 7 Gu, Jia-Chen, "MPC-BERT : A Pre-Trained Language Model for Multi-Party Conversation Understanding" 1 : 2021
• 8 Gu, Jia-Chen, "MADNet : Maximizing Addressee Deduction Expectation for Multi-Party Conversation Generation" 2023
• 9 Gu, Jia-Chen, "HeterMPC : A Heterogeneous Graph Neural Network for Response Generation in Multi-Party Conversations" 1 : 2022
• 10 Hu, Wenpeng, "Gsn : A graph-structured network for multi-party dialogues" 2019
• 11 Veličković, Petar, "Graph Attention Networks" 2018
• 12 Li, Yiyang, "EM Pre-training for Multi-party Dialogue Response Generation" 1 : 2023
• 13 Loshchilov, Ilya, "Decoupled weight decay regularization"
• 14 Devlin, Jacob, "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding" 1 : 2019
• 15 Zhang, Rui, "Addressee and response selection in multi-party conversations with speaker interaction rnns" 32 (32): 2018
• 16 Ouchi, Hiroki, "Addressee and response selection for multi-party conversation" 2016