Generative Mixture Models for Online User Behavior Recommendation = 혼합 생성모델 기반 온라인 추천시스템

다국어 초록 (Multilingual Abstract)

Online behavior recommendation is an important, yet challenging task in many online service platforms, including music streaming, video sharing, e-commerce, to name but a few. This task focuses on modeling the behavior pattern and predicting next actions of online users. Based on this prediction, online platforms can suggest suitable items or send appropriate advertisements to right users, which help improving the user experience. Online behavior recommendation can be considered in various aspects, including predicting behaviors that user used to perform with in the past, and suggesting those that users never performed before. The first type of behavior can be understood as “repeat behavior”, while the second one is “new behavior”. In real-world applications, users tend to perform both repeat and new behaviors; thus, it is necessary to develop models that can make accurate prediction of both types. There are many challenges in developing good recommendation models. The amount of data increases significantly, requiring models to deal with large-scale datasets. The user-generated data are usually very sparse because of the limited number of items that users can interact with, making recommendation more difficult. In addition, there are various factors and contexts that can affect significantly to the behaviors of online users. This thesis is focused on proposing models that can predict both type of behaviors and can deal with these problems.
Firstly, we develop a mixture model based on Latent Dirichlet Allocation that can recommend both types of behavior to users. Our model combines several factors that affect the behaviors of user, including their behavior history, the popularity of behaviors and the hidden interests of users. By incorporating LDA, our model can deal with sparse datasets and explore the hidden relationships inside each dataset. These hidden relationships allow us to suggest potential suitable unseen behaviors to users. We evaluate our model using various real-world datasets, including music, location, and social media.
Next, we develop a mixture model based on variational autoencoder to overcome some issues that the previous model has met. This mixture model is based on variational autoencoder, a deep generative neural network; thus, it can deal with large-scale datasets better than the previous model. Another benefit is that this model can recommend behavior for a new user with low a latency and a cheap computing cost, making it more useful in industrial applications. We also apply an adjustment to the architecture of variational autoencoder in this model to improve the performance and stability of prediction. The experimental results indicate that our proposed model outperforms the state-of-the-art models.

국문 초록 (Abstract)

온라인 행동 추천은 음악 스트리밍, 비디오 공유, 전자 상거래를 포함한 많은 온라인 서비스 플랫폼에서 중요하며 도전적인 과제입니다. 이 작업은 행동 패턴을 모델링하고 온라인 사용자의 다음 행동을 예측하는 데 중점을 둡니다. 이러한 예측에 기초하여 온라인 플랫폼은 알맞은 아이템을 제안하거나 사용자에게 적절한 광고를 보내 사용자 경험을 향상시키는 데 도움이됩니다. 온라인 행동 추천은 사용자가 과거에 수행했던 행동을 다시 수행할 것으로 예측하고 사용자가 이전에 수행하지 않은 행동을 제안하는 것을 포함하여 다양한 측면에서 고려 될 수 있습니다. 첫 번째 유형의 행동은 “반복 행동”으로 이해 될 수있는 반면, 두 번째 유형은 “새로운 행동”입니다. 실제 응용 프로그램에서 사용자는 반복 동작과 새로운 동작을 모두 수행하는 경향이 있습니다. 따라서 두 유형을 정확하게 예측할 수있는 모델을 개발해야합니다. 좋은 추천 모델을 개발하는 데는 많은 어려움이 있습니다. 데이터 양이 크게 증가하여 모델이 대규모 데이터 세트를 처리해야합니다. 사용자가 생성 한 데이터는 일반적으로 사용자가 상호 작용할 수있는 항목 수가 제한되어 있기 때문에 추천하는데 어려움이 있습니다. 또한 온라인 사용자의 행동에 큰 영향을 줄 수있는 다양한 요소와 컨텍스트가 있습니다. 이 논문은 두 가지 유형의 행동을 모두 예측하고 이러한 문제를 해결할 수있는 모델을 제안하는 데 중점을두고 있습니다.
먼저, 잠재 디리슐렛 할당(Latent Dirichlet Allocation)을 기반으로 사용자에게 두 가지 유형의 동작을 모두 추천 할 수있는 혼합 모델을 개발합니다. 우리의 모델은 행동 이력, 행동의 인기 및 사용자의 숨겨진 관심사를 포함하여 사용자의 행동에 영향을 미치는 몇 가지 요소를 결합합니다. LDA를 통합함으로써 우리 모델은 희소 데이터 세트를 처리하고 각 데이터 세트 내부의 숨겨진 관계를 탐색 할 수 있습니다. 이러한 숨겨진 관계를 통해 사용자에게 보이지 않는 적절한 행동을 제안 할 수 있습니다. 음악, 위치 및 소셜 미디어를 포함한 다양한 실제 데이터 세트를 사용하여 모델을 평가합니다.
다음으로, 우리는 이전 모델이 만난 몇 가지 문제를 극복하기 위해 변형 자동 인코더(Variational Auto-Encoder)를 기반으로 혼합 모델을 개발합니다. 이 혼합 모델은 변이 형 자동 인코더, 심층 생성 신경망을 기반으로합니다. 따라서 이전 모델보다 대규모 데이터 세트를 더 잘 처리 할 수 있습니다. 또 다른 이점은이 모델이 대기 시간이 낮고 컴퓨팅 비용이 저렴한 신규 사용자에게 동작을 권장하여 산업 응용 프로그램에서 더 유용하다는 것입니다. 우리는 또한 예측의 성능과 안정성을 향상시키기 위해이 모델에서 변형 자동 인코더의 아키텍처에 조정을 적용합니다. 실험 결과는 제안 된 모델이 최신 모델보다 성능이 우수함을 나타냅니다.
주요어 : 온라인 사용자 행동 추천, 주제 모델링, 잠복 디리클레 할당, 혼합물 모델, 생성 모델, 변형 자동 인코더

목차 (Table of Contents)

• Acknowledgements i
• Abstract iii
• Table of Contents v
• List of figures viii
• List of tables ix
• Chapter 1. Introduction 1
• 1.1. State the general topic and give some background 1
• 1.2. Technical challenges 4
• 1.3. Recommending repeat and new behavior 5
• 1.4. Related Work 7
• 1.4.1. Repeat behavior recommendation 7
• 1.4.2. New behavior recommendation 9
• 1.4.3. Recommendation of both repeat and new behavior 17
• 1.5. Mixture models for user behavior prediction 18
• 1.6. Generative models 19
• 1.7. Outline and contributions 21
• Chapter 2. Hybrid Generative Model 23
• 2.1. Introduction 23
• 2.2. Related Work 24
• 2.2.1. Topic modeling 24
• 2.2.2. Latent Dirichlet Allocation 25
• 2.2.3. LDA for recommendation 27
• 2.3. Proposed Model 29
• 2.3.1. Model 30
• 2.3.2. Variational Inference 33
• Chapter 3. Variational Autoencoder Mixture Model 37
• 3.1. Introduction 37
• 3.2. Background and Related Work 38
• 3.2.1. Overview of Autoencoder 38
• 3.2.2. Variational Autoencoder 40
• 3.2.3. Researches related to VAE 44
• 3.2.4. Variational Autoencoder Models for Recommendation System 47
• 3.3. Proposed Method 50
• 3.3.1. Mixture model 51
• 3.3.2. User-specific preference component 53
• 3.3.3. Latent group preference component 54
• Chapter 4. Experiments and Results 62
• 4.1. Datasets 62
• 4.1.1. Description 62
• 4.1.2. Characteristics 64
• 4.2. Evaluation Methods 68
• 4.3. Experiment Setup 70
• 4.4. Prediction Results 72
• 4.4.1. Overall performance 72
• 4.4.2. Repeat behavior prediction performance 74
• 4.4.3. New behavior prediction performance 76
• Chapter 5. Conclusion and Future Work 82
• References 85