AWSGLD를 이용한 전이 네트워크 토픽 모델 추론 = Inference for the Transition Network Topic Model Using AWSGLD

국문 초록 (Abstract)

문서 내 주제 구조를 분석하기 위한 토픽 모델링 기법은 다양한 분야에서 활용되고 있으나, 기존의 문서 단위 모델은 문장 간 주제 전이와 같은 미시적 구조를 충분히 반영하지 못한다는 한계를 가진다. 전이 네트워크 토픽 모델(TNTM)은 문장별 토픽 할당과 토픽 간 전이 확률을 함께 추정함으로써 문서 내부의 주제 흐름을 구조적으로 모델링한다. 그러나 TNTM은 잠재 변수와 연속 모수가 복합적으로 얽혀 있어, 효율적이면서도 안정적인 추론 방법의 설계가 중요한 과제로 남아 있다. 본 연구에서는 TNTM의 생성 구조를 유지한 채, 문장별 토픽 시퀀스는 Metropolis-Hastings within Gibbs 샘플링으로 추정하고, 토픽 전이 행렬과 단어-토픽 분포와 같은 연속 모수는 AWSGLD를 통해 추론하는 확률적 추론 프레임워크를 제안한다. AWSGLD는 사후 분포의 에너지 구조에 따라 구간별 기울기 업데이트의 가중치 크기를 적응적으로 조절함으로써, 고차원 모수공간에서도 안정적인 표본추출을 가능하게 한다는 특징을 가진다. 영화 리뷰 데이터를 활용한 실험에서는 문장 내 단어 수를 인위적으로 증가시키는 방식으로 데이터 변형 환경을 설정하였다. 분석 결과, 제안한 AWSGLD 기반 추론 방법은 상대적으로 안정적인 토픽 구조를 유지하였다. 특히 생성된 토픽은 문서 전반의 의미적 흐름을 반영하는 단어 집합으로 구성되어, 해석 측면에서 기존 접근보다 우수한 특성을 보였다.

다국어 초록 (Multilingual Abstract)

While topic modeling has been widely used to analyze document-level structures, existing models inadequately capture sentence-level topic transitions. The transition network topic model (TNTM) addresses this by jointly modeling sentence-level topics and their transitions, but its complex dependencies pose significant challenges for efficient and stable inference. This study proposes a stochastic inference framework for TNTM that preserves its generative structure while employing Metropolis-Hastings within Gibbs sampling for sentence-level topic sequences and AWSGLD for continuous parameters such as topic transition matrices and word-topic distributions. AWSGLD adaptively adjusts the magnitude of gradient update weights for each energy interval based on the posterior energy landscape, enabling stable sampling even in high-dimensional parameter spaces. Under data augmentation that increased sentence length, experiments on movie reviews showed that the proposed AWSGLD-based method preserved more stable and coherent topic structures than SGD-based algorithms, yielding improved interpretability.