온라인 댓글의 주제 분석을 위한 토픽 모델링 : 이슈 포착과 분류에 활용 가능한 LDA와 BTM의 비교와 검증 = Topic Modeling for Analyzing Online Comments : Comparing and Validating LDA and BTM for Capturing and Classifying Issues

다국어 초록 (Multilingual Abstract)

Using computers to rapidly and efficiently build a model to organize massive volumes of textual data, topic modeling is an unsupervised machine learning technique that can be used to classify texts into related themes or to analyze the nature and distribution of topics. However, topic modeling's usage in media research has recently come under fire for failing to take into account reliable and valid measures of theoretically defined concepts. This means that topic modeling needs methodological validation and reliability in order to be employed in media research as a tool for investigating and summarizing massive volumes of textual material. Additionally, it is helpful to be able to group online comments into "issues" and list their important points in order to quickly identify social issues and monitor discourse patterns in real-time on digital platforms. For this reason, attempts to diagnose the methodological validity of topic modeling for analyzing the topics of comments are of great significance. Therefore, this study validates topic modeling for analyzing online comments by verifying its performance as follows. First, we discussed why topic analysis of comments is necessary and what the implications are through the conceptualization of "issues" in the context of online comments. Then, with an emphasis on the Latent Dirichlet Allocation (LDA) model, we reviewed the principle of topic modeling to estimate the topic of text and the assumptions of statistical models that affect topic estimation. Additionally, we contrasted the merits and drawbacks of LDA and the Biterm Topic Model (BTM) to suggest topic modeling as a means of identifying the subject of comments and categorizing them as "issues." Based on the above theoretical discussion, we applied topic modeling to analyze 9,000 online news comments on articles covering nine social issues and validate whether the topics are useful to classify comments according to the "issues" of the news. The results are as follows. First, compared to BTM, LDA is highly dependent on the hyperparameter, , with lower values leading to better model performance. Second, both BTM and LDA were able to estimate the optimal number of topics (K ), but BTM showed less variation in performance with value selection than LDA, and performance degradation was worse when the value was lower than the optimal K than when it was higher. Third, both BTM and LDA performed better when adding bigrams along with unigrams to the vocabulary, but the difference was more pronounced for LDA. Based on these validation results, we assessed the validity of topic modeling for analysis of comments and discussed its implications.

국문 초록 (Abstract)

토픽 모델링은 컴퓨터를 이용해 빠르고 쉽게 방대한 양의 정보를 구성하거나 파악하는 모델을 추정하는 비지도 기계학습 방법으로 문서를 비슷한 토픽별로 묶어내거나 토픽의 내용과 분포를 파악하고자 할 때 활용된다. 그런데 토픽 모델링을 미디어 연구에 활용함에 있어 이론적으로 정의된 개념을 타당하고 신뢰할 수 있는 측정하는 방법으로써의 고민이 부족했다는 지적이 최근 제기되고 있다. 대단위 텍스트 자료를 탐색하고 요약하는 도구인 토픽 모델링을 미디어 연구에 활용하기 위해서 방법적 타당성 검증과 신뢰성 확보가 필요하다는 것이다. 더욱이, 온라인 플랫폼을 통해 거대한 규모로 빠르게 발생하고 있는 댓글을 ‘이슈’에 따라 분류하고 그 주요 주제를 요약하는 방법은 사회적 쟁점을 즉각적으로 파악하고 담론 양상을 통시적으로 추적하는데 유용하다. 이러한 이유에서 댓글의 주제를 분석하기 위한 토픽 모델링의 방법적 타당성을 진단하는 시도는 그 의의가 크다고 할 수 있다. 이에 본 연구는 온라인 댓글의 주제 분석을 위한 토픽 모델링 방법을 제시하고 그 성능과 타당성을 다음과 같이 검증했다. 우선, 온라인 댓글의 맥락에서 다뤄지는 ‘이슈’에 대한 개념화를 통해 댓글의 주제 분석이 왜 필요하고 어떠한 함의가 있는 것인지에 대해 논의했다. 그리고 토픽 모델링이 텍스트의 주제를 추정하는 원리와 주제 추정에 영향을 미치는 통계 모델로써의 가정들에 대해 Latent Dirichlet Allocation(LDA) 모델을 중심으로 살펴봤다. 또한 댓글의 주제를 포착하고 ‘이슈’별로 분류하기 위한 토픽 모델링을 제안하고자 LDA와 Biterm Topic Model(BTM)의 성능과 한계를 비교했다. 이상의 이론적 논의를 토대로 9개의 사회적 이슈를 다루고 있는 기사에 달린 9,000건의 온라인 뉴스 댓글을 토픽 모델링으로 분석해 주제를 추정하고 이에 따라 댓글이 뉴스의 ‘이슈’에 따라 분류되는지를 모델별로 비교 검증했다. 그 결과는 다음과 같다. 첫째, BTM에 비해 LDA는 초모수 에 많은 영향을 받았는데 값이 낮아질수록 모델의 성능이 좋아졌다. 둘째, BTM과 LDA 모두 최적의 주제의 개수(K)를 추정할 수 있었으나, BTM이 K값 선정에 따른 성능 변화가 LDA보다 적었고 K값이 최적의 값보다 클 때보다 낮을 때 성능 저하가 심해졌다. 셋째, BTM과 LDA 모두 분석 단어 목록에 단일 형태소와 함께 바이그램(bigram)을 추가할 때 성능이 좋아졌으나 그 차이는 LDA에서 더욱 뚜렸했다. 이러한 검증 결과를 토대로 댓글의 주제 분석을 위한 토픽 모델링의 활용 가능성을 진단하고 그 함의를 논의했다.

참고문헌 (Reference)

• 1 양혜승, "포털과 지역혐오: 네이버 범죄뉴스의 지역혐오댓글에 대한 내용분석" 한국언론학회 62 (62): 7-36, 2018
• 2 이신행, "편향적 인공지능: 네이버의 악플 탐지용 인공지능 ‘클린봇’이 판별한 혐오표현의 유형 분석" 사이버커뮤니케이션학회 38 (38): 33-75, 2021
• 3 이종혁 ; 길우영, "토픽모델링을 이용한 뉴스 의제 분류와 미디어 다양성 분석: 대통령 신년 기자회견 관련 뉴스 분석을 통해" 한국방송학회 33 (33): 161-196, 2019
• 4 안순태 ; 이하나 ; 정순둘, "토픽 모델링 분석을 통해 살펴본 세대 갈등에 대한 온라인 댓글 여론의 반응 : 세대 연대를 위한 미디어 역할에 관한 탐색적 연구" 한국언론학회 66 (66): 89-126, 2022
• 5 이새미 ; 유승의 ; 안순재, "텍스트 마이닝을 활용한 매스 미디어와 소셜 미디어 의제 분석 : ‘마스크 5부제’를 중심으로" 한국콘텐츠학회 20 (20): 460-469, 2020
• 6 조민정 ; 이신행, "코로나19 관련 언론 보도 프레임 분석: 자료기반 자동화 프레임 추출 방법을 중심으로" 한국소통학회 20 (20): 79-121, 2021
• 7 황태연 ; 유정모 ; 김화연, "제주 예멘난민 사태 전후 국내 여론변화 분석: 심층 인공신경망을 활용한 감성분석을 중심으로" 한국행정학회 56 (56): 127-166, 2022
• 8 김은진 ; 강주현, "임신중절에 관한 포털뉴스와 댓글 담론의 근거이론적 분석" 언론정보연구소 56 (56): 188-242, 2019
• 9 최동성 ; 최성은 ; 최용준, "인터넷 포털뉴스 댓글의 여론형성 과정과 특성에 관한 연구" 한국정치커뮤니케이션학회 (8) : 309-356, 2008
• 10 김혜미 ; 이준웅, "인터넷 뉴스와 댓글의 뉴스 프레임 융합 효과 연구: 해석의 복잡성 및 태도의 극단성 분석을 중심으로" 한국언론학회 55 (55): 32-55, 2011
• 11 강재원 ; 김선자, "인터넷 뉴스기사에 달린 댓글의 효과 연구 : 이슈의 관여도와 의견의 일치성 여부를 고려해서" 한국언론학회 56 (56): 143-166, 2012
• 12 이은주 ; 장윤재, "인터넷 뉴스 댓글이 여론 및 기사의 사회적 영향력에 대한 지각과 수용자의 의견에 미치는 효과" 한국언론학회 53 (53): 50-71, 2009
• 13 양혜승, "인터넷 뉴스 댓글의 견해와 품질이 독자들의 이슈에 대한 태도에 미치는 영향" 한국언론학회 52 (52): 254-281, 2008
• 14 이신행 ; 현아연, "유튜브 ‘사이버렉카’ 채널은 어떻게 악성댓글을 양산하는가? 유튜버 익명성, 규범 동조, 혐오의 반향실 효과를 중심으로" 사이버커뮤니케이션학회 40 (40): 53-88, 2023
• 15 홍주현 ; 나은경, "온라인 혐오표현의 확산 네트워크 분석 : 이슈 속성별 확산 패턴 및 혐오표현의 유형과 강도" 한국언론학회 60 (60): 145-175, 2016
• 16 정일권 ; 김영석, "온라인 미디어에서의 댓글이 여론에 미치는 영향에 관한 연구 : 여론동향 지각과 제3자 효과를 중심으로" 한국언론학회 50 (50): 302-327, 2006
• 17 안순태 ; 임유진 ; 이하나, "온라인 먹방(먹는 방송, Mukbang)의 댓글 연구 식행동 관련 인식에 대한 빅데이터 분석" 한국언론학회 64 (64): 269-310, 2020
• 18 이재신 ; 성민정, "온라인 댓글이 기사 평가에 미치는 영향: PR적 관점을 중심으로" 한국광고홍보학회 9 (9): 7-45, 2007
• 19 양혜승, "여성, 이주민, 노인 혐오성 댓글에 대한 텍스트 마이닝 분석: 네이버 범죄뉴스를 맥락으로" 한국방송학회 36 (36): 1-41, 2022
• 20 이준웅 ; 김성희, "미세먼지 재해 보도의 프레임 분석 : 구조적 주제모형(Structural Topic Modeling)의 적용" 한국언론학회 62 (62): 125-158, 2018
• 21 김은미 ; 선유화, "댓글에 대한 노출이 뉴스 수용에 미치는 효과" 한국언론학회 50 (50): 33-64, 2006
• 22 문길성, "단문의 주제 분석을 위한 LDA와 BTM 토픽모형 평가" 한국자료분석학회 23 (23): 1313-1326, 2021
• 23 고문정, "누가 온라인 뉴스에 댓글을 작성하거나 뉴스를 공유하는가?: 통계 학습 방법의 적용" 사이버커뮤니케이션학회 35 (35): 5-51, 2018
• 24 이재신 ; 유재미 ; 강재혁 ; 김지은, "기사 프레임과 장르가 댓글 유형에 미치는 영향" 한국언론학회 54 (54): 116-137, 2010
• 25 염정윤 ; 김류원 ; 정세훈, "국내 댓글 효과 연구에 대한 메타 분석" 언론정보연구소 57 (57): 5-49, 2020
• 26 Chen, Y., "What we can do and cannot do with topic modeling:A systematic review" 17 (17): 111-130, 2023
• 27 Ying, L., "Topics, concepts, and measurement: A crowdsourced procedure for validating topics as measures" 30 (30): 570-589, 2022
• 28 Gitlin, T., "The whole world is watching" University of California 1980
• 29 Entman, R., "The handbook of journalism studies" Routledge 175-190, 2009
• 30 McCombs, M. E., "The agenda-setting function of mass media" 36 (36): 176-187, 1972
• 31 Grimmer, J., "Text as data: The promise and pitfalls of automatic content analysis methods for political texts" 21 (21): 267-297, 2013
• 32 Roberts, M. E., "Stm: An R package for structural topic models" 91 (91): 1-40, 2019
• 33 Blei, D. M., "Probabilistic topic models" 55 (55): 77-84, 2012
• 34 Walter, D., "News frame analysis: An inductive mixed-method computational approach" 13 (13): 248-266, 2019
• 35 Koltsova, O., "Mapping the public agenda with topic modeling: The case of the Russian livejournal" 5 (5): 207-227, 2013
• 36 Lee, M, "Kiwi: Korean Intelligent Word Identifier"
• 37 Entman, R. M., "Framing: Toward clarification of a fractured paradigm" 43 (43): 51-58, 1993
• 38 DiMaggio, P., "Exploiting affinities between topic modeling and the sociological perspective on culture: Application to newspaper coverage of U.S. government arts funding" 41 (41): 570-606, 2013
• 39 Miller, M. M., "Environmental risks and the media" Routledge 45-54, 2000
• 40 Papacharissi, Z., "Democracy online: Civility, politeness, and the democratic potential of online political discussion groups" 6 (6): 259-283, 2004
• 41 Maier, D., "Applying LDA topic modeling in communication research: Toward a valid and reliable methodology" 12 (12): 93-118, 2018
• 42 Chang, J., "Advances in neural information processing systems" The MIT Press 288-296, 2009
• 43 Roberts, M. E., "A model of text for experimentation in the social sciences" 111 (111): 988-1003, 2016
• 44 Yan, X., "A biterm topic model for short texts" 1445-1456, 2013
• 45 함승경 ; 정사강 ; 김은영, "2003년∼2020년 한국 일간지의 ‘위안부’ 보도 분석 : 빅데이터를 이용한 의제 분석을 중심으로" 한국언론정보학회 (111) : 181-215, 2022