LDA와 BERTopic 기법을 이용한 토픽모델링의 증강과 확장 : 국외 문헌정보학분야 학술지 논문을 중심으로 = Augmented and Extended Topics with LDA and BERTopic: based on international LIS journals
저자
발행사항
대구 : 경북대학교 대학원, 2022
학위논문사항
학위논문 (박사)-- 경북대학교 일반대학원 : 문헌정보학과 2022. 8
발행연도
2022
작성언어
한국어
주제어
DDC
025.524 판사항(23)
발행국(도시)
대구
형태사항
xi, 216 p. : 도표 ; 26 cm
일반주기명
지도교수: 양기덕
참고문헌 수록
UCI식별코드
I804:22001-000000101974
소장기관
Topic modeling normally refers to the methods which are employed to find the hidden subjects, or topics, by figuring out the distributions or probabilities of the words in the collection of documents. With a variety of applications of topic modeling, we are allowed to discover the latent topics from a large collection of books and even recognize a gene’s expression pattern from the genomic databases.
Latent Dirichlet Allocation (LDA) is the most popular among various topic modeling methods as it has been supplemented by many researchers since debut and its implementation is now available on the Internet as an open-source library. However, it requires researchers to understand its formula as it is because setting inappropriate hyperparameters will lead them to the wrong results. Considering its inherency, this statistical model tends to yield seemingly safe topics that can cover all data entered.
BERTopic, conversely, first extracts documents embeddings based on the pre-trained language model such as BERT, reduces its dimensionality and group into the form of clusters, then transform it into topic representations with ranks at each level. With this unique process, BERTopic generates a greater number of topics compared with those from LDA, which represents more bold topics.
For these inherent differences, finding a link between those heterogeneous methods from a single vantage point has been said to be comparing apples and oranges. This study aims to propose a novel approach which designs to combine topic modeling outputs from both LDA to discover the research topics' trend in the journals in library and information science.
The approach comprises three steps. First, coherence score and its normalized value is obtained for every possible combination of hyperparameters to find the most optimized LDA model, while BERTopic requires no such efforts. Second, WORD2VEC-based cosine similarity matrix between LDA and BERTOPIC results is constructed then reordered to identify the threshold where the semantic connection is lost. With this threshold, the number of BERTopic topics that support LDA topics also can be determined. Third, augmented topics are generated by combining each LDA topic with its subtopics from BERTopic, which are above the semantic threshold. Moreover, extended topics are yielded by removing any residual subtopics for LDA and ordering the rest of them by F1(BERTopic Topic Size Rank, Inverse Similarity Rank). Here the smaller similarity it has, the more significance it implies because they are something that LDA cannot discover.
The results show that the proposed novel approach can consolidate two heterogeneous topic modeling results, and even can discover new meaningful topics which are ignored by LDA.
The main contribution of this study lies in presenting the methods to compare apples and oranges, or LDA and BERTopic results, and provide the new way of extracting topics from the documents through an ensemble algorithm.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)