UNCERTAINTY AWARE ACTIVE META LEARNING FOR LOW RESOURCE NATURAL LANGUAGE UNDERSTANDING = 저자원 자연어 이해를 위한 불확실성 인지 능동 메타 러닝
저자
발행사항
서울 : 동국대학교 일반대학원, 2022
학위논문사항
학위논문(박사)-- 동국대학교 일반대학원 : 컴퓨터공학과 컴퓨터공학전공 2022. 2
발행연도
2022
작성언어
영어
주제어
발행국(도시)
서울
형태사항
121 p. ; 26 cm
일반주기명
지도교수: 김준태
UCI식별코드
I804:11020-000000084166
DOI식별코드
소장기관
In the field of artificial intelligence, deep learning is receiving a lot of attention and it has been proven that it can be successfully used in various fields. In the field of natural language processing, a general-purpose language model trained by large scale data and attention mechanism based deep neural networks is receiving a lot of attention. However, there are limitations such as time and cost to collect and process a large amount of data, and there is a difficulty in deep learning-based natural language processing even for domains where it is difficult to collect a large amount of data.
The low resource natural language understanding model is essential for the application of more advanced language models in various tasks, and recently diverse meta learning approaches have drawn interest. Meta-learning is a concept of learning how to learn, and it refers to a learning method that can efficiently solve the few shot learning problem by learning how to efficiently generalize the task using only a small amount of data.
However, the existing meta-learning methodology has some limitations. First, many researches related to meta-learning are focused on computer vision, so there are relatively few researches considering domain characteristics in the field of natural language processing. In addition, the problem of meta overfitting in the process of performing meta-learning is pointed out as a major problem of the degradation of the generalization performance of the few shot learning model, and learning from higher-quality data or tasks is required because learning is performed based on a small amount of data.
Therefore, in this thesis, two meta learning methodologies that can efficiently build generalized models through learning in a natural language understanding task are proposed and these methodologies can utilize only low resource learning data. First, task augmentation technique in the meta learning process is proposed to alleviate the meta overfitting problem and to improve the generalization performance of the few shot natural language understanding model. Second, this thesis proposes an uncertainty aware active meta learning methodology that enables learning to be performed by selecting high-quality samples from among various task that can be used during learning. The proposed uncertainty-aware active meta-learning methodology quantifies the prediction uncertainty of the model with respect to the input data, and provides a loss function and learning strategy that can weight and control the influence of the input data on the learning of the model. Based on this theoretical background, this thesis have experiments to measure the performance of meta learning model on the main tasks of low resource NLU such as few shot relation classification, few shot sentiment classification, and out-of-distribution detection. As a result of the experiment, it was shown that it was possible to build a low-resource natural language understanding model with improved performance, and in the process, an analysis of the experimental result indicators of the proposed methodology was performed.
As a result of such research, the main contribution of this thesis is summarized as follows. First, this thesis expands area of meta-learning research focused on computer vision into the field of natural language processing, contributing to the effective use of meta-learning technology in more diverse applications. Next, In this thesis, a new meta learning approach that selects high quality samples was proposed by suggesting a method to reflect the model's quantified uncertainty again in learning. Finally, by conducting experiments on various low resource language understanding tasks such as few shot relation classification, few shot sentiment analysis, out-of-distribution detection, it was shown that the proposed methodologies can be used more generally, contributing to the expansion of the application range of the model in the field of low resource natural language understanding.
인공지능 분야에서는 딥러닝(deep learning)이 많은 관심을 받으며 다양한 분야에서 성공적으로 활용될 수 있음이 증명되고 있다. 자연어 처리 분야에서도 딥러닝에 기반하여 다량의 데이터와 대규모의 모델을 구축하여 범용성 있는 언어모델을 구축하는 작업들이 많은 관심을 받고 있다. 하지만 다량의 데이터를 확보하고 처리할 수 있는 시간과 비용 등의 문제가 있으며, 다량의 데이터를 구축하기 어려운 도메인에 대해서는 딥러닝 기반의 자연어 처리 모델 구축에 어려움이 있다.
저자원 자연어 이해(low resource natural language understanding)모델을 구축하기 위한 학습 기술의 연구개발은 보다 진보된 형태의 언어모델의 다양한 태스크에서의 응용에 있어서 필수적이다. 메타러닝(meta learning)은 학습하는 방식을 학습하는 개념으로서 소량의 데이터만을 활용하여 해당 태스크를 효율적으로 일반화하는 방식을 학습하여 퓨샷 학습(few shot learning) 문제를 효율적으로 해결할 수 있는 학습 방식을 의미한다.
하지만 기존 메타러닝의 방법론에는 몇 가지 한계가 있다. 먼저, 메타러닝과 관련된 다수의 연구는 컴퓨터 비전을 중심으로 이루어지고 있어서 자연어 처리 분야에서의 도메인 특성을 고려한 연구가 상대적으로 부족하다. 또한, 메타러닝을 수행하는 과정에서의 메타 과적합 문제는 퓨샷 학습 모델의 일반화 성능 저하의 주요한 원인으로 지적되고 있으며, 소량의 데이터를 기반으로 학습을 수행해야 하기 때문에 보다 양질의 데이터 혹은 태스크로부터 학습을 수행할 수 있는 기술이 필요하다.
이에 본 논문에서는 저자원의 학습 데이터만 활용할 수 있는 자연어 이해 태스크에서 학습을 통해 효율적으로 일반화된 모델을 구축할 수 있는 두 가지 메타러닝 기술을 제안한다. 첫째로 본 논문에서는 메타 과적합(meta overfitting) 문제를 완화하고 퓨샷 자연어 이해 모델의 일반화 성능 향상시키기 위하여 메타학습 과정에서의 태스크 증강(task augmentation) 기법을 제안한다. 둘째로 본 논문은 학습 시 활용가능한 다양한 태스크의 데이터 중 양질의 태스크를 선별하여 학습을 수행할 수 있도록 하는 불확실성 인식 능동 메타러닝(uncertainty aware active meta learning) 방법론을 제안한다. 제안하는 불확실성 인식 능동 메타러닝 방법론은 입력 데이터에 대하여 모델의 예측 불확실성을 정량화 하여, 입력 데이터가 모델의 학습에 미치는 영향력을 가중조절할 수 있는 손실함수 및 학습 전략을 제공한다. 이러한 이론적 배경을 바탕으로 본 논문은 제안하는 메타러닝 기술을 퓨샷 관계 분류(few-shot relation classification), 퓨샷 감성 분류(few-shot sentiment classification), 이상분포탐지 (out-of-distribution detection) 등 저자원 자연어 이해의 주요한 태스크와 벤치마크 데이터셋에 대한 구현 및 비교실험을 수행하였다. 실험결과, 보다 향상된 성능의 저자원 자연어 이해
모델을 구축할 수 있음을 보였으며, 그 과정에서의 제안하는 방법론의 실험결과 지표들에 대한 분석을 수행하였다.
이와 같은 연구수행의 결과로 본 논문이 해당 연구분야에서 가지는 주요 공헌을 요약하면 다음과 같다. 먼저, 본 연구는 주로 컴퓨터 비전을 중심으로 한 메타러닝 연구를 자연어 처리 분야로 확장하여 보다 다양한 응용 분야에서 메타러닝 기술이 효과적으로 활용될 수 있도록 기여한다. 다음으로, 모델의 예측 불확실성은 일반적으로 모델의 예측 결과에 대한 사후 분석으로 활용되었으나, 본 연구에서는 모델의 예측 불확실성을 활용하여 다시 학습에 반영하는 방안을 제시함으로써 양질의 샘플을 선별하여 학습을 수행하는 새로운 메타러닝 접근방안을 제시하였다. 마지막으로, 다양한 저자원 언어 이해 태스크에 대한 실험을 진행하여 보다 범용적으로 제안하는 기술이 활용될 수 있음을 보여 저자원 자연어 이해 분야에서의 모델의 응용 범위 확장에 기여하였다.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)