문서 단위 기계 번역 성능을 위한 트랜스포머 디코딩 속도 개선과 데이터 증강 기법 = Transformer Decoding Speed Improvement and Data Augmentation Technique for Document-level Machine Translation Performance
저자
발행사항
춘천 : 강원대학교 대학원, 2023
학위논문사항
학위논문(석사)-- 강원대학교 대학원 : 빅데이터메디컬융합학과 2023. 2
발행연도
2023
작성언어
한국어
주제어
KDC
004.735 판사항(6)
발행국(도시)
강원특별자치도
형태사항
ⅴ, 50 L. : 삽화 ; 30 cm
일반주기명
강원대학교 논문은 저작권에 의해 보호받습니다
지도교수: 이창기
참고문헌: L. 44-47
UCI식별코드
I804:42002-000000033195
소장기관
기계 번역(Machine Translation)은 단일 언어 텍스트를 자동으로 타 언어로 변환하는 자연어 처리 분야 중 하나로, 문장 단위 기계 번역과 문서 단위 기계 번역으로 나뉜다. 최근 신경망을 이용한 기계 번역 연구들이 속도와 번역 성능 향상을 목표로 다양하게 진행되고 있으며, 그 중에서 트랜스포머 모델은 가장 기본적인 모델로 우수한 번역 성능을 보인다. 그러나, 번역 속도가 느리다는 단점이 있어 이를 개선하기 위한 연구 역시 활발히 진행 중이다. 신경망 기계 번역 모델은 입력 받은 문장을 타 언어로 번역해 주는 End-to-End 방식이 주로 연구되고 있는데, 병렬 코퍼스의 양이 적을 경우 해당 코퍼스에서 언어적 특징들을 충분히 뽑아내지 못하여 번역 성능이 떨어질 수 있다. 특히, 문서 단위 기계 번역의 경우 공개된 문서 단위 기계 번역 코퍼스가 적음으로 인해 충분한 코퍼스를 확보하는 데 큰 어려움이 존재한다. 따라서 본 논문에서는 문서 단위 기계 번역 성능을 위한 트랜스포머 디코딩 속도 개선과 데이터 증강 기법을 제안한다.
첫 번째로 기계 번역의 속도 향상을 위해 속도 개선 연구들인 CAN(Compressed Attention Network)과 DS(Dense Synthesizer)를 결합한 새로운 모델을 제시한다. CAN은 트랜스포머 디코더의 Self-Attention, Cross-Attention, FFN(Feed Forward Network)을 하나의 Attention으로 통합한 모델로, 병렬성이 증가하고 속도가 향상되는 특징이 있다. 또한 DS는 Self-Attention 대체 가능한 Query와 Key의 매칭을 삭제하는 Synthetic Attention을 제안해 기존의 Dot-Product Attention을 2-Layer FFN로 바꿔 Dot-Product Attention을 수행하지 않음으로 계산되는 양을 줄여 속도 향상을 보인다. 본 논문에서는 이러한 두 기법의 특성을 결합한 CAN+DS 모델을 설계 및 구현하였다. 실험 결과, 제안 모델이 Baseline과 비교할 때 번역 성능은 약간 감소하였지만, 번역 속도는 2.2배 증가시킴을 확인하였다. 따라서, 제안한 모델은 성능 저하를 최소화하며 번역 속도를 크게 개선했다. 두 번째로 문서 단위 병렬 코퍼스의 부족 문제를 해결하기 위한 다섯 가지 원문 코퍼스 기반 데이터 증강 기법을 제안한다. 기존에 문장 단위 병렬 코퍼스는 많이 존재하지만 문서 단위 병렬 코퍼스는 없어 문장들을 묶어 문서를 만들고자 했다. Sentence Segmentation 기반 데이터 증강, 군집 알고리즘 기반 데이터 증강, 군집 알고리즘+ NSP(Next Sentence Prediction) 기반 데이터 증강, 군집 알고리즘+First-sentence NSP 기반 데이터 증강과 문서 단위 Back Translation 기반 데이터 증강으로 나뉜다. 실험 결과, 군집 알고리즘 기반 데이터 증강 기법을 적용한 번역 성능이 적용 전에 비해 S-BLEU 3.15, D-BLEU 2.92까지 향상됐다. 그리고, 문서 단위 Back Translation 기법을 결합할 경우 S-BLEU 3.84, D-BLEU 3.65까지 향상됨을 보였다. 본 논문에서 제안한 데이터 증강 기법은 기존 데이터 증강 기법과 달리 원문 코퍼스를 그대로 활용함으로 문법이나 의미가 훼손되지 않는 장점이 있고, 저자원 언어에도 적용이 가능하며 적은 시간과 비용으로 문서 단위 기계 번역 성능을 향상시키는 것이 가능하다는 것을 확인할 수 있었다. 실험 결과를 통해, 문서의 유사성은 군집 알고리즘+NSP 기반 데이터 증강 기법이 제일 뛰어났지만 군집 알고리즘 기반 데이터 증강 기법이 제일 높은 성능을 보여 Bias가 어느정도 있는 실제 문서와 유사한 더미 문서가 문서 단위 기계 번역 성능 향상에 제일 효과적임을 입증하였다. 결과적으로, 본 논문에서 제안한 CAN+DS 모델과 원문 코퍼스 기반 데이터 증강 기법을 통해 기계 번역의 전체적인 성능을 개선할 수 있었으며, 이는 문서 단위 기계 번역이 필요한 다양한 분야에 접목이 가능한 효율적인 연구 결과로 보여진다.
Machine translation is one of the fields of natural language processing that automatically converts a single language text into another language, and is divided into sentence-level machine translation and document-level machine translation. Recently, machine translation studies using neural networks have been conducted in various ways with the goal of improving speed and translation performance, and among them, the transformer model is the most basic model and shows excellent translation performance. However, there is a disadvantage that the translation speed is slow, and research to improve this is also actively underway. The neural network machine translation model is mainly researching the end-to-end method that automatically translates sentences into other languages. In this case, if the amount of the parallel corpus is small, translation performance may be degraded because linguistic features cannot be sufficiently extracted from the corresponding corpus. Especially, in the case of document unit machine translation, there is a great difficulty in securing a sufficient corpus due to the small amount of open document unit machine translation corpus. Therefore, in this paper, we propose a transformer decoding speed improvement and data augmentation technique for document-level machine translation performance.
First, we present a new model that combines CAN(Compressed Attention Network) and DS(Dense Synthesizer), which are speed improvement studies, to improve machine translation speed. CAN is a model that integrates Self-Attention, Cross-Attention, and Feed Forward Network(FFN) of a transformer decoder into one Attention, and has the characteristics of increasing parallelism and improving speed. In addition, Dense Synthesizer proposes Synthetic Attention that deletes the matching of Query and Key, which can replace Self-Attention, and replaces the existing Dot-Product Attention with a 2-Layer FFN, which is calculated as not performing Dot-Product Attention. It has the advantage of showing speed improvement by reducing the amount. In this paper, a CAN+DS model combining the characteristics of these two techniques was designed and implemented. As a result of the experiment, it was confirmed that the translation performance of the proposed model slightly decreased compared to the baseline, but the translation speed increased by 2.2 times. Therefore, the proposed model greatly improved the translation speed while minimizing performance degradation. Second, we propose five original corpus-based data augmentation techniques to solve the problem of lack of parallel corpus per document. In the past, there are many sentence-level parallel corpus, but there is no document-level parallel corpus, so we tried to create a document by grouping sentences. It is divided into data augmentation based on Sentence Segmentation, data augmentation based on clustering algorithm, data augmentation based on clustering algorithm+NSP(Next Sentence Prediction), data augmentation based on clustering algorithm+First-sentence NSP, and data augmentation based on document unit Back Translation. As a result of the experiment, the translation performance using the clustering algorithm-based data augmentation technique improved to S-BLEU 3.15 and D-BLEU 2.92 compared to before application. It was shown that S-BLEU 3.84 and D-BLEU 3.65 were improved when document-based back translation techniques were combined. Unlike existing data augmentation techniques, the data augmentation technique proposed in this paper has the advantage of not damaging grammar or meaning by using the original corpus as it is. In addition, it was confirmed that it can be applied to low-resource languages and that machine translation performance can be improved in document units with a small amount of time and cost. Through the experimental results, the clustering algorithm+NSP-based data augmentation technique was the best in document similarity, but the cluster algorithm-based data augmentation technique showed the highest performance, proving that dummy documents similar to real documents with some bias are most effective in improving document-level machine translation performance. As a result, the overall performance of machine translation could be improved through the CAN+DS model and data augmentation technique proposed in this paper, which is seen as an efficient research result that can be applied to various fields that require document-level machine translation.
분석정보
서지정보 내보내기(Export)
닫기소장기관 정보
닫기권호소장정보
닫기오류접수
닫기오류 접수 확인
닫기음성서비스 신청
닫기음성서비스 신청 확인
닫기이용약관
닫기학술연구정보서비스 이용약관 (2017년 1월 1일 ~ 현재 적용)
학술연구정보서비스(이하 RISS)는 정보주체의 자유와 권리 보호를 위해 「개인정보 보호법」 및 관계 법령이 정한 바를 준수하여, 적법하게 개인정보를 처리하고 안전하게 관리하고 있습니다. 이에 「개인정보 보호법」 제30조에 따라 정보주체에게 개인정보 처리에 관한 절차 및 기준을 안내하고, 이와 관련한 고충을 신속하고 원활하게 처리할 수 있도록 하기 위하여 다음과 같이 개인정보 처리방침을 수립·공개합니다.
주요 개인정보 처리 표시(라벨링)
목 차
3년
또는 회원탈퇴시까지5년
(「전자상거래 등에서의 소비자보호에 관한3년
(「전자상거래 등에서의 소비자보호에 관한2년
이상(개인정보보호위원회 : 개인정보의 안전성 확보조치 기준)개인정보파일의 명칭 | 운영근거 / 처리목적 | 개인정보파일에 기록되는 개인정보의 항목 | 보유기간 | |
---|---|---|---|---|
학술연구정보서비스 이용자 가입정보 파일 | 한국교육학술정보원법 | 필수 | ID, 비밀번호, 성명, 생년월일, 신분(직업구분), 이메일, 소속분야, 웹진메일 수신동의 여부 | 3년 또는 탈퇴시 |
선택 | 소속기관명, 소속도서관명, 학과/부서명, 학번/직원번호, 휴대전화, 주소 |
구분 | 담당자 | 연락처 |
---|---|---|
KERIS 개인정보 보호책임자 | 정보보호본부 김태우 | - 이메일 : lsy@keris.or.kr - 전화번호 : 053-714-0439 - 팩스번호 : 053-714-0195 |
KERIS 개인정보 보호담당자 | 개인정보보호부 이상엽 | |
RISS 개인정보 보호책임자 | 대학학술본부 장금연 | - 이메일 : giltizen@keris.or.kr - 전화번호 : 053-714-0149 - 팩스번호 : 053-714-0194 |
RISS 개인정보 보호담당자 | 학술진흥부 길원진 |
자동로그아웃 안내
닫기인증오류 안내
닫기귀하께서는 휴면계정 전환 후 1년동안 회원정보 수집 및 이용에 대한
재동의를 하지 않으신 관계로 개인정보가 삭제되었습니다.
(참조 : RISS 이용약관 및 개인정보처리방침)
신규회원으로 가입하여 이용 부탁 드리며, 추가 문의는 고객센터로 연락 바랍니다.
- 기존 아이디 재사용 불가
휴면계정 안내
RISS는 [표준개인정보 보호지침]에 따라 2년을 주기로 개인정보 수집·이용에 관하여 (재)동의를 받고 있으며, (재)동의를 하지 않을 경우, 휴면계정으로 전환됩니다.
(※ 휴면계정은 원문이용 및 복사/대출 서비스를 이용할 수 없습니다.)
휴면계정으로 전환된 후 1년간 회원정보 수집·이용에 대한 재동의를 하지 않을 경우, RISS에서 자동탈퇴 및 개인정보가 삭제처리 됩니다.
고객센터 1599-3122
ARS번호+1번(회원가입 및 정보수정)