Transformer 기반 한국어 영어 번역 경량화 모델 = Transformer-based Korean to English translation light-weighting model

다국어 초록 (Multilingual Abstract)

Transformer series neural networks have been widely used in place of RNNs(Recurrent Neural Networks) in the field of natural language processing. In recent years, these neural networks have been prohibited from being used in the workplace due to concerns about leaking personal information or confidentiality, so models are being developed in-house. The development of LLM(Large Language Model) such as ChatGPT is difficult to develop due to the number of data, number of parameters, and learning time. In this paper, we utilize Korean-English translation colloquial data released by the National Intelligence Agency(NIA) to learn with fewer parameters. As a result of setting the parameter values using 1,000 out of 400,000 total datasets, the training loss value is 2.76 and the validation loss value is 7.96, which is the best result compared to other values, and it is confirmed through visualization. It is expected that it can be used in various industries.

국문 초록 (Abstract)

Transformer 계열 신경망이 기존 자연어 처리 분야에서 활용된 RNN(Recurrent Neural Network) 대신에 많이 활용되고 있다. 최근에는 이러한 신경망들이 기업 내부에서 업무 중에 사용하는 것이 개인정보나 기밀 사항 유출 우려로 사용을 금지하고 있고 이에 따라 기업 내부에서 모델을 개발하고 있다. ChatGPT와 같은 LLM(Large Language Model)의 개발은 데이터의 수, 파라미터의 개수, 학습 시간 등에 따라 개발하기 어려운 실정이다. 본 논문에서는 한국지능정보사회진흥원(NIA)에서 공개한 한국어-영어 번역 구어체 데이터를 활용해 파라미터를 줄여 학습하고자 한다. 전체 데이터셋 40만 개 중 1,000개를 사용해 파라미터 값을 설정한 결과 훈련 손실 값은 2.76의 검증 손실 값은 7.96으로 다른 값에 비해 가장 좋은 결과를 보였으며 시각화를 통해 이를 확인하였다. 이를 활용해 다양한 산업 분야에 활용이 가능할 것으로 사료된다.

참고문헌 (Reference)

• 1 윤희승 ; 정재은, "효율적인 트랜스포머를 이용한 팩트체크 자동화 모델" 한국정보통신학회 25 (25): 1275-1278, 2021
• 2 황치곤 ; 윤창표 ; 이수욱, "빅데이터 분석을 위한 어텐션 기반의 단어 연관관계 분석 시스템" 한국정보통신학회 27 (27): 41-46, 2023
• 3 Modu corpus, "National Institute of Korean Language"
• 4 AI Hub, "National Information Society Agency"
• 5 남충현 ; 장경식, "LIME 알고리즘을 이용한 한국어 감성 분류 모델 해석" 한국정보통신학회 25 (25): 1784-1789, 2021
• 6 Korean-English parallel corpus, "Kaggle"
• 7 Korean-English multi-target ted talks task, "Hugging Face"
• 8 Google scholar, "Cited count statistics"
• 9 D. Kim, "ChatGPT security threats and implications" 3 : 1-26, 2023
• 10 J. Devlin, "BERT:pre-training of deep bidirectional transformers for language understanding"
• 11 A. Vaswani, "Attention is all you need" 6000-6010, 2017
• 12 A. Dosovitskiy, "An image is worth 16x16 words: transformers for image recognition at scale"