수동, 자동 평가 비교를 통한 기계번역 품질 평가-Papago, Google, Baidu 번역을 중심으로 = A Study of Machine Translation Quality Evaluation: Comparison of Manual and Automatic Methods-Focusing on Papago, Google, and Baidu Translations

국문 초록 (Abstract)

기계 번역 (MT) 기술의 급속한 발전과 함께 기계번역의 성능 평가 역시 활발한 연구 분야가 되었다. 평가에는 주로 두 가지 방법인 자동과 수동평가가 있다. 수동 평가는 전문가가 다양한 기준을 기반으로 번역을 평가하는 것이 포함되는 반면, 자동 평가는 메트릭을 사용하여 번역 품질을 자동으로 평가한다.
자동 평가는 대량의 데이터를 빠르게 처리할 수 있고 비용과 시간을 크게 줄일 수 있지만 문맥과 어조와 같은 뉘앙스를 포착하는 데 어려움을 겪는다.
반면 수동 평가는 인간이 전반적인 품질을 세세하게 고려할 수 있지만, 주관적이고 시간과 비용이 크게 소요된다. 이때문에 수동 평가에서 평가자의 전문성과 신뢰성을 보장하는 것은 매우 중요하다. 두 방법의 장점과 단점을 고려할 때 수동 평가와 자동 평가를 결합하면 MT 품질 평가에 대한 보다 안정적인 접근이 가능하다.
이 연구는 자동 평가에 널리 사용되는 Bleu(Builing Evaluation Understudy) 메트릭을 중심으로 자동 및 수동 평가를 모두 사용하여 MT 품질을 평가하는 것을 목표로 한다. Bleu는 기계 생성 번역과 인간 참조 번역 간의 유사성을 측정하는 방식이다. 본 연구에서는 자동 및 수동 평가의 결과를 비교하여 전반적인 MT 품질을 검증하고 향후 평가 방법에 대한 개선 사항을 제안하는 것에 그 목표를 둔다.

다국어 초록 (Multilingual Abstract)

With the rapid advancement of machine translation (MT) technology, evaluating its performance has become an active area of research. The two primary methods of evaluation are automatic and manual. Manual evaluation involves human assessors rating translations based on various criteria, while automatic evaluation uses metrics to assess translation quality automatically.
Automatic evaluation can quickly process large volumes of data and significantly reduce costs and time, but it struggles with capturing nuances such as context and tone. It typically compares translations against reference translations, limiting its ability to assess syntactic and semantic equivalence.
On the other hand, manual evaluation allows for detailed assessments since humans can consider overall quality, but it can be subjective, time-consuming, and expensive. Ensuring the expertise and reliability of evaluators is crucial. Given the strengths and weaknesses of both methods, combining manual and automatic evaluations provides a more reliable approach to MT quality assessment.
This study aims to evaluate MT quality using both automatic and manual assessments, focusing on the widely used Bleu (Bilingual Evaluation Understudy) metric for automatic evaluation. Bleu measures the similarity between machine-generated translations and human reference translations. The study will compare the outcomes of automatic and manual evaluations to verify overall MT quality and suggest improvements for future evaluation methods.

참고문헌 (Reference)

• 1 정성훈 ; 하지영 ; 김우정, "한문고전문헌의 기계번역 평가방안 탐색" 2021
• 2 황지연 ; 양슬아, "한국어-중국어 신경망 기계 번역에 대한 수동평가 : 사회과학과 기술과학 카테고리에서 나타나는 Google 번역(GNMT)과 Papago(N2MT)의 정확도" 2020
• 3 정혜연 ; 박헌일 ; 우경조 ; 서수영, "임베딩을 활용한 인간번역의 자동평가-기계가 의미를 평가할 수 있을까" 2021
• 4 강병규 ; 이지은, "신경망 기계번역의 작동 원리와 번역의 정확률" 2018
• 5 이준호, "신경망 기계번역의 객관적 평가를 위한 예비연구 : 자동평가와 수동평가의 균형점" 2019
• 6 정혜연 ; 김보영 ; 김연주 ; 서승희 ; 송신애 ; 이진현 ; 전경아 ; 최지수 ; 홍승빈 ; 허탁성, "번역자동평가에서 풀리지않은 과제" 2020
• 7 정혜연, "번역의 자동평가 : 기계번역 평가를 인간번역 평가에 적용해보기" 2018
• 8 이창수, "문학번역에서의 기계번역과 인간번역 문체에 대한 전산문체학적 비교 연구" 2019
• 9 박도준 ; 장영진 ; 김학수, "문법 정확도 평가(GAE) : 기계 번역 모델의 정량화된 정성 평가" 2022
• 10 김윤정, "‘Google 번역’ 기반 텍스트 유형별 중한 기계번역 오류 현황 분석" 2018
• 11 Shaw, F., "Survey of Machine Translation Evaluation" 2007
• 12 Irene Rivera-Trigueros, "Machine translation systems and quality assessment: a systematic review" 2022
• 13 Castilho, S., "Machine translation systems and quality assessment: a systematic review" 2018
• 14 Chatzikoumi, E., "How to evaluate machine translation: A review of automated and human metrics" 2020
• 15 Bawden, R., "DiaBLa : a corpus of bilingual spontaneous written dialogues for machine translation" 2021
• 16 Papineni, Kishore, "Bleu: a method for automatic evaluation of machine translation" 2002
• 17 Mauser, "Automatic Evaluation Measures for Statistical Machine Translation System Optimization" 2008
• 18 Rossi, Laura, Dion Wiggins, "Applicability and application of machine translation quality metrics in the patent field"
• 19 권도경 ; 문수정 ; 김정수 ; 허윤정, "2018년 인공신경망 기계번역의 중한 번역 현황 ―구글 번역과 네이버 파파고를 중심으로" 2019