L2 학습자를 위한 주의 기제 기법 기반의 문법 오류 감지 = Grammatical Error Detection for L2 Learners Based on Attention Mechanism

다국어 초록 (Multilingual Abstract)

Grammar Error Detection refers to the work of discovering the presence and location of grammatical errors in a given sentence, and is considered to be useful for L2 learners to learn and evaluate the language. Systems for grammatical error correction have been actively studied, but there still exist limitations such as lack of training corpus and limited error type correction. Therefore, this paper proposes a model for generalized grammatical error detection through the sequence labeling problem which does not require the determination of error type. The proposed model dynamically decides character-level and word-level representation to deal with unexpected words in L2 learners' writing. Also, based on the proposed model the bias which can occur during the learning process with imbalanced data can be avoided through multi-task learning. Additionally, attention mechanism is applied to efficiently predict errors by concentrating on words for judging errors. To validate the proposed model, three test data were used and the effectiveness of the model was verified through the ablation experiment.

국문 초록 (Abstract)

문법 오류 감지는 주어진 문장에서 발생한 문법적인 오류의 존재와 그 위치를 발견하는 작업으로, 새로운 언어를 배우는 L2 학습자의 언어 학습과 평가에 유용하게 활용될 수 있다. 기존에는 문법 오류 교정을 위한 시스템이 활발히 연구되고 있으나, 학습 말뭉치의 부족과 제한된 오류 유형 교정과 같은 한계가 존재한다. 따라서 본 연구에서는 순차 레이블링 문제를 통해 오류의 유형이 사전에 정해지지 않은 일반화된 문법 오류 감지를 위한 모형을 제안한다. 단어와 문자를 동적으로 혼합한 표상을 사용하여 L2 학습자의 쓰기에서 나타나는 예측 불가능한 단어를 다루고, 멀티 태스크 학습을 통해 불균형한 데이터의 학습 과정에서 발생할 수 있는 편향성을 방지하였다. 또한, 주의 기제 기법을 적용하여 오류 예측에 있어 판단의 근거가 될 수 있는 단어에 집중해 효율적으로 오류를 예측하였다. 제안하는 모형의 검증을 위해 3 개의 평가 데이터를 사용하였으며 각 구성요소를 제거해 봄으로써 모형의 효용성을 검증하였다.

참고문헌 (Reference)

• 1 S. Kasewa, "Wronging a Right: Generating Better Errors to Improve Grammatical Error Detection" 4977-4949, 2018
• 2 M. Gamon, "Using Mostly Native Data to Correct Errors in Learners' Writing: A Meta-Classifier Approach" 163-171, 2010
• 3 X. Glorot, "Understanding the Difficulty of Training Deep Feedforward Neural Networks" 249-256, 2010
• 4 A. Rozovskaya, "The Illinois-Columbia System in the CoNLL-2014 Shared Task" 34-42, 2014
• 5 H.T. Ng, "The CoNLL-2014 Shared Task on Grammatical Error Correction" 1-14, 2014
• 6 M. Abadi, "TensorFlow: A System for Large-scale Machine Learning" 265-283, 2016
• 7 C. Napoles, "Systematically Adapting Machine Translation for Grammatical Error Correction" 345-356, 2017
• 8 배장성, "Stacked Bidirectional LSTM-CRFs를 이용한 한국어 의미역 결정" 한국정보과학회 44 (44): 36-43, 2017
• 9 M. Rei, "Semi-supervised Multitask Learning for Sequence Labeling" 2121-2130, 2017
• 10 M. Chodorow, "Problems in Evaluating Grammatical Error Detection Systems" 611-628, 2012
• 11 D. Bahdanau, "Neural Machine Translation by Jointly Learning to Align and Feature" 2014
• 12 G. Lample, "Neural Architectures for Named Entity Recognition" 260-270, 2016
• 13 E. Loper, "NLTK : The Natural Language Toolkit" 1 : 63-70, 2002
• 14 M. Kaneko, "Grammatical Error Detection Using Error-and Grammaticality-Specific Word Embeddings" 40-48, 2017
• 15 J. Pennington, "GloVe: Global Vectors for Word Representation" 1532-1515, 2014
• 16 R. Nagata, "Evaluating Performance of Grammatical Error Detection to Maximize Learning Effect" 894-900, 2010
• 17 T. Mikolov, "Efficient Estimation of Word Representations in Vector Space" 2013
• 18 M. T. Luong, "Effective Approaches to Attention-based Neural Machine Translation" 1412-1421, 2015
• 19 E. Kochmar, "Detecting Learner Errors in the Choice of Content Words Using Compositional Distributional Semantics" 1740-1751, 2014
• 20 Y. Kim, "Convolutional Neural Networks for Sentence Classification" 1746-1751, 2014
• 21 Y. Miyamoto, "Conference on Empirical Methods in Natural Language Processing, pp" 1992-1997, 2016
• 22 M. Rei, "Compositional Sequence Labeling Models for Error Detection in Learner Writing" 1181-1191, 2016
• 23 W. Ling, "Character-based Neural Machine Translation"
• 24 Y. Kim, "Character-Aware Neural Language Models" 2741-2749, 2016
• 25 김선우, "Bidirectional LSTM-CRF 기반의 음절 단위 한국어 품사 태깅 및 띄어쓰기 통합 모델 연구" 한국정보과학회 45 (45): 792-800, 2018
• 26 유홍연, "Bidirectional LSTM CRF 기반의 개체명 인식을 위한 단어 표상의 확장" 한국정보과학회 44 (44): 306-313, 2017
• 27 M. Rei, "Auxiliary Objectives for Neural Error Detection Models" 33-43, 2017
• 28 M. Rei, "Artificial Error Generation with Machine Translation and Syntactic Patterns" 287-292, 2017
• 29 D. P. Kingma, "Adam: A Method for Stochastic Optimization" 2014