심층신경망 기반의 음성인식을 위한 절충된 특징 정규화 방식

국문 초록 (Abstract)

특징 정규화는 음성 특징 파라미터들의 통계적인 특성의 정규화를 통해 훈련 및 테스트 조건 사이의 환경 불일치의 영향을 감소시키는 방법으로서 기존의 Gaussian mixture model-hidden Markov model(GMM-HMM) 기반의 음성인식 시스템에서 우수한 성능개선을 입증한 바 있다. 하지만 심층신경망(deep neural network, DNN) 기반의 음성인식 시스템에서는 환경 불일치의 영향을 최소화 하는 것이 반드시 최고의 성능 개선으로 연결되지는 않는다. 본 논문에서는 이러한 현상의 원인을 과도한 특징 정규화로 인한 정보손실 때문이라 보고, 음향모델을 훈련 하는데 유용한 정보는 보존하면서 환경 불일치의 영향은 적절히 감소시켜 음성인식 성능을 최대화 하는 특징 정규화 방식이 있는지 검토해보고자 한다. 이를 위해 평균 정규화(mean normalization, MN)와 평균 및 분산 정규화(mean and variance normalization, MVN)의 절충 방식인 평균 및 지수적 분산 정규화(mean and exponentiated variance normalization, MEVN)를 도입하여, 잡음 및 잔향 환경에서 분산에 대한 정규화의 정도에 따른 DNN 기반의 음성인식 시스템의 성능을 비교한다. 실험 결과, 성능 개선의 폭이 크지는 않으나 분산 정규화의 정도에 따라 MEVN이 MN과 MVN보다 성능이 우수함을 보여준다.

다국어 초록 (Multilingual Abstract)

Feature normalization is a method to reduce the effect of environmental mismatch between the training and test conditions through the normalization of statistical characteristics of acoustic feature parameters. It demonstrates excellent performance improvement in the traditional Gaussian mixture model-hidden Markov model (GMM-HMM)-based speech recognition system. However, in a deep neural network (DNN)-based speech recognition system, minimizing the effects of environmental mismatch does not necessarily lead to the best performance improvement. In this paper, we attribute the cause of this phenomenon to information loss due to excessive feature normalization. We investigate whether there is a feature normalization method that maximizes the speech recognition performance by properly reducing the impact of environmental mismatch, while preserving useful information for training acoustic models. To this end, we introduce the mean and exponentiated variance normalization (MEVN), which is a compromise between the mean normalization (MN) and the mean and variance normalization (MVN), and compare the performance of DNN-based speech recognition system in noisy and reverberant environments according to the degree of variance normalization. Experimental results reveal that a slight performance improvement is obtained with the MEVN over the MN and the MVN, depending on the degree of variance normalization.

목차 (Table of Contents)

• Abstract
• 1. 서론
• 2. 특징 정규화 방식의 적용
• 3. 실험 및 결과
• 4. 결론
• References
• 국문초록

참고문헌 (Reference)

• 1 Kinoshita, K., "The REVERB challenge: A common evaluation framework for dereverberation and recognition of reverberant speech" 1-4, 2013
• 2 Povey, D., "The Kaldi speech recognition toolkit" (CONF) : 2011
• 3 Deng, L., "Recent advances in deep learning for speech research at Microsoft" 8604-8608, 2013
• 4 De La Torre, A., "Histogram equalization of speech representation for robust speech recognition" 13 (13): 355-366, 2005
• 5 Molau, S., "Feature space normalization in adverse acoustic conditions" 1 : I-I-, 2003
• 6 Yu, D., "Feature learning in deep neural networks – studies on speech recognition tasks" 2013
• 7 Atal, B. S., "Effectiveness of linear prediction characteristics of the speech wave for automatic speaker identification and verification" 55 (55): 1304-1312, 1974
• 8 Ioffe, S., "Batch normalization:Accelerating deep network training by reducing internal covariate shift" 37 : 448-456, 2015
• 9 Pearce, D., "Aurora working group: DSR front end LVCSR evaluation AU/384/02 (Technical report)" Institute for Signal and Information Processing at Mississippi State University 2002
• 10 Li, J., "An overview of noise-robust automatic speech recognition" 22 (22): 745-777, 2014
• 11 Viikki, O., "A recursive feature vector normalization approach for robust speech recognition in noise" 2 : 733-736, 1998