음성-음악 혼재 데이터에서의 음성분리를 위한 확률적 어텐션을 사용한 양방향 LSTM 기반 피치 분류 = Pitch Classification Based on Bidirectional LSTM with Probabilistic Attention for Speech Segregation from Speech-Music Mixtures

다국어 초록 (Multilingual Abstract)

Speech segregation based on sub-band masking extracts speech signals from audio mixtures via estimation of speech pitch and conservation of signals compatible with the estimated pitch. As speech and music exhibit similar harmonic structures, speech pitch and music pitch coexist in the estimated pitch when speech-music mixture is used as the input, which leads to performance degradation. In order to overcome this limitation, we propose pitch classification using bidirectional LSTM. The probabilistic attention layer is also proposed to improve the bidirectional LSTM. Further, musical energy removal for segregation mask generation is also proposed in order to obtain naturally segregated speech with pitch classification. The experiment results show that the proposed pitch classification using bidirectional LSTM based on probabilistic attention outscores other speech segregation methods.

국문 초록 (Abstract)

Sub-band masking 기반 단일채널 음성분리에서는 음성피치를 추정하여 추정된 피치와 일치하는 주파수 에너지만 통과시키는 필터를 사용하여 배경 잡음으로부터 음성을 분리한다. 음성과 음악은 비슷한 하모닉 구조를 가지고 있어, 음악이 잡음으로 입력될 경우 추정된 피치에 음성 피치와 음악 피치가 공존하게 되며, 이는 음성분리의 성능하락으로 연결된다. 따라서 음성-음악 혼재 데이터에서의 효과적인 음성분리를 위해 음성 피치와 음악 피치를 분류해야 한다. 본 연구에서는 양방향 LSTM을 사용하는 음성/음악 피치 분류 방법을 제안하였으며, 양방향 LSTM의 성능을 향상시키기 위해서 확률적 어텐션 레이어 구조를 제안하였다. 또한 피치 분류 결과로부터 자연스러운 음성분리 결과를 얻기 위해 음악 에너지가 제거된 음성분리 마스크 생성 기법을 제안하였다. 실험결과 확률적 어텐션 기반 양방향 LSTM이 다른 방법에 비해 더 좋은 음성분리 성능을 보여주었다.

참고문헌 (Reference)

• 1 H. Kim, "Sppech/music pitch classification based on bidirectional LSTM with probabilistic attention" 847-848, 2018
• 2 H. Kim, "Particle filtering by sigmoidal weight update for speech pitch correction" 2574-2579, 2012
• 3 D. Bahdanau, "Neural machine translation by jointly learning to align and translate"
• 4 G. Hu, "Monaural speech segregation based on pitch tracking and amplitude modulation" 15 (15): 1135-1150, 2004
• 5 H. Kim, "Monaural speech segregation based on pitch track correction using an ensemble Kalman filter" 2013
• 6 T. Virtanen, "Monaural sound source separation by nonnegative matrix factorization with temporal continuity and sparseness criteria" 15 (15): 1066-1074, 2007
• 7 J. R. Hershey, "Deep clustering : discriminative embeddings for spgmentation and separation" 31-35, 2016
• 8 A. Graves, "Bidirectional lstm networks for improved phoneme classication and recognition" 799-804, 2005
• 9 A. S. Bregman, "Auditory Scene Analysis: The Perceptual Organization of Sound" MIT Press 1990
• 10 Y. Cheng, "Agreement-based joint training for bidirectional attention-based neural machine translation"
• 11 M. Weintraub, "A theory and computational model of auditory monaural sounds separation" Stanford University 1985