이상치 강건 손실함수를 결합한 심층 신경망 기반 음성 향상 연구 = A study on deep neural network based speech enhancement by combining outlier-robust loss

국문 초록 (Abstract)

마스크 기반 음성 향상 기법은 잡음과 음성을 분리하여 음성 품질을 향상시키는 데 효과적이며, 심층 신경망(Deep Neural Network, DNN)을 사용하여 잡음이 있는 음성의 스펙트럼을 복원하는 방법이 많이 연구되어왔다. 심층신경망 기반 음성 향상 기법의 성능 향상을 위한 방법의 하나로 손실함수 개선에 관한 연구가 진행되어 왔다. 선행 연구에서는 시간 영역에서 Scale-Invariant Signal-to-Noise Ratio(SI-SNR)을 활용한 손실함수와, 주파수 영역에서 크기스펙트럼에서 Mean Squared Error(MSE)를 사용한 손실함수를 조합하여 음성 향상 모델을 훈련하는 방식이 연구되었다. 선행연구에서의 MSE 손실함수 사용은 훈련 데이터에서 잡음의 불균일성이 이상치(Outlier로 작용하여 MSE 손실함수가 이상치 데이터에 민감하게 반응한다는 한계가 존재한다. 본 연구에서는 MSE 손실함수 대신 이상치에 강건한Robust Regression 손실함수 중 하나인 Huber 손실함수와 그 변형인 Berhu 손실함수로 대체하여 음성 향상 성능을평가하였다. 성능 평가를 위해 Source-to-Distortion Ratio(SDR), Perceptual Evaluation of Speech Quality(PESQ), Short-Time Objective Intelligibility(STOI)를 이용해 비교 평가를 수행하였다. Voice Cloning Toolkit(VCTK) 데이터베이스를 이용한 실험 결과, 기존의 SI-SNR + MSE 손실함수 조합 대신 Huber 손실함수와 Berhu 손실함수를SI-SNR 손실함수와 조합한 경우, SDR, PESQ, STOI 세 가지 성능 지표에서 모두 향상된 결과를 보였다.

다국어 초록 (Multilingual Abstract)

Mask-based speech enhancement techniques have proven effective in improving speech quality by separating noise and speech. Many studies have explored methods to restore the spectrum of noisy speech using Deep Neural Networks (DNNs). To further enhance the performance of DNN-based speech enhancement methods, research has focused on improving loss functions. Previous studies proposed combining the Scale-Invariant Signal-to-Noise Ratio (SI-SNR) loss in the time domain and the Mean Squared Error (MSE) loss in the magnitude spectrum of the frequency domain to train speech enhancement models. However, the use of MSE loss is limited by its sensitivity to outliers, as the non-uniformity of noise in training data acts as an outlier, which adversely impacts the loss function. In this study, we replaced the MSE loss with Huber Loss, a robust regression loss function, and its variant, Berhu Loss, to evaluate their impact on speech enhancement performance. We compared the performance of models trained with the proposed loss functions to those trained with the conventional SI-SNR + MSE combination, using Source-to-Distortion Ratio (SDR), Perceptual Evaluation of Speech Quality (PESQ), and Short-Time Objective Intelligibility (STOI) as evaluation metrics. Experimental results on the Voice Cloning Toolkit (VCTK) dataset demonstrated that combining SI-SNR with either Huber Loss or Berhu Loss improved all three metrics (SDR, PESQ, and STOI), outperforming the conventional SI-SNR + MSE combination.