하모닉 구조를 이용한 다성 음악의 주요 멜로디 검출 = Extracting Predominant Melody from Polyphonic Music using Harmonic Structure

국문 초록 (Abstract)

본 논문에서는 하모닉 구조를 이용하여 다성 음악의 주요 멜로디를 검출하는 방법을 제안한다. 다성 음악은 다수의 음원을 동시에 포함하므로 주요 멜로디를 검출하기 위하여 다중 기본 주파수를 추출하고 각 기본 주파수의 성질을 기반으로 주요 멜로디를 구하는 과정으로 구성된다. 하모닉 구조는 기본 주파수의 배음관계를 나타내고 단일 음원 신호의 중요한 특성 파라미터이다. 따라서 제안하는 방법은 하모닉 구조의 정확도를 기준으로 다성 음악에 존재하는 모든 기본 주파수 후보를 추출하고, 추출된 기본 주파수 후보에 대하여 하모닉 성분을 조합하여 하모닉 평균 에너지를 구하여 기본 주파수 후보의 중요도 순위를 결정한다. 마지막으로 기본 주파수 후보의 순위와 기본 주파수의 연속성을 기반으로 피치 트래킹을 진행하여 최종 주요 멜로디에 해당하는 기본 주파수를 검출한다. 제안한 방법의 성능을 ADC 2004 DB와 가요 100곡에 대하여 MIREX 2005 측정 방법에 따라 측정하였으며, ADC 2004 DB에 대하여 90.42%의 검출 정확도를 가진다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a method for extracting predominant melody of polyphonic music based on harmonic structure. Since polyphonic music contains multiple sound sources, the process of melody detection consists of extraction of multiple fundamental frequencies and determination of predominant melody using those fundamental frequencies. Harmonic structure is an important feature parameter of monophonic signal that has spectral peaks at the integer multiples of its fundamental frequency. We extract all fundamental frequency candidates contained in the polyphonic signal by verifying the required condition of harmonic structure. Then, we combine those harmonic peaks corresponding to each extracted fundamental frequency and assign a rank to each after calculating its harmonic average energy. We finally run pitch tracking based on the rank of extracted fundamental frequency and continuity of fundamental frequency, and determine the predominant melody. We measure the performance of proposed method using ADC 2004 DB and 100 Korean pop songs in terms of MIREX 2005 evaluation metrics, and pitch accuracy of 90.42% is obtained.

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 주요 멜로디 추출 방법
• Ⅲ. 성능평가 및 고찰
• Ⅳ. 결론
• References
• 저자소개

참고문헌 (Reference)

• 1 박호종, "오디오 신호의 다중 피치 검출기술" 37 (37): 63-72, 2010
• 2 E. M. Voorhess, "The TREC-8 Question Answering Track Evaluation" NIST 77-82, 1999
• 3 J.-L. Durrieu, "Singer melody extraction in polyphonic signals using source separation methods" 169-172, 2008
• 4 Y.-G. Zhang, "Separation of music signals by harmonic structure modeling" 184-191, 2005
• 5 M. Lagrange, "Normalized cuts for predominant melodic source separation" 16 (16): 2008
• 6 A. P. Klapuri, "Multiple fundamental frequency estimation by summing harmonic amplitudes" 216-221, 2006
• 7 A. P. Klapuri, "Multiple fundamental frequency estimation based on harmonicity and spectral smoothness" 11 (11): 804-815, 2003
• 8 G. Poliner, "Melody Transcription from Music Audio: Approaches and Evaluation" 15 (15): 1066-1074, 2007
• 9 김무영, "MIREX 기술 동향" 37 (37): 88-102, 2010
• 10 E. Vincent, "Harmonic and inharmonic non-negative matrix factorization for polyphonic pitch transcription" 109-112, 2008
• 11 "Audio Melody Extraction Results"
• 12 M. Goto, "A robust predominant-F0 estimation method for real-time detection of melody and bass lines in CD recordings" 757-760, 2000
• 13 M. Goto, "A predominant-F0 estimation method for real-world musical audio signals: MAP estimation for incorporating prior knowledge about F0s and tone models" 3365-3368, 2001