사운드 디자인을 위한 K-POP 음악의 Wave-U-Net 및주파수 분석을 통한 자동 Bass line 표기

Automatic transcription of bass line using Wave-U-Net and frequency analysis in K-POP music for Sound Design

최근의 K-POP 음악은 멜로디 라인도 중요하지만 곡을 구성하는 사운드를 어떻게 디자인 하는지가 중요한 요소가 되었다. 자동으로 mixture audio에서 원하는 오디오를 분리해 내고, 작곡도 스스로 하는 등 음악 분야에서의 인공지능을 이용한 연구가 활발하게 진행되고 있다. 따라서 본 논문에서는 최근 전 세계적으로 인기를 끌고 있는 K-POP 음악 혹은 전자음악의 특징인 다양한 사운드소스가 섞인 음원을 각각의 사운드소 스로 분리하는 것에 특화되어있는 Wave-U-Net을 활용하여 특정 악기를 분리한다. 여기서 특정 악기는 본 논문에서 베이스에 초점을 둔다. 다른 악기에 비해서 두드러지게 낮은 주파수 대역을 가지는 베이스 특성 을 이용하여 Wave-U-Net을 통해 학습되어 임의의 곡에서 추출된 베이스 사운드소스 주파수 값을 Mel-spectrogram을 통해 분석하고, 곡의 코드 진행을 자동으로 분석해 주기 위한 실험을 진행한다. 베이 스 악기의 주파수 특징을 최대한 활용하기 위해 Low pass, Bass boost, Low pass ＋ Bass boost 3가지 방식을 적용하여 실험을 진행하여 비교하고, 각 방법으로 분석한 베이스 라인의 정확도를 분석하여 이를 원본 음원으로부터 추출한 베이스 라인과 비교하여 최적의 방법을 선정한다. 마지막으로 본 실험을 진행하 며 도출한 결과를 바탕으로 적용할 수 있는 아이디어를 제시한다.

In recent K-POP music, the melody line is important, but also how to design the sound that composes the song becomes an important factor. There are many various active research using artificial intelligence in the music field, such as automatically separating the desired audio from the mixture audio and composing music by themselves. In this paper, we use ‘Wave-U-Net’, which specializes in separating sound sources containing various sound sources, which are the characteristics of K-POP music or Electronic music, which are popular all over the world. The particular instrument here focuses on the ‘Bass’. We train Wave-U-Net using bass characteristics that have significantly low frequency band than other instruments. And we analyzes the bass frequency values from random songs using Mel-Spectrogram. Lastly, we experiment to automatically analyze the chord progression of the random song. In order to make the best use of the frequency characteristics of bass instruments, experiments are conducted by comparing three methods ‘Low Pass’, ‘Bass Boost’ and ‘Low Pass + Bass Boost’ and we select the best model. Finally, based on the results of this experiments, we propose ideas that can be applied.