Attention CRNN에 기반한 오디오 이벤트 검출

Audio Event Detection Based on Attention CRNN

최근 들어, 오디오 이벤트 검출을 위하여 다양한 딥뉴럴네트워크 기반의 방법들이 제안되어 왔다. 본 연구에서는 베이스라인 CRNN(Convolutional Recurrent Neural Network) 구조에 attention 방식을 도입함으로서 오디오 이벤트 검출의 성능을 향상시키고자 하였다. 베이스라인 CRNN의 입력단에 context gating을 적용하고 출력단에 attention layer을 추가하였다. 또한, 프레임(frame) 단위의 강전사 레이블(strong label)정보 뿐만 아니라 클립(clip) 단위의 약전사 레이블(weakly label) 오디오 데이터를 이용한 학습을 통하여 보다 나은 성능을 이루고자 하였다. DCASE 2018/2019 Challenge Task 4 데이터를 이용한 오디오 이벤트 검출 실험에서 제안된 attention 기반의 CRNN을 통하여 기존의 CRNN 방식에 비해서 최대 66%의 상대적 F-score 향상을 얻을 수 있었다.

Recently, various deep neural networks based methods have been proposed for audio event detection. In this study, we improved the performance of audio event detection by adopting an attention approach to a baseline CRNN. We applied context gating at the input of the baseline CRNN and added an attention layer at the output. We improved the performance of the attention based CRNN by using the audio data of strong labels in frame units as well as the data of weak labels in clip levels. In the audio event detection experiments using the audio data from the Task 4 of the DCASE 2018/2019 Challenge, we could obtain maximally a 66% relative increase in the F-score in the proposed attention based CRNN compared with the baseline CRNN.