감정인식을 위한 PK-CCA 기반의 다중 모달 생체신호 융합 모델

PK-CCA based Multi-modal Biosignals Fusion Model for Emotion Recognition

뇌파, 근전도, 심전도 등과 같은 생리학적 데이터는 소셜 마스킹의 영향을 받지 않아 객관적이고 신뢰할 수 있는 데이터로서 감정인식 연구에 광범위하게 활용되고 있다. 그러나 단일 생리학적 데이터 기반의 감정인식 연구는 노이즈나 인공물 뿐 만 아니라 감정의 복잡성과 생리학적 반응의 개인차로 인해 인식 성능이 저하될 수 있다. 따라서 이를 보완하기 위한 방법으로 여러 가지 생리학적 데이터를 융합하여 감정인식을 수행하는 연구가 꾸준히 시도되고 있다. 본 논문에서는 감정인식 성능을 향상시키기 위해 여러 가지 생리학적 데이터를 융합하는 새로운 감정인식 모델을 제안한다. 제안된 모델은 커널 정준상관분석(Kernal Canonical correlation analysis, KCCA)과 패널티 행렬 분해(Penalized Matrix Decomposition, PMD)을 결합한 Penalized Kernel-CCA(PK-CCA)를 이용하여 데이터를 융합한다. 새롭게 융합된 데이터는 점진적 시간적 합성곱 네트워크(incremental Temporal Convolutional Network) 모델의 학습데이터로서 감정인식을 수행한다. 제안된 모델은 멀티 감정 클래스 분류 실험에서, 단일 생리학적 데이터 기반의 실험참가자 의존적(subject-dependent) 분류 학습에서 대략 7%, 실험참가자 독립적(subject-independent) 학습에서 15% 향상된 결과를 보였다.

Physiological signals such as Electroencephalogram (EEG), Electromyography (EMG), Electrocardiogram (ECG), etc. have been widely used in emotion recognition research as more objective and reliable data because they are not affected by social masking. However, since emotion recognition research using only a single modality signal significantly reduces performance due to noise, artefacts, and individual differences in emotional complexity and physiological responses, researchers have tried to fuse multimodality signals to perform emotion recognition as a way to compensate. In this paper, I propose a novel emotion recognition model that fuses multiple physiological signals to improve the accuracy and reliability of physiological signal-based emotion recognition performance. The proposed model fuses the data set using Penalized Kernel CCA(PK-CCA), which is combined with Kernal Canonical Correlation Analysis (KCCA) and Penalized Matrix Decomposition (PMD). The fused new data is used as training data for the Incremental Temporal Convolutional Network(iTCN) model for emotion recognition. The experimental results show that the proposed model outperforms the classification accuracy based on single-modality data by approximately 7% in subject-dependent learning and 15% in subject-independent learning.