가상 시뮬레이션 학습자의 인지부하와 정서를 분석하기 위한 표정 분석 및 뇌전도의 활용

Use of Facial Expression Analysis and EEG to Analyze Cognitive Load and Emotion of Learners in Virtual Simulation

이 연구의 목적은 가상 시뮬레이션을 경험하는 학습자의 인지부하와 정서상태를 분석하기 위한 것이다. 가상 시뮬레이션 활용 교육에서 학습자는 지속적인 시청각 자극을 경험하기 때문에 이들의 사용자 경험은 매우 역동적으로 변화한다. 이를 기존의 사후보고식 방법으로는 정확하게 측정하기 어렵다. 따라서 이 연구에서는 가상 시뮬레이션을 경험하는 사용자가 시나리오의 내용 흐름에 따라 어떠한 인지･정서적 변화를 경험하는지 표정 분석과 뇌파를 통해 확인하고자 하였다. 연구 대상자는 대학생 34명(남자=10명, 여자=24명)이었다. 이 연구에서 사용된 가상 시뮬레이션은 학부모와의 상담사례로, 사용자는 가상 학부모와 면담하게 된다. 사용자 경험 중 인지부하를 분석하기 위해 분당 눈깜빡임(blink per min)과 중간 베타파(midbeta wave, 1520Hz)를 측정했다. 정서를 분석하기 위해서는 정서가(valence)와 전두엽 비대칭 알파파(frontal alpha asymmetry)를 측정했다. 시나리오를 내용 전개에 따라 4단계로 구분하고, 구간별 측정지표의 평균 변화를 분석하였다. 연구 결과, 1단계인 인사하기 단계에서 인지부하가 상승하고 긍정 정서가 높아졌다. 그러나 2단계 문제행동 언급 단계에서 인지부하와 긍정 정서 모두 급격히 감소하였다. 그 후, 34단계를 거치며 점차 재상승하는 패턴을 보였다. 이를 바탕으로 사용자 경험 중 인지부하와 정서가의 발생 패턴이 유사함을 확인할 수 있었다. 이 연구의 의의는 가상시뮬레이션 교육에서 인지･정서 측면의 사용자 경험을 측정하는데 생리 신호 기반의 멀티모달 측정법의 타당성을 확인하였다는 점에 있다.

The purpose of this study was to analyze the cognitive load and emotional state of learners who are experiencing virtual simulations. In educational settings that use virtual simulations, learners experience continuous audiovisual stimuli that make their user experience highly dynamic. However, it is difficult to measure user experiences accurately with conventional post-self-report methods. Therefore, this study attempted to determine the cognitive and emotional changes that virtual simulation users experienced as the scenario content progressed using facial expression analysis and brainwave measurements. The participants consisted of 34 college students (10 males and 24 females). The virtual simulation used in this study was a parent-teacher conference scenario, in which the participants interacted with virtual parents. Eye blinks per minute and mid-beta wave (15-20Hz) were measured to analyze cognitive load during their experience, while valence and frontal alpha asymmetry were measured to analyze emotions. The scenario was divided into four stages based upon content progression, and the mean change in the indicators measured was analyzed for each stage. The results showed that cognitive load and positive emotions increased during the first stage, the greeting. However, both decreased sharply during the second stage, discussing problematic behavior. Subsequently, a gradual re-increase pattern was observed during stages 3 and 4. These results confirmed that the patterns of the cognitive load and valence during users’ experience were similar. The significance of this study lies in the fact that it verified the validity of using multimodal measurement methods based upon physiological signals to measure cognitive and emotional aspects of users’ experience in virtual simulation education