딥러닝 기반 멀티모달 가슴압박 평가 장치 개발

Deep Learning–Based Multimodal Chest Compression Evaluation Device

본 연구의 목적은 단일 RGB 카메라 기반 2D 자세 정보와 저채널 표면 근전도(EMG) 신호를 융합하여 심폐소생술(CPR) 가슴압박 수행의 오류를 원인 기반으로 분석하고, 이를 실시간으로 분류·피드백할 수 있는 경량 멀티모달 평가 시스템을 개발하고 그 효과를 검증하는 데 있다. 기존 마네킹 기반 평가는 압박 깊이와 속도와 같은 결과 중심 지표에 국한되어 있어, 자세 정렬이나 체중 전달과 같은 오류 원인을 충분히 설명하지 못한다는 한계를 가진다. 심폐소생술 수행 경험이 서로 다른 성인 20명을 대상으로 1분 단위 가슴압박 세션을 수행하게 하였으며, RGB 영상과 EMG 신호를 동시 수집하여 시계열 기반 멀티모달 데이터셋을 구축하였다. 수집된 신호는 시간 동기화 및 전처리를 거쳐 Skeleton 기반 자세 특징과 EMG 기반 근활성 특징으로 추출되었고, 이를 LSTM 기반 딥러닝 모델에 입력하여 압박 깊이 부족, 속도 불안정, 불완전 이완, 체중 실기 부족, 팔꿈치 신전 미유지의 다섯 가지 오류 유형을 자동 분류하도록 설계하였다. 또한 모델 출력에 기반한 원인 중심 실시간 피드백 모듈을 구현하였다. 멀티모달 분류 모델의 평균 F1-score는 0.90으로 RGB 단일모달(0.82) 및 EMG 단일모달(0.79) 모델 대비 향상된 성능을 보였다. 실시간 피드백 제공 후 10초 구간에서 모든 오류 유형에서 오류율 감소가 관찰되었으며, 특히 압박 깊이 부족과 속도 불안정 오류에서 상대적으로 큰 감소폭이 나타났다. 반면 체중 실기 부족 오류는 다른 오류 유형에 비해 감소폭이 제한적이었다. 또한 동일 세션 내 후반 구간에서 압박 속도 변동성과 깊이 편차가 감소하여, 실시간 피드백이 세션 내 수행 안정화에 기여함을 확인하였다. 본 연구에서 제안한 경량 멀티모달 CPR 평가 시스템은 저비용 장비 구성으로도 주요 CPR 오류를 원인 기반으로 분류하고, 동일 세션 내에서 즉각적이고 지속적인 수행 교정을 유도할 수 있음을 보여주었다. 본 시스템은 대학, 병원, 소방기관 등 다양한 교육 환경에서 CPR 교육의 객관성과 실효성을 보완할 수 있는 도구로 활용 가능성이 있다.

This study aimed to develop and evaluate a lightweight multimodal cardiopulmonary resuscitation (CPR) chest compression assessment system that integrates 2D posture information from a single RGB camera with low-channel surface electromyography (EMG) signals to identify CPR performance errors based on their underlying causes and to provide real-time corrective feedback. Conventional manikin-based assessments primarily focus on outcome metrics and have limited ability to explain the biomechanical causes of performance errors. Twenty adults with varying levels of CPR experience performed 1-minute chest compression sessions while RGB video and EMG signals were simultaneously collected. A time-series multimodal dataset was constructed through temporal synchronization and preprocessing of the signals. Skeleton-based posture features and EMG-derived muscle activation features were extracted and input into an LSTM-based deep learning model to classify five predefined error types: insufficient compression depth, unstable compression rate, incomplete recoil, insufficient body-weight transfer, and inadequate elbow extension. A real-time, cause-based feedback module was implemented based on model predictions. The multimodal model achieved an average F1-score of 0.90, outperforming RGB-only (0.82) and EMG-only (0.79) models. Following feedback delivery, error rates decreased across all error types within a 10-second window, with greater reductions observed for insufficient compression depth and unstable compression rate. In contrast, the reduction in insufficient body-weight transfer errors was relatively modest. Additionally, reductions in compression rate variability and depth deviation were observed in the later phase of the same session, indicating a within-session sustained stabilization effect of real-time feedback. The proposed lightweight multimodal CPR assessment system demonstrates that major CPR performance errors can be classified based on underlying causes and corrected in real time using a low-cost sensor configuration. This system may serve as a practical tool to enhance objectivity and effectiveness in CPR education across diverse training environments.