인식 기반의 멀티모달 인터페이스를 이용한 체감형 태보 게임

Recognition-based multimodal interfaces in a physical interactive Tae-bo game

본 논문에서는 3D 동작인식과 음성인식 인터페이스의 융합을 통해 사용자 친화적인 인터페이스 기술 개발과 이를 기반으로 인식기반의 멀티모달 인터페이스를 이용한 체감형 태보 게임을 개발했다. 음성인식을 위해 3개의 진행명령어('시작', '취소', '모두취소')와 4개의 선택 숫자('1','2','3','4')에 대해 HMM(Hidden Markov Model) 기반의 음성 인식기를 사용하였다. 또한, 4개의 진행 동작과 10개의 태보 동작에 대해 인체모델에서 추출한 관절값을 이용한 특징과 기계학습 알고리즘인 SVM(Support Vector Machine)을 사용하여 동작을 인식하였다. 체감형 태보게임은 크게 메뉴부분과 게임부분으로 나뉘는데, 메뉴부분에서 음성인식과 4개의 진행동작 인식에 기반한 멀티모달 인터페이스를 사용하였고, 게임부분에서는 태보동작에 대한 동작인식 인터페이스를 사용하였다. 본 논문에서 제안하는 체감형 게임은 우수한 인식 결과를 통해 사용자 친화적 인터페이스로의 가능성을 보여주고 있다.

In this paper, we propose a physical interactive Tae-bo game which uses multimodal interfaces based on 3D gesture recognition and speech recognition. With HMM(Hidden Markov Model), the physical game recognizes speech commands('start', 'cancel', 'cancal all') and 4 digits('1', '2', '3', '4'). And, to recognize 4 gesture commands and 10 Tae-bo gestures, the game uses a human skeleton model, computes gesture features, and conducts a machine learning algorithm SVM(Support Vector Machine). Recognition results are presented that demonstrate the efficacy of our multimodal interface and the possibility of user-friendly interface.