Head Pose and Facial Expression-Based Alternative Input Method for People with Physical Disabilities

본 연구는 사지 마비와 같은 중증 지체장애인의 컴퓨터와 보완대체의사소통 시스템과 같은 정보통신 기술 기반 재활보조공학기기의 접근성 및 사용성 향상을 위해 ‘HF(Head pose & Facial expression) 인터페이스’라 명명한 새로운 대체입력 기술 개발을 목적으로 한다. HF인터페이스는 저가의 3차원 카메라를 활용하여, 기존 헤드마우스 시스템에서 사용하는 적외선 난반사 마커 없이도, 실시간으로 사용자의 머리 움직임과 얼굴 표정 등을 인식하고, 이 인식 정보를 시스템 내부 운영체제의 포인팅 커서 작동기제와 직접 연결함으로써 그레픽유저인터페이스 상의 각종 화면객체들을 보다 편리하고 정확하게 선택·조작할 수 있도록 한다. 구체적으로, 사용자는 머리 움직임을 통해 포인팅 커서를 그래픽유저인터페이스 상에서 자유롭게 이동할 수 있으며, 의도적 눈 깜빡임 또는 입술의 움직임을 통해 원하는 화면객체를 선택·조작할 수 있다 (e.g., 왼족클릭: 왼쪽 눈깜빡임; 오른쪽클릭: 오른쪽 눈깜빡임; 더블클릭: 두번 깜빡임; 끌어당기기: 입벌림 등). 실제 헤드마우스 사용자가 참여한 파일럿 연구를 통해 HF인터페이스는 화면객체 조작에 있어 기존의 dwell-clicking 인터페이스에 비해 보다 빠른 수행 속도 및 정확도를 보임으로써 본 연구의 목적에 부합하는 중증 지체장애인을 위한 새로운 대체입력 방법으로서의 기술적 타당성 및 활용 기능성을 검증하였다.

The purpose of this research is to design and develop a new alternative input method, called HF Interface, for selecting and manipulating on-screen objects based on tracking the user’s head pose and recognizing his/her facial expressions, using a 3D depth sensing camera. To specify a target of interest, the HF interface detects changes in the user s head position and orientation and the detected angular deflection and velocity determines the magnitude and direction of change in the mouse cursor’s position on the screen. To specify a desired pointing command with the HF interface, eye-blinks or lip movements are used (e.g., blinking left eye for left click; blinking right eye for right click; double blinking for double click; opening mouse for drag). In the pilot experimental tests conducted with individuals with spinal cord injury, the HF interface demonstrated that it holds good potential as another viable pointing method by consistently showing faster and more accurate performance than the dwell clicking interface across all pointing operations. As a specific clinical application, HF interface is expected to be useful for both computer access and augmentative communication software.