시선 깊이 추정 기법을 이용한 OST-HMD 자동 스위칭 방법

Method for Automatic Switching Screen of OST-HMD using Gaze Depth Estimation

본 논문에서는 시선 깊이 추정 기술을 이용한 OST-HMD의 자동화면 on/off 기능을 제안한다. 제안하는 방법은 MLP (Multi-layer Perceptron)을 이용하여 사용자의 시선 정보와 보는 물체의 거리를 학습 한 후, 시선 정보만 입력하여 거리를 추정한다. 학습 단계에서는 착용 할 수 있는 양안 추적기를 사용하여 시선 관련 특징을 얻는다. 그런 다음 이 특징을 다층 퍼셉 트론 (MLP: Multi-layer Perceptron)에 입력하여 학습하고 모델을 생성한다. 추론 단계에서는 안구 추적기로부터 실시간으로 시선 관련 특징을 얻고 이를 MLP에 입력하여 추정 깊이 값을 얻는다. 마지막으로 HMD의 화면을 켜거나 끌 것인지 여부를 결정하기 위해 이 계산결과를 활용한다. 제안된 방법의 가능성을 평가하기 위해 프로토타입을 구현하고 실험을 수행하였다.

In this paper, we propose automatic screen on / off method of OST-HMD screen using gaze depth estimation technique. The proposed method uses MLP (Multi-layer Perceptron) to learn the user s gaze information and the corresponding distance of the object, and inputs the gaze information to estimate the distance. In the learning phase, eye-related features obtained using a wearable eye-tracker. These features are then entered into the Multi-layer Perceptron (MLP) for learning and model generation. In the inference step, eye - related features obtained from the eye tracker in real time input to the MLP to obtain the estimated depth value. Finally, we use the results of this calculation to determine whether to turn the display of the HMD on or off. A prototype was implemented and experiments were conducted to evaluate the feasibility of the proposed method.