신경회로망 기반의 스테레오 비젼을 이용한 얼굴 모션 캡쳐 알고리즘

The Facial Motion Capture Algorithm Using Stereo Vision based on Neural Networks

본 연구에서는 일반 CCD 카메라 2대를 사용하여 3차원 데이터를 획득하고, 획득한 마커의 데이터를 빠르고 효과적으로 추적할 수 있는 추적 알고리즘을 제안한다. 제안한 알고리즘은 마커의 추출, 스테레오 마커의 정합, 궤적 추적의 세 단계로 구성된다. 먼저 영역분할 및 신경회로망 기반의 마커 병합 기법을 이용하여 입력 영상으로부터 다중 마커를 추출한다. 그 다음, 스테레오 비젼 기법을 이용하여 2차원 좌표에 깊이 정보를 더해 3차원 좌표를 구한다. 이후 신경회로망 기반의 추적 알고리즘을 사용하여 3차원 좌표를 가지는 다중 마커를 추적한다.

In this study we propose the tracking algorithm which can track the 3-D data of the mark acquired by two normal CCD camera. The proposed algorithm consists of three steps, which is marker extraction, stereo matching, trajectory tracking. The first step is to extract multiple markers from the input image using region merging based on neural networks. The second step is to acquire 3-D coordinates by adding the depth information of the image in 2-D coordinates using stereo vision technique. The last step is to track multiple markers, which have 3-D coordinates, using tracking algorithm based on neural networks.