연구단보: 얼굴 표정을 이용한 비접촉식 거짓말 탐지 시스템 개발 및 유의시점 분석

Development of Non-contact Deception Detection using Facial Expression and Analysis of Significant Time Period

본 연구는 기존의 접촉식 거짓말 탐지의 단점을 해결하기 위하여 비접촉식 거짓말 탐지 기법을 개발하고자 얼굴 표정 변화를 촬영하고 분석하였다. 거짓말 탐지를 위한 영상 데이터 얻고자 모의범죄 실험을 진행하였으며, 긴장정점검사(POT)을 이용하여 데이터를 수집하였다. 거짓말을 할 때의 표정 분석을 위해 합성곱 신경망(CNN) 계열의 stacked hourglass 네트워크 4층을 쌓은 모델을 이용하여 얼굴에서 특징점을 추출하였다. 영상에서 프레임 단위로 추출한 66개의 특징점을 시간 순으로 배치하여 장단기메모리(LSTM) 모델을 이용하여 거짓말 영상과 진실 영상을 분류하는 모델을 개발하였으며, 모델 학습을 진행하고 이를 토대로 평가 데이터를 통한 분류 정확도는 85.19%이었다. 학습이 완료된 모델의 결과를 분석하기 위하여 LSTM 활성도 분석을 진행하였다. 개발한 방법을 이용하여 사람의 얼굴에서의 표정 변화를 이용한 거짓말 탐지의 가능성을 확인할 수 있었으며, 비접촉식 거짓말 탐지에 중요한 시점을 도출하여 추후 비접촉식 거짓말 탐지의 가능성을 확인할 수 있었다.

In this study, facial expression changes were photographed and analyzed to develop a non-contact deception detection technique to solve the shortcomings of the existing contact deception detection. A simulated crime experiment was conducted to obtain video data for deception detection, and the data was collected using a POT (Peak of Tension Test). In order to analyze facial expression when lying, face landmarks were extracted from the face by using a model with four layers of stacked hourglass networks, a kind of CNN (Convolutional Neural Network). The deception detection was performed using stacked 66 face landmarks extracted in the frames from video in chronological order by the LSTM (Long Short Term Memory) model for truth/deception video classification, and the result using test set was 85.19%. LSTM activity analysis was performed to analyze the results of the model on which training was completed. Using the developed method, the possibility of deception detection using changes in facial expressions was confirmed, and important time for non-contact deception detection were identified.