A Technique for Building 3D Game Characters from Cartoon Character Images Using Deep 3D Face Reconstruction

심층학습 기반의 3D 안면 재구성을 활용한 2D 카툰 캐릭터 영상에서 3D 게임 캐릭터 생성 기술

본 논문에서는 웹툰 캐릭터 영상에 대해서 심층학습에 기반한 3D 안면 재구성 기술을 제안한다. 본 연구에서 제안하는 방법은 기본 사항 모듈과 상세 사항 모듈로 구성된다. 입력 받은 웹툰 캐릭터 영상에 대해서 기본 사항 모듈의 요소인 Albedo 모듈을 적용해서 안면에 들어오는 빛의 양을 계산하여 Albedo 맵을 생성한다. 그리고 기본 사항 모듈의 다른 구성 요소인 FLAME 모듈에서는 입력 영상에 대한 기본적인 3D 안면 형태를 생성한다. 이와 동시에 상세사항 모듈을 적용해서 실제 사람과 다르게 이목구비가 변형된 웹툰 캐릭터 영상의 표정이나 얼굴 깊이와 같은 특징을 살리는 세부사항을 추출한다. 계산한 세부사항들을 토대로 세부사항 맵을 생성하여 앞서 FLAME 모듈에서 생성된 3D 안면 형태와 결합하여 세부사항 안면 형태를 생성한다. 그 후 Albedo 모듈에서 생성된 Albedo 맵까지 적용하면 최종적으로 웹툰 캐릭터 영상에 대한 3D 안면 재구성이 완료된다. 본 연구에서는 웹툰 캐릭터뿐만 아니라 안면이 스타일화된 애니메이션 캐릭터에 대해서도 결과를 생성하고, 이를 기존 연구와 비교하여 그 우수성을 입증한다.

We propose a deep learning-based 3D face reconstruction technique for webtoon character images. Our method consists of a default module and a detail module. The default module incorporates the Albedo module to calculate the amount of incoming light on the face and generate an albedo map for the input webtoon character image. Additionally, the FLAME module, another component of the default module, generates the basic 3D face shape for the input webtoon character image. Simultaneously, the detail module is applied to extract the detailed features such as facial expressions and depth of the transformed webtoon character image, which differ from real human faces. As a result of the detail module a detail map is generated and combined with the 3D face shape generated by the FLAME module to generate the detail face shape. Finally, the Albedo map generated by the Albedo module is applied to complete the 3D face reconstruction for webtoon character images. We generate various results including webtoon characters and stylized animation characters, and compare them with those from previous research to demonstrate our superiority.