FillingGAN: 채색 게임 콘텐츠를 위한 딥러닝 기반의 선화 자동 채색 기법 연구

FillingGAN: A Deep Learning-based Automatic Coloring Technique from Line Drawings for Developing Coloring Game Contents

본 논문에서는 생성 모델로 색칠하기 게임에서 사용 가능하도록 임의의 선화와 원하는 컬러링 스타일을 입력하면 자동으로 컬러링 영상을 생성하는 신경망 모델인 FillingGAN을 제안한다. 제안된 모델은 스타일 영상의 특징을 추출하는 오토 인코더 구조의 모듈과 추출된 스타일 영상의 특징을 선화에 적용해서 이미지를 생성하는 GAN 모델로 구성된다. GAN 모델은 선화에서 추출된 구조와 스타일 영상에서 추출된 색 정보를 이용해서 채색 영상을 생성하는 과정을 수행하며, 이를 위해서 선화의 구조와 스타일 영상의 색 정보를 유지하는 손실 함수를 설계한다. 우리의 모델은 선화의 고유한 특징을 보존하며 스타일이 적용된 이미지를 생성한다.

In this paper, we contribute to the field of game by presenting FillingGAN, an automatic coloring framework using a generative adversarial network (GAN). FillingGAN is devised to generate a coloring image from a line drawing by filling empty regions between the lines in the line drawing image from the coloring styles learned from sample coloring images. Our model consists of two style extracting modules and a GAN model. The style extracting modules are designed as an auto-encoder that extracts feature from input images. One module extracts color styles from coloring sample images and the other extracts structure from a line drawing. FillingGAN executes coloring process by applying the coloring styles from coloring samples to a line drawing. It determines the similarity between the generated coloring image and the input line drawing, and calculate the perceptual loss to preserve the structural similarity. FillingGAN generates coloring images with preserved details by adjusting the weights between the structural feature vectors and the style feature vectors. As a result, it generates a stylized image without distorting the unique features of a line drawing. Our framework can be improved to apply various styles including artistic media strokes to line drawings.