Implementation of an efficient super resolution algorithm for game images using sparse matrix multiplication

희소 행렬 연산을 이용한 게임 영상의 효율적인 초해상화 알고리즘 구현

본 연구에서는 게임 동영상의 고화질 변환이 가능한 초해상화 알고리즘을 제시한다. 본 알고리즘은 오픈 소스 형태의 GPU에서 제공하는 MMU에서 구현될 수 있도록 희소 행렬 연산을 이용해서 설게된다. 이를 위해서 일반적인 영상 해상도 향상 방법인 이중 일차 및 이중 삼차 보간 법과 심층 학습에 기반한 초해상화 모델에서 사용하는 컨볼루션 연산을 희소 행렬 연산으로 변환하는 방법을 제시한다. 이는 각 픽셀에 적용되는 필터를 행렬 곱 형태로 표현하고, 이 행렬을 희소 행렬로 표현함으로써 수행되는데, 이러한 과정을 통해서 연산의 효율성을 추구함으로써 안정적인 초해상화 알고리즘을 제공한다. 이러한 희소행렬 연산 형태로 표현되는 초해상화 알고리즘은 기존의 라이브러리를 이용해서 구현된 초해상화 알고리즘과 유사한 PSNR과 FPS를 보인다.

We present a super resolution algorithm that increases the resolution of game scenes. Since game scenes are required to be rendered in real time, rendering high-resolutional game scenes in real time is very challenging. Therefore, increasing the resolution of game scenes rendered in low resolution is very promising. In order to present a fast super resolution algorithm, we implement our super resolution algorithm using a sparse matrix operation that can be accelerated through a matrix multiplication unit (MMU). Since many open source GPUs present an acceleration environment, our MMU-based approach can be implemented in many open source GPUs. As a baseline of our approach, we present a sparse matrix multiplication formula of bilinear interpolation and bicubic interpolation. We furthermore present a sparse matrix multiplication form of a convolution operation, which is necessary for deep learning-based super resolution algorithms. The filters employed in the convolution operations are converted to a series of sparse matrices, which are multiplied to complete the deep learning-based super resolution model. We demonstrate the performance of our approach by measuring peak signal-to-noise ratio (PSNR) and mean opinion score (MOS) of the result images generated by our approach and by the existing methods.