여러 게임을 동시 학습한 강화학습 기반 단일 AI

Reinforcement Learning based Single AI trained from Multi-game

최근, 여러 분야에서의 AI가 빠르게 성장하였고 게임에서도 큰 발전이 있었다. 게임 AI에 대한 접근 방법은 여러 가지가 있다. 먼저 지도 학습 기반 접근 방법은 게임 플레이 데이터에서 학습하고, 플레이 행동을 흉내 낸다. 그러나, 지도 학습 기반 접근 방법은 입력 자질을 선형 조합하므로, 복잡한 문제에는 성능 향상에 한계가 있다. 선형 조합에 따른 성능 한계를 개선하기 위해, 딥 뉴럴 네트워크 기반 접근방법은 지역적 특성 및전역적 특성을 개별적으로 각각 표현하기 위해 둘 이상의 뉴럴 네트워크를 사용한다. 그러나 딥 뉴럴 네트워크 기반 접근방법은 충분한 학습 집합이 필요하다. 학습 집합을 준비해야 하는 부담을 줄이기 위해서, 강화 학습 기반 접근 방식은 Agent가 먼저 Action을 하고 이에 따른 보상을 분석하여 학습한다. 즉, 이 접근방법은 Agent가 최대 보상을 받도록 학습한다. 본 논문에서는 강화 학습을 통해 여러 게임에서 학습하는 AI를 제안한다. 제안하는 AI 모델은 개별 게임에서 Local Agent가 플레이하고, 여러 Local Agent에서 Global Agent 를 학습한다. 실험 결과, 한 게임에서 학습한 Agent는 학습했던 게임에서는 우수한 성능을 보여주었지만, 새로운 게임에서는 성능이 떨어졌다. 반면에, 두 게임에서 학습한 제안하는 Agent는 학습한 게임과 새로운 게임 모두에서 잘 적응했다.

Recently, AI Technologies have grown rapidly in various fields including game. There are many approaches to game AI. First, the supervised learning-based approaches are learned from the game play data, and mimic a series of the playing behavior. However, there are limitations in the complicated games due to the linear combination of input features. In order to solve these limitations by the linear combination, the deep neural network-based approaches utilizes more than two neural networks to represent the local characteristics and the global characteristics respectively. Still, these approaches require the enough training data. Without any already prepared training data, the reinforcement learning based approaches can be learned from the relations between the agent action and its reward in the environment, and aimed at that the agent obtains the maximum reward. In this paper, we propose a single AI trained from multi-games by the reinforcement learning. In the proposed AI model, every local agent plays each single game, while the global agent is learned from all local agents. Experimental results show that the agent learned from multi-games is adjusted well on both the training game and a new game, while the agent learned from a single game achieves good performance at only the training game.