탄막 슈팅 게임 사용자 모델링을 위한 커리큘럼 러닝 기반 강화학습

Curriculum Learning-Based Reinforcement Learning for Danmaku Shooting Game User Modeling

게임 산업은 핵심적인 엔터테인먼트 산업으로 성장하면서 이용자층이 다양해졌고, 이에 따라 단일한 난이도로는 다양한 이용자층을 만족시키기 어려워졌다. 이러한 문제를 해결하기 위해, 플레이어의 실력에 맞춰 게임 환경을 조절하는 동적 난이도 조절(Dynamic Difficulty Adjustment) 기술이 주목받고 있다. 본 논문에서는 정교한 동적 난이도 조절 시스템의 기반이 되는 다양한 사용자 모델을 생성하기 위해, 커리큘럼 러닝 기반의 강화학습 알고리즘을 제안한다. 성능 검증을 위해, 제안된 커리큘럼을 통해 학습된 ‘하수’, ‘중수’, ‘고수’ 에이전트들의 플레이스타일과 성능을 비교 분석하여, 제안한 방법이 효과적임을 입증하였다.

As the game industry has grown into a core sector of entertainment, its increasingly diverse user base has made it difficult to satisfy all players with a single level of difficulty. To address this, we propose a curriculum learning-based reinforcement learning algorithm that generates diverse user models as the foundation for an advanced Dynamic Difficulty Adjustment (DDA) system. Its effectiveness is validated through comparative analysis of 'Beginner,' 'Intermediate,' and 'Expert' agents trained under the proposed curriculum.