트랜스포머 정책을 활용한 강화학습 기반 포트폴리오 최적화

Portfolio Optimization Using Reinforcement Learning with Transformer-Based Policy

전통적인 포트폴리오 최적화는 학계와 산업계 모두에 큰 영향을 미쳤다. 그러나 이러한 접근은 실제 시장에 활용하기에 여러 제약 조건이 필요하다. 최근 인공지능 기술이 급격히 발전함에 따라 포트폴리오 최적화 분야에서도 인공지능을 활용한 연구가 활발히 진행되고 있으며, 그 중 FinRL이 주요 도구로 널리 활용되고 있고, EIIE 모델이 안정적인 성능을 보이고 있다. 그러나 해당 모델은 포트폴리오 자산군과 시간 정보를 파악하는 데 구조적 한계를 지니고 있다. 본 연구에서는 이러한 한계를 극복하기 위해 트랜스포머 구조를 접목하고자 하였다. 제안된 기법은 트랜스포머 인코더의 구조적 특성을 활용하여 금융 시장 정보를 효과적으로 이해하고, 강화학습 에이전트가 최적의 행동을 도출할 수 있도록 돕는다. 실험 결과, 제안된 기법을 적용함으로써 기존 모델 대비 유의미한 성능 향상을 확인하였으며, 비교 실험을 통해 최적의 모델을 제시한다.

Traditional portfolio optimization has had a significant impact on academia and practice. However, this approach requires several constraints to be applicable in real-world markets. With the rapid advancements in artificial intelligence, research employing AI for portfolio optimization has become increasingly active, and tools such as FinRL are now widely utilized, with the EIIE model demonstrating stable performance. Nevertheless, this model faces structural limitations in capturing asset classes and temporal information within a portfolio. To address these limitations, this study introduces a Transformer-based approach. By leveraging the structural properties of the Transformer encoder, the proposed method effectively interprets market information, allowing the reinforcement learning agent to make optimal decisions. Experimental results indicate that the proposed approach achieves significant performance improvements over existing models, and comparative experiments present the optimal model configuration.