동적인 파일 요청 패턴에 적응하는 심층 강화 학습 기반 캐시 적중률 향상 기법

A Deep Reinforcement Learning-Based Technique for Enhancing Cache Hit Rate by Adapting to Dynamic File Request Patterns

엣지 캐싱에서 캐시 적중률(hit ratio)을 높이는 것은 제한된 캐시 용량 내에서 파일 요청을 효과적으로 처리하고 네트워크 및 시스템 자원을 최적화하기 위해 중요하다. 본 연구에서는 심층 강화 학습(Deep Reinforcement Learning, DRL)을 기반으로 한 파일 캐시 관리 방법을 제안한다. 제안된 방법은 제한된 캐시 자원을 효율적으로 활용하여 동적인 파일 요청 패턴에 적응하고, 캐시 적중률을 개선함으로써 데이터 접근 성능을 향상시키는 것을 목표로 한다. 특히, 근위 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘을 활용하여 캐시 교체 정책을 지능적으로 관리하고, 연속적인 액션 공간의 복잡성을 효과적으로 처리한다. PPO 네트워크는 캐싱 결정을 위한 액션 공간, 파일 접근 패턴의 변화를 반영하는 관찰 공간, 그리고 다양한 캐싱 전략의 비용 및 이익을 평가하는 보상 모델로 구성된다. 실험 결과, 제안된 방법은 기존 탐욕 알고리즘 대비 캐시 적중률을 최소 2.28%, 최대 16.25%까지 향상시키며, 제한된 캐시 환경에서 DRL 기반 접근법의 실효성을 입증하였다.

Improving the cache hit ratio in edge caching is crucial for effectively handling file requests within limited cache capacity and optimizing network and system resources. This study proposes a file cache management approach based on Deep Reinforcement Learning (DRL). The proposed method aims to enhance data access performance by efficiently utilizing limited cache resources, adapting to dynamic file request patterns, and improving the cache hit ratio. Specifically, it employs the Proximal Policy Optimization (PPO) algorithm to intelligently manage cache replacement policies and effectively handle the complexity of continuous action spaces. The PPO network consists of an action space for caching decisions, an observation space reflecting changes in file access patterns, and a reward model evaluating the costs and benefits of various caching strategies. Experimental results demonstrate that the proposed method improves the cache hit ratio by an average of 2.28% and up to 16.25% compared to traditional greedy algorithms, validating the effectiveness of the DRL-based approach in constrained cache environments.