계속적 학습을 위한 치명적 망각을 극복할 수 있는 새로운 전략 탐구

New Strategy To Overcome Catastrophic Forgetting for Continual Learning

계속적 학습이란 모델이 점진적으로 새로운 정보를 학습하면서도 이전에 배운 지식을 잃지 않고 유지하는 것을 의미한다. 치명적 망각은 모델이 새로운 정보를학습할 때, 이전에 학습한 정보를 잊어버리는 현상으로, 이는 계속적 학습을 구현하는 데 있어 해결해야 할 주요 과제 중 하나이다. 본 연구에서는 기존의 선행연구들의 문제점을 개선한 TTED(Test & Train Exemplar with Distillation) 모델을 개발하였다. TTED 모델은 리허설과 지식 증류 기법을 이용해 만들어졌다. 본 연구에서는 모델의 성능을 평가하기 위해 CIFAR-100 데이터셋을 이용한 태스크별 비교 실험을 진행하였다. 실험 결과, TTED 모델이 기존의 계속적 학습을 위한 모델들보다 우수함을 확인할 수 있었다.

Continuous learning means that a model gradually learns new information while retaining previously learned knowledge. Catastrophic Forgetting is the phenomenon that when a model learns new information, it forgets previously learned information, which is one of the major challenges in implementing Continuous Learning. In this study, we develop a TTED (Test & Train Exemplar with Distillation) model that improves the problems of previous studies. The TTED model was created using Rehearsal and Distillation techniques. In this study, we conducted a task-by-task comparison experiment using the CIFAR-100 dataset to evaluate the performance of the model. The experimental results show that the TTED model is superior to the existing models for continuous learning.