금융 감성 분석을 위한 Mamba 기반 어댑터 구조

Mamba based Adapter Fine-tuning Approach for Financial Sentiment Analysis

금융 텍스트 감성 분석은 투자 판단과 시장 예측에 매우 중요한 분야이며, 최근 대규모 언어 모델(LLM)의 발전과 도메인 특화 모델의 등장으로 인해 높은 분석 성능을 달성하고 있다. 하지만 금융 텍스트는 전문 용어와 숫자 정보가 많아, 적절한 구조로 처리하지 않으면 일반 도메인 모델보다 성능이 저하될 수 있다. 본 논문에서는 FinBERT 파라미터를 동결한 뒤, Mamba 기반 어댑터와 게이팅 네트워크를 도입하여 효율적으로 금융 텍스트를 학습하는 방법을 제안한다. Financial PhraseBank 데이터셋에서 정확도 91.03%, F1 스코어 0.9017을 달성하여 기존 최고 모델(LSTM-XGBoost) 대비 정확도 6.18%p, F1 0.0721 향상을 보였고, FiQA 2018 Task1에서는 정확도 66.06%, F1 0.6394로 각각 3.64%p, 0.0393 개선하였다. 이는 전면 미세튜닝 FinBERT 및 다른 PEFT 기법들을 능가하는 성능이다.

Sentiment analysis of financial text is a critical area for investment decisions and market forecasting, and recent advances in large-scale language models (LLMs) have led to the development of domain-specific models, such as FinBERT, that achieve high performance. However, financial texts often contain a large amount of specialized terminology and numerical information, and if not handled with an appropriate structure, their performance may be inferior to general domain models. In this paper, we propose a method for efficiently learning from financial text by freezing the parameters of FinBERT and introducing a Mamba block-based adapter and a gating network. Our model achieves 91.03% accuracy and 0.9017 F1 score on the Financial PhraseBank dataset, improving 6.18%p and 0.0721 over the previous best model (LSTM-XGBoost), and 66.06% accuracy with 0.6394 F1 score on FiQA 2018 Task1, showing 3.64%p and 0.0393 improvements respectively. These results outperform both fully fine-tuned FinBERT and other PEFT techniques.