검색증강생성(RAG) 기반 기업 맞춤형 챗봇(Chatbot) 시스템 구축 및 활용

Building and Utilizing a Retrieval-Augmented Generation (RAG) Based Customized Chatbot System for Enterprises

최근 대규모 언어 모델(LLM)의 사용이 증가하면서 각 기업에 특화된 RAG(Retrieval Augmented Generation) 챗봇을 구축하여 운영하고자 하는 경우가 많이 발생하고 있으며, 관련 시장 규모 또한 지속적으로 성장하고 있다. 그러나 기업이 필요한 자료를 학습하고 이를 이용하여 서비스까지 만드는 단계는 많은 시행착오와 시간이 소요되는 작업이며, 고성능의 서버를 구축하는 등 기업에서는 많은 부담이 발생하게 된다. 본 논문에서는 오픈소스 모델인 구글 Gemma2 9b과 검색증강생성(RAG)개발 프레임워크인 랭체인(LangChain)을 이용하여 기업 맞춤형 챗봇을 개발하고자 한다. 안전한 운영을 위하여 클라이언트(Client)로 Jetson Xavier NX를 이용하고 챗봇 서버(Server)는 GPU서버를 이용하였다. 본 논문은 검색증강생성(RAG)를 이용하여 학습하는 과정과 학습한 챗봇(ChatBot)의 서비스 운영을 구축하는 과정을 관리시스템으로 구축하고 활용하는 방안을 제시하고자 한다.

The purpose of this study is to investigate the use of large-scale language models (LLMs), which have been increasing in recent years, and the market size of RAG (Retrieval Augmented Generation) chatbots specialized for each company is constantly growing. However, the process of learning the necessary materials and creating a service using them is a trial-and-error and time-consuming task, and it requires a lot of burden on the company, such as building a high-performance server. In this paper, we developed a customized chatbot for a company using Google Gemma2 9b, an open source model, and LangChain, a RAG development framework. Jetson Xavier NX was used as a client for safe operation, and GPU server was used as a chatbot server. This paper presents the process of learning using RAG and the process of building the service operation of the learned chatbot as a management system.