학사 데이터 기반의 생성형 AI 챗봇 서비스에 관한 연구

Research on Generative AI Chatbot Service based on Academic Data

펼치기

최근 대규모 언어 모델(LLM)의 발전은 텍스트 생성, 번역, 감정 분석 등의 분야에서 우수한 성과를 거두며 대화형 챗봇 시스템에도 큰 변화를 일으켰다. 그러나 LLM 기반의 챗봇은 환각(Hallucination)과 같은 문제로 인해 신뢰성 있는 응답 제공에 한계가 있으며, 특히 학사 데이터와 같이 정확성과 최신성이 중요한 영역에서는 이러한 문제 해결이 더욱 요구된다. 본 연구는 검색 증강 생성(RAG: Retrieval-Augmented Generation) 구조를 활용하여, 챗봇이 내부에 저장된 학습 데이터뿐 아니라 외부의 신뢰할 수 있는 정보 소스로부터 필요한 데이터를 실시간으로 검색하고, 이를 바탕으로 답변을 생성하는 방식으로 학사 데이터를 기반으로 한 생성형 AI 챗봇 시스템의 설계와 구현 방안을 제안한다. 이를 통해 학사 데이터의 특성에 맞춘 정확하고 신뢰성 높은 응답 제공을 목표로 한다. 학사 데이터를 기반으로 한 생성형 AI 챗봇이 비공개 데이터 환경에서도 안전하고 효율적으로 적용될 수 있는 질의응답 시스템의 구현 가능성을 제시하며, 이를 통해 사용자들이 필요로 하는 학사 정보를 신속하게 접근하고 활용할 수 있도록 한다.

Recent advances in large-scale language models (LLMs) have brought about significant changes in conversational chatbot systems by achieving excellent results in areas such as text generation, translation, and sentiment analysis. However, LLM-based chatbots have limitations in providing reliable responses due to problems such as hallucination, and this problem needs to be solved even more in areas such as bachelor's data where accuracy and recency are important. This study proposes a design and implementation method of a generative AI chatbot system based on bachelor's data by utilizing the Retrieval-Augmented Generation (RAG) structure, which allows the chatbot to retrieve necessary data in real time from not only internally stored learning data but also external reliable information sources, and generate answers based on them. Through this, the goal is to provide accurate and reliable responses tailored to the characteristics of bachelor's data. It suggests the possibility of implementing a question-answering system that can be safely and efficiently applied even in a non-public data environment by using a generative AI chatbot based on bachelor's data, and through this, allows users to quickly access and utilize the bachelor's information they need.