AI 챗봇 기반 응급환자 분류의 성능 분석

Performance Analysis of AI Chatbot-based Emergency Triage

응급실은 응급환자의 소생의 역할 뿐 아니라 환자의 상해나 질병에 대해 일차적으로 진료를 제공하는 공간이다. 하지만, 인력 부족으로 응급실에 내원한 과밀한 환자를 적절하게 치료하기는 어려운 실정이다. 이에 응급환자 분류에 챗봇을 이용의 유용성을 알아보기 위해 수행되었다. 연구결과 Claude 3.5 Sonnet이 72%로 가장 일치도가 높았으며, GPT-4o의 성능을 높이기 위해 FSL(Few Short Learning)을 실시한 결과 80%의 일치도를 보였다. Gemini Advanced를 제외하고는 67-88%의 정확도를 보였다. 앞으로 챗봇의 기능이 발전하고 FSL을 적극적으로 활용하여 학습하면 훌륭한 의사결정 지원도구로 사용할 수 있을 것으로 판단된다.

The emergency room serves not only as a space for resuscitating emergency patients but also as a primary care facility for injuries and illnesses. However, due to staff shortages, managing overcrowded patients effectively is challenging. A study evaluated the utility of chatbots for triaging emergency patients. Results showed that Claude 3.5 Sonnet achieved the highest agreement at 72%, while GPT-4o, after employing Few-Shot Learning (FSL), reached 80% agreement. Most chatbots, excluding Gemini Advanced, demonstrated accuracy between 67% and 88%. With further development and FSL application, chatbots could become excellent decision-support tools.