시각장애인을 위한 딥러닝 기반 의약품 자동 인식 및 음성 안내 시스템

Deep Learning-based Automatic Medicine Recognition and Voice Guidance System for the Visually Impaired

시각장애인은 의약품 정보를 얻는 과정에서 유사한 형태, 점자 부족, 기존 앱의 접근성 및 편의성 한계 등의 불편함을 겪고 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 사용자가 기기에 의약품을 올려두면 자동으로 의약품 종류를 인식하고 상세 설명 및 주의 사항을 음성으로 제공하는 시스템을 제안한다. 시스템은 객체 인식(YOLO), 네이버 CLOVA OCR, 구글 TTS 기술, MySQL 데이터베이스를 활용하며, 라즈베리파이4, 고해상도 카메라, 스텝 모터 등 하드웨어로 구현되었다. 연구 결과, 제안된 기기는 90% 이상의 인식 정확률과 우수한 YOLO 성능(mAP@0.5 97%, mAP@[0.5 0.95] 90%)을 보였다.

Visually impaired individuals experience inconveniences in obtaining medicine information, such as the similar shapes of medicines, the lack of braille, and the limitations in accessibility and convenience of existing applications. To address these issues, this paper proposes a system that automatically recognizes the type of medicine when a user places it on the device, and provides detailed explanations and precautions via voice. The system utilizes Object Recognition (YOLO), Naver CLOVA OCR, Google TTS Technology, and a MySQL database, and is implemented with hardware including a Raspberry Pi 4, a high-resolution camera, and a stepping motor. As a result, the proposed device demonstrated an over 90% recognition accuracy and excellent YOLO performance, achieving mAP@0.5 of 97% and mAP@[0.5 0.95] of 90%.