YOLOv8과 CNN+LSTM을 활용한 실시간 멀티모달 유해야생동물 탐지 및 대응 시스템 구현

Implementation of a Real-Time Multimodal Harmful Wildlife Detection and Response System Using YOLOv8 and CNN+LSTM

본 연구는 YOLOv8 기반 영상 탐지와 CNN+LSTM 기반 음향 이상 탐지를 통합한 멀티모달 실시간 유해야생동물 탐지 및 대응 시스템을 Jetson Nano 환경에서 구현하였다. 영상 및 음향 데이터를 분석하여 이상 상황 발생 시 고주파 출력과 LoRa 기반 경고 전송을 수행하며, Flask 기반 Web UI를 통해 동물별 고주파 수치와 퇴치 대상을 실시간으로 제어할 수 있다. 실험 결과 YOLOv8은 mAP50 0.97 이상, CNN+LSTM은 F1-score 0.96 이상을 기록하여 높은 신뢰도를 입증하였다. 본 시스템은 농장 환경에서 장기 운용 가능한 탐지 및 대응 시스템으로의 가능성을 제시한다.

This study implements a multimodal real-time harmful wildlife detection and response system on the Jetson Nano platform by integrating YOLOv8-based visual detection with CNN+LSTM-based abnormal sound detection. The system analyzes both visual and audio data to detect abnormal events, triggering high-frequency sound output and transmitting alerts via LoRa communication. Through a Flask-based web UI, users can monitor detection results in real time and control species-specific high-frequency thresholds and repelling targets. Experimental results demonstrated high reliability, with YOLOv8 achieving over 0.97 mAP50 and the CNN+LSTM model recording an F1-score above 0.96. The proposed system shows strong potential as a long-term detection and response solution for farm environments.