시내버스 승하차 의도분석 기반 사고방지 AI 시스템 연구

A study on accident prevention AI system based on estimation of bus passengers’ intentions

본 논문에서는 시내버스 내 CCTV 시스템을 활용, 비전AI 기반의 승하차 승객 의도를 예측하여 사고방지가 가능한 시스템에 대해 연구한 내용을 기술한다. 본 시스템은 YOLOv7 Pose 모델과 Object Tracking 기술을 활용하여 버스 내부의 승객을 감지하고 추적하며, LSTM 모델을 활용하여 승객의 승하차 여부를 예측한다. 시스템은 버스 내 CCTV 단말기 상에 설치 가능하여 운전 중 어느 때에나 승하차 여부 예측 결과를 시각적으로 확인할 수 있으며, 운전자에게 자동 알람을 주어 승하차 시 일어날 수 있는 사고를 예방할 수 있다. 테스트 결과, 승객의 승차 의도를 분석하는 채널 A와 하차 의도를 예측하는 채널 C에서 각각 0.81과 0.79의 정확도를 달성하였으며, 실시간성을 보장하기 위해 GPU 환경에서 초당 최소 5 프레임 이상의 분석이 가능하다는 것을 확인하였다. 본 알고리즘을 통해 시내버스 운행 중의 승객 승하차 과정을 모니터링하고, 그 안전과 편의성에 도움을 줄 것으로 생각된다. 추후 하드웨어가 발전하고, DB를 통해 데이터가 많이 수집된다면, 이 또한 다양한 안전 관련 지표로의 확장이 가능할 것이다. 더불어 본 알고리즘은 추후 자율주행 버스 상용화 시, 인간을 대신하여 승객 안전에 더욱 핵심적인 역할을 수행할 것이라 생각되며, 기타 지하철 및 승객이 내리고 탈 수 있는 모든 대중교통 환경에의 확장 또한 가능하여 대중교통의 안전화에 도움을 줄 것으로 생각한다.

In this paper, we present a study on an AI-based system utilizing the CCTV system within city buses to predict the intentions of boarding and alighting passengers, with the aim of preventing accidents. The proposed system employs the YOLOv7 Pose model to detect passengers, while utilizing an LSTM model to predict intentions of tracked passengers. The system can be installed on the bus's CCTV terminals, allowing for real-time visual confirmation of passengers’ intentions throughout driving. It also provides alerts to the driver, mitigating potential accidents during passenger transitions. Test results show accuracy rates of 0.81 for analyzing boarding intentions and 0.79 for predicting alighting intentions onboard. To ensure real-time performance, we verified that a minimum of 5 frames per second analysis is achievable in a GPU environment. his algorithm enhance the safety of passenger transitions during bus operations. In the future, with improved hardware specifications and abundant data collection, the system's expansion into various safety-related metrics is promising. This algorithm is anticipated to play a pivotal role in ensuring safety when autonomous driving becomes commercialized. Additionally, its applicability could extend to other modes of public transportation, such as subways and all forms of mass transit, contributing to the overall safety of public transportation systems.