이 논문에서는 청각장애인을 위하여 시야 밖에서 발생하는 위험 환경 소리(사이렌, 자동차경적, 비명, 총소리, 공사장 소음 등) 및 특정 음성 키워드(본인 이름, 조심하세요! 등)가 인식이 되면 진동 코드로 알려주어 사고 노출 위험성감소와 편의성을 높여주는 인공지능 헤드폰을 제안하였다. 웨어러블 기기에 걸맞게 저전력 및 휴대가 가능하도록 임베디드PC(Raspberry Pi 4B)에서 동작이 가능한 20종류의 소리를 분류할 수 있는 합성곱 신경망(CNN)기반 네트워크를 제안하였다. 제안한 소리 인식기는 평균 약 95.14% 인식률을 보였으며, 5.12초 길이의 음성 데이터가 라즈베리파이4B 상에서 평균 약 0.139초에 실행되어 실시간 처리가 가능함을 확인하였다.
We designed an artificial intelligence (AI) headphone for hearing impaired people and proposed a convolution neural network (CNN)-based sound classifier with a low computational network that can run on an embedded PC (Raspberry Pi 4B) in real-time. Because our AI headphone can classify 20 types of dangerous or environmental sounds (e.g., siren, car horn, scream, gunshot, etc.) and recognize specific voice keywords (e.g., person name, be careful!, stop!, etc.), it can assist hearing impaired people in reducing the risk of accident exposure and improving convenience. In addition, we use vibration codes to notify the hearing impaired person of detected information to the vibration motors attached to both sides of the headphone. We confirm that our proposed sound classifier achieves an average accuracy rate of approximately 95.14%, and enables real-time processing on the Raspberry Pi 4B because it requires an average computation time of approximately 0.139s with audio recording data for 5.12s.