일본의 재해 대피 표지판에 대한 한국인 관광객의 이해 증진을 위한 딥러닝 기반 의미 전달 기법

A Deep Learning Based Meaning Transfer Method for Improving Understanding of Japanese Disaster Evacuation Signboard for Korean Tourist

본 논문에서는 일본 재해 대피 표지판에서 픽토그램 및 대피 장소가 적힌 문자영역을 검출하여 한국인 관광객에게 특정 재해 발생 시 어디로 대피해야 하는지를 알려주는 일본 재해 대피 표지판 의미 전달 기법을 제안한다. 제안 기법은 심층신경망 기반의 객체검출 알고리즘을 이용하여 픽토그램과 문자영역을 검출한다. 픽토그램을 검출하여 해당 재해 대피 표지판의 목적을 추출한다. 그리고 검출된 문자영역에 대해서는 Tesseract 문자인식 알고리즘을 이용하여 문자를 인식한다. 문자 인식을 통해 재난 발생 시 대피장소를 알 수 있다. 픽토그램 검출결과와 문자인식 결과를 이용하여, 한국인 관광객에게 ‘어떤 재난 재해 발생 시 어디로 이동해야 하는 지’에 대해 한국어로 의미를 전달한다. 실험을 통해 일본 재해 대피 표지판의 픽토그램과 문자 영역을 정확하게 검출하고 분류하는 것을 볼 수 있었다. 또한, 일본 재해 대피 표지판의 문자 영역에 대해 일본어 문자를 인식하는 것을 볼 수 있었으며, 그 결과를 한국어로 변환하여 한국인이 이해할 수 있도록 안내할 수 있었다.

In this paper, we propose a meaning transfer method of Japanese disaster evacuation signboard which detects the pictogram and the text spots, which include an evacuation area, on the Japanese disaster evacuation signboard and informs Korean tourists where to evacuate in case of specific disaster. The proposed method detects the pictogram and text regions using deep learning based object detection algorithm. Using results of pictogram detection, we extract the purpose of the disaster evacuation signboard. For text regions, texts are recognized using the Tesseract text recognition algorithm. Through the text recognition, the evacuation site can be identified when a disaster occurs. Using pictogram detection results and character recognition results, Korean visitors are informed about where to go when a kind of disasters occurs in Korean. Through the experiment, the proposed algorithm could detect and classify the pictogram and character area of ​​the Japanese disaster evacuation signboard correctly. Also, the proposed algorithm recognized Japanese characters in the text area of ​​the disaster evacuation signboards in Japan, and the recognized Japanese characters are translated so that Koreans could understand them.