CNN과 OpenPose 라이브러리를 활용한 실시간 수화 통역기

A Real Time Interpreter of Sign Language using CNN and OpenPose Library

인공지능 기술이 급속도로 발전하고 있다. 인공지능 기술이 발전함에 따라 많은 기업들이 제품에 인공지능 기술을 탑재하여 출시하고 있다. 인공지능 기술이 포함된 제품이 많아지면서 우리의 삶에 없어서는 안 될 필수요소로 자리잡고 있다. 최근 이러한 인공지능 제품들은 일반인뿐만 아니라 일상생활에 많은 불편함을 느끼는 장애인들을 타깃으로 다양하게 출시되고 있다. 그러나 이러한 제품들은 대부분 시각장애인들을 위해 촉각, 청각에 기반을 둔 개발로 초점이 맞춰져 있다. 따라서 본 논문에서는 CNN을 이용하여 특징을 추출하는 OpenPose 라이브러리와 RNN을 사용하여 청각장애인들을 위한 실시간 수화 번역 프로그램을 제작했다. 수화 번역기의 구현 가능성을 테스트하기 위해 0~9까지 숫자에 대해 테스트를 진행하였고, 그 결과를 손 상단에 출력하였다. 실험 결과 OpenPose를 통해 검출한 신체를 토대로 손의 움직임을 학습하여 수화로 나타내는 숫자를 손 상단에 정확히 출력하는 것을 확인할 수 있었다. 0~9 의 10개의 단어를 이용하여 테스트를 진행하였지만, 자음, 모음 혹은 단어를 학습하게 된다면 실생활에서 이용하는 다양한 문장을 해석할 수 있다. 또한 이는 대화에 어려움을 느끼는 장애인뿐만 아니라 이들과 대화를 함께하는 비장애인들에게도 유용하게 작용되어 장애인과 비장애인 사이의 대화의 벽을 허물 수 있을 것으로 기대된다.

Artificial Intelligent(AI) technology has shown a rapid development in recent years. With such a development, numerous businesses release commercialized devices equipped with AI. As the number of products including AI technology increases, it becomes an indispensable element in our lives. Recently, the AI products have been released in various forms not only for the general consumers but also for the disables who might have some troubles in their daily life. But this kind of products mostly focus on the blinds (and offer support in the matter of the sense of touch and sound.) For this reason, we made a real-time interpreter of sign language for the deaf using OpenPose library which extracts the feature using CNN and RNN. In order to verify its feasibility, we processed a test with the digit 0 to 9 and printed the output above the hand on the screen. As a result, it has been confirmed that our AI is able to accurately recognize each numerical value represented by sign language. If this can also differentiate consonants, vowels, words and even various sentences used in real life, it is expected that this will be worthwhile not only for the disables who have the difficulty in conversation with diverse people, but also for non-disabled people.