인공지능에 의한 일본어 문장 생성 및 JLPT 난이도 분석 시스템 개발 연구

Research on the development of artificial intelligence systems for the generation of Japanese texts and the difficulty analysis of the JLPT

본 연구에서는 인공신경망 자연어 처리 플랫폼 GPT-2를 기반으로 일본어능력시험기출문제 데이터셋을 통해 파인튜닝을 수행하여, 인공지능을 통한 일본어능력시험학습 및 교수를 위한 텍스트 생성의 가능성을 타진하고, 한발 더 나아가 생성된 텍스트에 대한 일본어능력시험 기준 난이도 분석을 수행할 수 있는 시스템의 개발을 수행했다. 이를 통해 인공지능을 통한 일본어 텍스트의 자동 생성에는 아직 한계가 있기는 하나, 머신러닝(파인튜닝)의 데이터셋의 양, 종류 그리고 학습 횟수 등 다양한 조건을 통제하여 적절한 실험을 수행한다면, 일본어 텍스트 자동 생성에 최적화된 파인튜닝의 초기 설정값을 찾아낼 수 있을 것이며, 이는 앞으로 인공지능이 더욱 정밀하게 사용자가 원하는 일본어 텍스트를 생성할 수 있게 하는 하나의 방안이 될 것이라는 점을 확인할 수 있었다. 또한 본고에서는 이와 같은 텍스트를 단순히 생성하는 것에서 그치지 않고 텍스트에 대한 어휘, 문법, 한자 차원의 JLPT 난이도 분석까지 실시할 수 있는 시스템을 개발할 수 있었는데, 앞으로 인공지능의 일본어학 및 일본어 교육 분야에 대한 응용 가능성이 크다는 점과 후속 연구의 필요성을 확인할 수 있었다.

In this study, we confirmed the possibility of generating textbooks for learning and teaching the Japanese Language Proficiency Test using artificial intelligence, based on GPT-2, which is a natural language processing flat form of an artificial neural network. In addition, we went one step further and developed a system that can perform difficulty analysis of the Japanese Language Proficiency Test for the generated text. Through such research, although there is still a limit to the automatic generation of Japanese text using artificial intelligence, it is possible to generate high-level Japanese text through machine learning (fine tuning) and control of its conditions. “ We were able to confirm the possibility of developing a “language model”. In addition to simply generating such texts, we were able to develop a system that can analyze the difficulty of vocabulary, grammar, and kanji in JLPT for texts. It was confirmed that the possibility of application to the educational field is immeasurable.