워드 임베딩이 내재된 신경망 토픽모형을 이용한 텍스트 분석

Text analysis using a neural topic model with word embedding

토픽모형은 문서 또는 단어의 주제를 찾고자 하는 모형으로, 다양한 분야에서 이용되고 있다. 그러나 기존 토픽모형은 모형의 확장이 어려우며, 문서집합의 어휘가 많은 경우 성능이 떨어지는 문제 역시 존재한다. 이러한 문제를 해결하기 위해 variational autoencoder에 기반한 신경망 토픽모형이 제안되었다. 그러나 기존 토픽모형 및 신경망 토픽모형은 주제의 의미를 파악하기 어렵다는 한계점이 존재한다. 이러한 문제를 해결하기 위해 워드 임베딩 기법을 결합한 신경망 토픽모형인 embedded topic model(ETM)이 제안되었다. ETM 모형은 단어 임베딩과 주제 임베딩을 통해 주제를 표현함으로써 주제의 의미를 쉽게 찾을 수 있는 장점이 있다. 이에 본 논문에서는 ETM 모형 및 모형 평가도구를 소개하고, 이를 100,000개의 논문 요약 데이터에 적용하여 분석하였다. 분석을 위해 다양한 초모수 조합에 대해 모형을 평가하였으며, 선택된 모형을 기존 모형과 비교하였다. 분석결과 ETM 모형이 기존 모형보다 성능이 더 우수한 것으로 나타났다. 또한 모형을 통해 추정된 주제 및 단어 임베딩을 차원 축소하여 각 주제의 의미를 파악하였으며, 각 주제는 논문의 분야를 의미하는 것으로 나타났다.

Topic models have been widely used in various fields to find topics of documents or words. It has been known that topic models have difficulties for model modification and extension, and also have poor performance for corpus with large vocabularies. To overcome these problems, neural topic models have been suggested. However, both models still have limitations in that it is difficult to find the meaning of topics. To resolve this problem, embedded topic model(ETM) has been proposed that combined a neural topic model and word embedding. ETM expresses words and topics through word embedding, thus can be visualized using dimension reduction. In this paper, we introduced ETM and evaluation methods, and apply them to 100,000 research paper summary data. For the analysis, various combination of hyper parameters are considered, and the selected model is compared with other topic model. As a result, it is shown that ETM has better performance. The meaning of topics are investigated by using top words of each topic and the plot of topic and word embeddings through dimension reduction, and topics seems to represent the fields of research papers.