온라인 학습 기반 LDA 모형을 이용한 이미지 주석 군집화에 대한 연구

Clustering of image annotations using online learning-based LDA model

LDA 모형은 문서집합의 문서 및 단어를 분석하여 잠재 토픽을 파악하고자 이용되는 잠재토픽모형의 하나로, 다양한 분야에서 널리 이용되고 있다. 그러나 Blei, Ng, Jordan(2003)이 처음 제안한 LDA 모형은 전체 데이터를 이용하여 모수를 추정하는 배치학습에 기반하여, 데이터의 크기가 큰 경우 메모리 및 계산속도 등의 문제로 분석이 어려운 한계점이 있다. 이러한 문제를 해결하기 위해 온라인 학습 기반의 LDA 모형이 제안되었는데, 이 방법은 온라인 학습에 기반하며 메모리의 소모가 적고 배치학습보다 분석 속도가 빠른 것으로 알려져 있다. 본 논문에서는 Visual Genome에서 제공하는 10,000개 이상의 이미지에 대한 주석으로 이루어진 문서에 온라인 학습 기반의 LDA 모형을 적용하여 각 이미지의 주제를 파악하고자 한다. 분석을 위해 이미지 주석에 대한 전처리를 수행하였으며, 최적의 모형을 찾기 위해 잠재집단의 수 및 여러 초모수의 다양한 조합을 설정하고, 테스트 데이터로부터 혼잡도 및 동질성 척도를 구하여 다양한 모형을 비교하였다. 분석 결과 10개의 잠재집단을 가진 모형이 최적으로 도출되었으며, 각 집단의 상위단어를 통해 ‘사람’, ‘동물’, ‘도심’, ‘바다’, ‘화장실’, ‘부엌’ 등의 주제를 파악할 수 있었다.

LDA model is one of the latent topic models used to investigate latent topics by analyzing documents and words in corpus, and has been widely used in various fields. However, LDA model proposed by Blei, Ng, Jordan (2003) is based on batch learning, which estimates parameters using whole data at once, which has limitations such as large memory requirement and computation time for large data. To resolve this problems, an online learning-based LDA model has been proposed. This method has been known to consume less memory and have a faster analysis speed than batch learning. In this paper, we investigate the topic of each image by applying an online learning-based LDA model to corpus composed of annotations for more than 10,000 images provided by Visual Genome. For analysis, preprocessing was performed on image annotations. Various combinations of the number of latent topic and several hyper-parameters were set, and measures of perplexity and coherence are compared to find optimal model. As a result of comparison, a model with 10 latent groups was selected, and topics such as ‘human’, ‘animal’, ‘downtown’, ‘sea’, ‘bathroom’, and ‘kitchen’ were derived through the top words of each group.