다양한 구성요소 조합으로 만든 딥뉴럴넷 모델 성능 비교

Performance Comparison Among Deep Neural Networks Consisting of Various Constituents

머신러닝 모델 중에 하나인 딥뉴럴넷 모델은 최근 월등한 성능을 보이며, 자율주행, 자연어 처리 등 다양한 분야에서 많이 연구되고 있다. 딥뉴럴넷 모델은 그 구성요소가 다양하기 때문에, 모델을 어떻게 구성하는지에 따라서 그 성능이 크게 달라진다. 본 연구에서는 딥뉴럴넷 모델의 구성 요소 5 가지 - 가중치 최적화, 활성화 함수, 드롭아웃, 정규화, 가중치 초기화 - 를 정하고, 5 가지 구성요소의 가능한 조합 48가지의 딥뉴럴넷 모델을 만들었다. 만든 모델들의 성능 평가를 위해서, 음식의 성분들을 가지고 20개의 나라 중 하나를 예측하는 Kaggle의 what s cooking 데이터를 활용하였다. 결과적으로, 적응모멘트추정(adaptive moment estimation, Adam) 최적화 기법, 정류선형단위(rectified linear unit, ReLU) 활성화 함수, 릿지(ridge) 정규화 미사용, 드롭아웃 사용, He 가중치 초기화라는 구성으로 딥뉴럴넷을 구성했을 때 가장 좋은 성능(정확도: 79.45%)을 보였다. 각 요소 별로 성능을 비교하였을 때에는, Adam 최적화 기법이 경사하강(gradient descent) 최적화 기법을 사용한 모델들 보다 평균적으로 56%정도의 성능이 좋은 것으로 나타났고, ReLU 활성화 함수가 시그모이드(sigmoid) 활성화 함수를 사용한 모델들 보다 평균적으로 약 3% 정도 성능이 좋은 것으로 나타났다. 이 연구의 결과가 더 성능 좋은 딥뉴럴넷 모델을 만드는데 기여할 수 있기를 기대한다.

In these days, deep neural networks (DNN) yield the most remarkable performance among machine-learning algorithms. Many researchers claim that the performance of DNN might be different according to its constituents. In this paper, we thoroughly analyze the performance of 48 DNNs that consist of various constituents in regard to the five factors, i.e. optimizer, activation function, dropout, regularization and weight initialization. What’s cooking data in Kaggle that contains ingredients of food and its nation are employed to train and test the 48 models. As a result, among the 48 DNNs, the DNN composed of Adam optimizer, ReLU activation function, He weight initialization, use of dropout, and no use of ridge regularization produce the best performance (accuracy: 79.45%) in predicting the nation based on food ingredients. The DNNs using Adam optimizer averagely show 56% higher accuracy than those using gradient descent optimizer, and the DNNs using ReLU activation function averagely show 3% higher accuracy than those using sigmoid activation function. We expect that the result of this study can assist to construct better performance DNN models.