임의변수선택 기반 앙상블 판별분석에서 변수의 상대적 중요도에 관한 연구

A Study on Relative Importance of Predictors in Ensemble Methods based on Random Predictor Selection

이범주 판별문제에서 단일판별기보다 모형의 안정성 및 정밀도를 높이기 위한 방법론 중의 하나가 앙상블 기법이다. 앙상블 기법을 적용하는 경우에는 모형의 예측구조가 복잡하여 각 설명변수의 역할과 중요성을 확인하기 어려워 결국에는 예측결과의 해석력이 떨어진다는 단점을 가지고 있다. 본 논문에서는 임의변수선택 기반 앙상블 판별분석에서 변수의 상대적 중요도를 연구하고자 한다. 먼저 신용평점화에서 핵심기법으로 사용되는 로직스틱 회귀모형을 결합하는 임의변수선택을 이용한 앙상블 기법을 설명하고, 다음으로 각 설명변수의 역할과 상대적 중요도를 측정할 수 있는 평균 z-스코어를 이용하는 방법을 제안하여 예측결과에 대한 해석력을 살펴보고자 한다. 본 논문에서 제안한 방법론의 유한표본 성질을 규명하고 응용성을 확인하기 위하여 모의실험과 실제자료 분석을 이용한 연구를 수행하고자 한다.

A method for enhancing stability and precision of a classification method is ensemble method. Typically, ensemble method outperforms a single classifier in the binary classification. The prediction structure of the ensemble model is more complex than a single base learner so that it is difficult to identify the role and importance of the explanatory variables. Ensemble method has a problem in interpretation of the prediction result since the interpretability of the prediction result of an ensemble method may be reduced. Hence, it is hard to achieve both the performance improvement in the precision and the result understanding in the interpretation of the model because of being many variables in classification model. This paper considers a methodology to solve the interpretation problem for an ensemble method. First, we explain ensemble method using random predictor selection which combines logistic regression model, a technique being used in credit scoring. Next, as a measure for the relative importance, we adopt the mean z-score that measures role and relative importance of the explanatory variables and examine the interpretation ability of the prediction result. In order to illustrate the finite-sample performance of the considered methodology, we conduct a numerical study using both a simulated data set and real data set.