판별모형의 평가에서 ROC 곡선과 AUC의 활용에 대한 사례 연구

A Case Study on the Use of ROC Curve and AUC in the Evaluation of Discriminant Model

하나의 데이터를 분석할 때, 일반적으로 가능한 여러 모형들을 상정하여 분석하는 것이 바람직하다. 따라서 최적의 모형을 얻기 위해서는 여러 모형을 비교·평가해야 하고, 이를 통해 하나의 모형이 선택되면 선택된 모형이 다른 모형에 비해 우수하다는 사실을 입증해야 한다. 판별모형을 구축하고 모형의 성능을 평가할 경우, 많은 연구자들은 흔히 사후확률에 대하여 절단값 0.5를 설정하고 정확도 등을 비교한다. 그러나 이와 같은 접근법은 매우 큰 오류를 범할 가능성이 있으며, 절단값에 의존하지 않는 모형평가 측도를 통해 판별모형을 평가할 필요가 있다. ROC(receiver operating characteristic) 곡선은 판별분석 분야에서 판별의 정확도를 도표로 평가하기 위해 전통적으로 사용되어져 온 것 중 하나이며, ROC 곡선의 밑면적을 의미하는 AUC(area under curve)는 분류에 사용되는 변수 또는 모형의 성능을 평가하기 위해 가장 널리 사용되는 측도이다. 본 연구에서는 AUC에 대한 추정 및 검정의 개념을 소개하였으며, 다양한 사례분석을 통해 실제 문제에서 변수 또는 모형의 성능을 평가함에 있어 AUC가 유용하게 사용될 수 있음을 보였다. 또한 최적 절단값 결정의 문제에 있어서도 ROC 곡선이 효율적으로 사용될 수 있음을 살펴보았다.

When analyzing a single piece of data, it is generally desirable to analyze the various possible models. Therefore, in order to obtain an optimal model, it is necessary to compare and evaluate various models and to prove that when one model is selected, the selected model is superior to the other models. When constructing a discriminant model and evaluating the performance of the model, many researchers often set a cut-off value of 0.5 for the posterior probability and compare the accuracy. However, this approach has the potential to make very large errors, and it is necessary to evaluate the discriminant model through a model evaluation measure that does not depend on the cut-off value. The receiver operating characteristic (ROC) curve is one of the traditionally used methods of charting the accuracy of discrimination in the field of discriminant analysis, and the area under the curve (AUC), which is the bottom area of the ROC curve, is the most widely used measure to evaluate the performance of the model. In this study, the concept of estimation and testing of AUC was introduced and various case studies showed that AUC could be useful in assessing the performance of a variable or model in actual problems. It is also shown that the ROC curve can be used efficiently in the problem of determining the optimal cut-off value.