소표본에서 ROC 곡선의 추정 및 절단점 결정방법의 특성 평가

Characteristic Evaluation of Estimation and Cut-point Value Determination Methods for Receiver Operating Characteristic Curve in Small Samples

대단위의 바이오마커 임상연구를 위한 핵심정보를 확인하는 초기 연구에서 진단능력을 평가하는 대부분의 통계적 방법은 대표본에 기초한 방법으로 향후 분석에 큰 장애가 되고 있는 실정이다. 따라서 본 연구에서는 초기 바이오마커 임상연구 상황을 설정하여 소표본에서 진단능력 평가를 위한 통계적 방법을 ROC 곡선추정과 절단점 결정방법으로 나누어 비교 평가하였다. ROC 곡선 추정방법으로 경험적 방법, 모수적 방법으로 binormal 방법, 커널을 이용한 추정법 그리고 일반화선형모형을 이용한 준모수적 방법을 비교하였으며, ROC 곡선의 절단점 결정방법으로 XY평면상에서 (0, 1)과의 거리를 이용한 방법, Youden index와 민감도와 특이도의 곱을 최대화하는 방법을 비교하였다. 이 결과 경험적 추정방법은 매우 직관적이기는 하나 추정값이 계단형태를 갖고 있어 소표본에서 좋은 정보를 제공하지 못하는 문제점을 확인할 수 있었다. 절단점 추정에서 binormal 방법은 매우 변이가 큰 것을 확인하였고, 다른 방법에 비해 흔히 사용하는 Youden index 방법에서는 매우 큰 편의를 확인할 수 있었다.

In early phase biomarker clinical trials for obtaining the key information to further large confirmatory biomarker trials, it is a critical obstacle that most of statistical method used to evaluate diagnostic performance depend on large sample theory. Setting up a situation to early biomarker trials, we have evaluated and compared characteristics of statistical methods for ROC curve estimation and cut-point determination in small sample. For ROC curve estimation, empirical, binormal, kernel based, and semiparametric GLM based estimators were compared. And for cut point determination method of ROC curve, closest to (0, 1), Youden index, and maximum for the product of sensitivity and specificity were considered. We have found that an empirical estimator had higher bias than others due to step or jagged shape and Youden index have provided biased estimate of cut-point.