인지진단 컴퓨터화 적응 검사에서 모수적 및 비모수적 문항선택 방법에 따른 분류 정확성 비교

A Comparison of Parametric and Nonparametric Item Selection methods in Classification Accuracy of Cognitive Diagnostic Computerized Adaptive Testing

최근 교육평가 분야에서 검사의 효율성과 추정의 정확성을 향상시키고 피험자에 대한 진단정보를 제공하기 위해 인지진단이론에 컴퓨터화 적응 검사를 적용한 인지진단 컴퓨터화 적응 검사가 주목받고 있다. 본 연구에서는 인지진단 컴퓨터화 적응 검사 상황에서 모수적, 비모수적 문항선택 방법에 따른 분류 정확성을 다양한 검사 조건(인지요소의 수, Q행렬의 구성, 문항의 진단성, 문제은행 구축 시 피험자의 수)에서 비교하고자 하였다. 인지진단 컴퓨터화 적응 검사의 문제은행은 DINA 모형을 적용하여 구축하였다. 연구 결과, 인지요소의 수가 많을수록, 문항의 진단성이 낮을수록 모수적 및 비모수적 문항선택방법 모두 분류 정확성이 감소하였다. Q행렬의 구성이 복잡할수록 모수적 문항선택 방법에서 분류 정확성이 감소하였으나, 비모수적 문항선택 방법에서는 Q행렬의 구성에 따른 분류 정확성 차이가 크게 나타나지 않았다. 인지진단 컴퓨터화 적응 검사를 시행하기 전문제은행 구축 단계에서 많은 인원을 확보할 수 없어 적은 인원으로 문항 모수를 추정하는 경우에는 비모수적 문항선택 방법을 적용할 때 분류 정확성을 더 높일 수 있다.

Cognitive diagnostic computerized adaptive testing (CD-CAT) has been focused and investigated recently in the field of educational measurement. The CD-CAT applies the similar schemes of computerized adaptive testing to the context of cognitive diagnosis theory for improving testing efficiency and estimation accuracy. The purpose of this study were to compare parametric and nonparametric item selection methods in classification accuracy under various test conditions of CD-CAT, and to identify the effects of several factors such as number of attributes, Q-matrix composition, item diagnosticity, number of examinees for estimating item parameter. The DINA model was chosen as a basic model for parameter estimation in constructing item bank. The main conclusions can be made as follows. The greater the number of attributes and the lower the item diagnosticity, the lower the classification accuracy. As the Q-matrix composition become more complex, the classification accuracy decreased in the parametric item selection methods. But this conclusion can not be applied to the nonparametric item selection method. The examinee’s attribute pattern or mastery status were more accurately estimated in the nonparametric item selection method, when estimating item parameters with a small number of examinees.