인지진단을 위한 가변길이 컴퓨터화 적응 검사

Variable-Length Computerized Adaptive Testing for Cognitive Diagnosis

본 연구의 목적은 피험자에게 제공 가능한 최대 문항 수를 제한한 가변길이 인지진단 컴퓨터화 적응 검사 상황에서 산출된 각 검사 조건별 평균 검사 길이와 인지요소 패턴 추정의 정확성에 대해 파악하는 것이다. 연구 결과, 모의자료의 특성과 동일한 인지진단모형이 적용될 때 평균 검사 길이가 감소하였고 인지요소 패턴 추정의 정확성이 증가하였다. 검사에 G-DINA 모형을 적용했을 때 모의자료의 특성과 동일한 인지진단모형을 적용한 경우와 유사한 결과를 얻을 수 있었다. 문항 변별도가 낮을수록, 그리고 검사종료 기준으로 설정한 인지요소 패턴의 최대 사후확률, 즉 임계값이 높을수록 평균 검사 길이가 증가하였다. 문항선택 방법 중에서 MPWKL 방법과 GDI 방법은 평균 검사 길이와 인지요소 패턴 추정의 정확성 측면에서 살펴보았을 때 유사하게 기능하는 것으로 나타났다. Random 방법을 적용한 경우에는 모든 검사 조건에서 동일하게 인지요소 패턴 추정의 정확성이 검사종료 기준으로 설정된 임계값 보다 낮게 산출되었다.

The purpose of this study was to explore the accuracy of attribute pattern estimation and average test length for each test condition calculated in the variable-length cognitive diagnostic computerized adaptive testing that limited the maximum number of items that can be provided to examinee. The main conclusions can be made as follows. When the cognitive diagnostic model was the same as the characteristics of the simulated data, the average test length was reduced, and the accuracy of estimating the attribute pattern increased. In addition, similar results were obtained when the G-DINA model was applied to the test. The lower the item discrimination and the higher the threshold value set as the termination rule, the average test length was longer. MPWKL and GDI method among the item selection methods functioned very similarly in terms of the average test length and the accuracy of attribute pattern estimation. When the random method was applied, the accuracy of attribute pattern estimation was lower than the threshold value set as the termination rule.