인지진단모형에 의한 차별기능문항 추출 방법의 제1종 오류 및 검정력 비교

Comparing the type I error and the power of detecting methods for differential item functioning based on cognitive diagnosis models

인지진단모형을 적용한 검사 자료 분석의 유용성과 결과 해석의 타당성을 높이기 위하여 문항의 차별기능 검증을 활용할 수 있다. 최근 인지진단모형에 의한 차별기능문항 추출 방법으로 ‘CDM-Wald 검정’과 ‘LCDM-DIF 방법’이 제안되었고 DINA 모형에서 차별기능의 추출이 양호하다고 평가된 바 있다. 본 연구는 두 방법이 C-RUM에서도 차별기능문항을 양호하게 분류하는지 모의실험을 통해 제1종 오류 및 검정력을 분석하고, MH 방법및 Raju 방법과 비교하였다. 모의실험의 조건으로 문항 수, 표본 크기, 차별기능문항 비율, 문항의 인지요소 적합성, 차별기능 효과크기 등을 고려하였다. 모의실험 결과, CDM-Wald 검정이 LCDM-DIF 방법에 비해 상대적으로 양호하게 차별기능문항을 분류하는 경향을 보였으나 CDM-Wald 검정의 경우 문항의 인지요소 적합성 조건에 따라서 제1 종 오류와 검정력이 민감하게 작동하였다. LCDM-DIF 방법은 인지진단모형의 추정 모수가 많아짐으로 인해 제1종 오류가 높게 나타났다. 이러한 결과는 문항의 인지요소 적합 성, 인지진단모형의 적합도, 추정 모수의 수 등을 고려하여 차별기능문항 추출 방법을 상호보완적으로 사용할 필요가 있음을 시사한다.

The DIF verification can be used to heighten the utility of analyzing the CDM-based inspection and the validity in interpreting the result. This study, through a simulation, analyzed the type I error and the power of the ‘CDM-Wald test’ and the ‘LCDM-DIF method’, recently suggested as extracting methods for DIFs that are based on CDMs, by testing whether the methods can also sort the DIFs that are based on the C-RUM model, and compared the results with the MH method and the Raju method. The simulation considered the numbers of items and samples, the DIF percentage, the attribute conformity of the items and the effect size of DIFs as the conditions. As a result, the CDM-Wald test showed relatively higher availability than the LCDM-DIF method in sorting the DIFs, but the type I error and the power worked sensitively according to the condition of attribute conformity. The LCDM-DIF method has shown the highest number of the type I error as the number of the CDM ’s estimated parameter got bigger. This result implies that the DIF detection method shall be used as complementary considering the item’s attribute conformity, the CDM’s goodness-of-fit, and the number of estimated parameter.