인지진단모형, 인지요소패턴 추정 방법, 사례수에 따른 인지요소패턴 추정의 분류 일관성 및 분류 정확성 비교

A Comparison of Classification Consistencies and Classification Accuracies of Attribute Pattern Estimates by Cognitive Diagnostic Models, Classification Methods, and Sample Sizes

본 연구의 목적은 인지진단모형인 DINA(deterministic inputs, noise “and” gate), DINO(deterministic inputs, noise “or” gate), GDINA(generalized DINA)와 인지요소패턴 추정 방법인 MLE(maximum likelihood estimation), MAP(maximum a posteriori), EAP(expected a posteriori), 그리고 사례수(100, 300, 500, 1000명) 에 따른 인지요소패턴의 분류 일관성 지수 및 분류 정확성 지수의 차이를 비교하는데 있다. 본 연구에서는 모의실험 자료와 실제 자료인 기초학력 향상도 평가를 이용하였다. 모의실험 자료를 이용한 연구결과 첫째, DINA와 GDINA모형간, DINO와 GDINA모형간 인지요소패턴 추정의 분류 일관성지수 차이 및 분류 정확성 지수 차이는 매우 작았다. 둘째, 각 인지진단모형내에서 MLE, MAP, EAP에 따른 분류 일관성 지수 차이 및 분류 정확성 지수 차이는 매우 작았다. 셋째, 사례수가 커짐에 따라 분류 일관성 지수가 달라지지만 일정하게 커지거나 작아지는 패턴은 없었다. 사례수의 증가와 함께 분류 정확성 지수는 증가했다. 그런데 실제 자료를 이용한 연구결과에서는 인지진단모형간 분류 일관성 지수 및 분류 정확성 지수 차이가 크게 나타나기도 했고, MLE의 분류 일관성 지수와 분류 정확성 지수는 MAP나 EAP의 분류 일관성 지수 및 분류 정확성 지수와 상당한 차이가 있었다.

The purpose of this study is to compare classification consistency indices (CCs) and classification accuracy indices (CAs) in attribute pattern estimates by cognitive diagnostic models (CDMs), classification estimation methods, and sample sizes. In this study, three CDMs, DINA (deterministic inputs, noise “and” gate), DINO (deterministic inputs, noise “or” gate), GDINA (generalized DINA), three attribute pattern estimation methods, MLE (maximum likelihood estimation), MAP (maximum a posteriori), EAP (expected a posteriori), and four sample sizes (100, 300, 500, and 1000) were considered. Simulations were performed and the real data from the Daejeon Test of Basic Skills tests administered in year 2013 were used for this study. The results show that the differences of the CCs and CAs among DINA, DINO, GDINA were negligible, and the differences among MLE, MAP, EAP were also very small. The CCs were changed as the sample sizes increased but there was no clear pattern. The CAs tended to increase as the sample sizes being large. However, the results with real data were not consistent with the ones with simulated data.