본 연구에서는 DINA 모형 하에서 피험자 능력 모수를 추정할 수 있는 방법인 MLE, MAP, EAP 각각 의 분류 정확도 및 상호 간의 합치도를 모의실험을 통하여 조사하였다. 선행연구와의 차별성을 확보 하기 위하여 문항의 질, 검사 길이, 능력 정도, 인지요소 간 상관 정도, 그리고 검사 성격 등의 다양 한 모의실험 요인을 고려하였다. 연구 결과, 개별 인지요소를 추정할 때의 정확성은 어느 방법을 사 용하여도 모든 조건에서 약 75% 이상인 것으로 나타났다. 하지만 전체 인지요소를 모두 함께 정확 하게 추정하는 것은 상대적으로 어려운 것으로 나타났으며 특히 문항의 질이 좋지 않고 문항 수가 적을 때에는 50% 초반까지 분류 정확도가 하락하였다. 능력추정 방법 간 결과를 비교해 보면, 개별 인지요소를 추정할 때에는 EAP를 사용하는 것이 바람직하지만 전체 인지요소 모두를 정확하게 추정 하는 것이 더 중요하다면 MLE/MAP를 선택하는 것이 나았다. 다음, 검사별 Q-matrix 구성에 따라서 능력 추정의 정확성에 영향을 미치는 것을 알 수 있었는데 검사 문항 수에 비하여 상대적으로 많은 인지요소를 고려할 경우 분류 정확도가 낮아짐을 확인하였다. 문항 수가 많을수록 그리고 문항의 질 이 좋을수록 분류 정확성이 높아짐을 알 수 있었다. 흥미롭게도 특정 인지요소만을 측정하는 문항이 5문항 이상인 경우 문항의 질이 다소 하락하여도 높은 분류 정확도를 구할 수 있었다. 또한 인지요 소 간의 상관 정도는 능력 추정의 정확도와 무관한 것으로 나타났다.
In this simulation study, the classification and agreement of MLE, MAP, and EAP which are methods to estimate examinees’ ability parameters under the DINA model. For the purpose of ensuring differentiation from the previous studies, various simulation factors were considered such as quality of test items, test lengths, ability distributions, correlations among cognitive attributes, and natures of test. The results showed that the accuracy of estimating each individual cognitive attribute was higher than about 75% in all conditions using any of three methods. It was relatively difficult, however, to accurately estimate all the cognitive attributes together. Especially, when the number of test items is small, the classification accuracy has decreased to the early 50%. It was better to use EAP when estimating individual cognitive attribute. If it was more important to accurately estimate mastery pattern, however, it is better to choose MLE/MAP. Next, the Q-matrix configuration appeared to affect the accuracy of ability estimation. As the number of cognitive attributes came to be relatively larger compared to the number of related test items, the classification accuracy tended to be lower. The higher the number of items and the better the quality of items, the higher the classification accuracy. Interestingly, if the number of items that measure a specific cognitive attribute were more than 5, the ability estimation accuracy could be kept relatively high even though the quality of items dropped somewhat. Also, the amounts of correlations among cognitive attributes appeared not to be related to the accuracy of ability estimation.
(0)
(0)