베이지안 네트워크를 활용한 피험자 능력 추정의 정확성 탐색

An Exploration on the Accuracy of Ability Estimation using the Bayesian Network

본 연구에서는 인지진단적 검사 자료를 분석할 수 있는 다양한 방법론들 중에서 베이지안 네트워크에 중점을 두어 이를 통한 피험자의 능력 추정이 얼마나 정확하게 이루어 질 수 있는가를 조사하였다. 문항의 질, 검사 길이, 능력 정도, 인지요소 간 상관 정도 등을 요인으로 고려하는 모의실험 연구를 통하여, 각 인지요소에 대한 개별 피험자의 숙달여부를 추정하기 위한 MLE, MAP, 그리고 EAP 방법들의 분류 정확도 및 합치도를 살펴보았다. 연구 결과, 베이지안 네트워크를 통한 능력 추정은 세 방법 중 어떠한 것을 사용해도 양질의 문항을 사용하는 한 매우 정확하게 이루어질 수 있음을 알 수 있었다. 세 방 법 모두에서, 문항의 질이 높을수록 그리고 검사 길이가 길수록 더 높은 분류 정확성 및 합치도를 확인할 수 있었다. 또한, 피험자의 능력 수준이 높을수록 더 정확한 능력모수복원이 가능함과 함께 인지요소 간 상관의 정도는 개별 인지요소 숙달 여부를 추정함에 있어서 뚜렷한 영향을 미치지 않음을 발견하였다. 마지막으로, 이와 같은 결과에 대한 논의와 함께 본 연구의 제한점 및 향후 연구 방향에 대하여 제시하였다.

This study is to investigate the accuracy of ability parameter estimates based on the Bayesian network among various pychometric methods that can be used to analyze cognitive diagnostic test data. Through a simulation study considering factors such as item quality, test length, ability distribution difference, correlations among cognitive attributes, the classification performances of maximum likelihood, maximum a posteriori, and expected a posteriori were examined. The results showed that the three methods could provide pretty accurate recovery of true ability values as long as the item quality was highly kept. For the all three methods, the higher the item quality was maintained or the longer test length was given, the better classification accuracy and consistency of the ability estimation could be obtained. Moreover, the results suggested that classification accuracy tended to be better as the ability level of examinees was getting higher. The correlation among cognitive attributes, however, seems not to be associated with the classification accuracy. Discussions of the findings were provided, followed by description of limitations and directions of future studies.