단계적 적응형 검사(MST)에서 피험자 능력 추정 방법의 정확성 비교

A Comparative Analysis of Accuracy in Ability Estimation Methods in Multistage Adaptive Testing(MST)

본 연구는 단계적 적응형 검사(MST)에서 각 단계의 소검사(모듈)가 종료될 때 피험자 능력 추정 방법 중에서 정확성이 높은 방법에 관해 검토함으로써 MST 검사 설계 과정에서 능력 추정 방법을 설정하는 데 그 방향성을 제시하는 것을 목적으로 한다. 이에 따라, 모의실험을 통해 1-3-3 MST 설계에서 문항반응이론에 기반한 피험자 능력 추정 방법 간 정확성을 비교하였다. 모의실험에서 MSTGen 프로그램을 사용하여 문항 모수 및 피험자 능력 모수를 생성하였으며, 검사 조건별 능력 추정치와 모수 간 상관 및 추정 오차를 산출하였다. 그 결과, 모든 검사 조건에서 최대우도추정법(MLE)을 적용하여 피험자의 능력을 추정하는 것에 비해 베이지안 방법(EAP, MAP)을 적용하였을 때 능력 추정의 정확성이 높은 것으로 나타났다. 또한, 모듈의 단계별로 상이한 추정 방법을 적용하는 것에 비해 일관되게 베이지안 방법을 적용하여 능력을 추정했을 때 정확성이 높고 오차가 작은 것으로 나타났다.

The purpose of this study is to provide direction for establishing ability estimation methods in the design process of the multistage adaptive testing(MST) by reviewing methods with high accuracy and consistency when each subtest(module) concludes in MST. Accordingly, a simulation experiment was conducted to compare the accuracy of ability estimation methods based on item response theory in a 1-3-3 MST design. Using MSTGen in the simulation experiment, item and ability parameters were generated, and ability estimates and correlations among parameters were calculated under different test conditions. The results indicated that accuracy was lowest when ability was estimated using the Maximum Likelihood Estimation(MLE) method at all stages, while Bayesian methods(EAP, MAP) showed the highest accuracy. Furthermore, consistently applying Bayesian methods for ability estimation at all stages resulted in higher accuracy and smaller errors compared to applying different estimation methods at each stage.