혼합형 문항으로 구성된 단계적 적응검사에서 교차 라우팅 방법의 효과 탐색

Exploring the effectiveness of intersectional routing for multistage testing with mixed-format tests

컴퓨터를 활용한 적응형 검사 유형 중 단계적 적응검사(MST)는 짧은 검사 길이로도 정확하고 효율적으로 능력을 추정해낸다는 장점이 있어 최근 많은 검사들이 채택하고 있는 유형이다. 하지만 문항기반 적응검사에 비해 적응의 수준이 낮다는 한계가 지적되어 이를 극복할 수 있는 방안으로 교차 라우팅 방법(ISR)이 제안되었으며, 능력 추정의 정확성을 높이는 ISR의 효과가 확인되었다. 본 연구는 선행연구를 확장하여 혼합형 문항으로 구성된 단계적 적응검사 상황에서 ISR의 효과를 검증하고, bi-factor 다차원 모형과 일차원 모형의 적용 가능성을 탐색하였다. 연구 결과, 소검사의 길이가 8문항으로 짧고, 섹션 간 상관이 높은 경우 ISR을 적용하는 것이 효과가 있는 것으로 나타났다. 또한, ISR을 적용하지 않을 때보다 ISR을 적용할 때, 패널 디자인이 능력추정에 미치는 영향은 감소하는 패턴이 발견되었다. 모형의 수행능력 측면에서 다차원성을 가지는 MST에는 자료의 다차원 정도가 낮거나 검사의 길이가 긴 경우를 제외하고는 다차원 모형을 적용하는 것이 능력 추정에 효과적이었다.

Multistage testing among several adaptive testing types has been more frequently applied into practice because it can accurately and efficiently estimate abilities with relatively short tests. However, it has been also criticized due to its low level of adaptability. To address this issue, the intersectional routing method was proposed and its effectiveness has been partly confirmed. This study aims to explore the effectiveness of the intersectional routing method with mixed-format MST by applying the bi-factor MIRT model, and the UIRT model, extending previous researches. Based upon the results of this study, when the module length was short (8 items), and the correlation between sections was high (0.9), the accuracy of ability estimates using the intersectional routing was higher than the typical multistage testing design regardless of the IRT model. The application of the intersectional routing technique decreased the differences of ability estimate accuracy in accordance with panel designs. Considering the high inter-correlation values between sections in actual tests (ranging from 0.6 to 0.9), the application of the intersectional routing method into multistage testing could be a choice for broadening options in test designs and obtaining more accurate ability estimates. The results also indicate the necessity of selecting an appropriate IRT model based on test characteristics in multidimensional adaptive testing situations.