단위검사로 구성된 검사에서 다양한 다차원 문항반응이론 모형에 따른 동등화 결과 비교

A Comparison of Equating Results based upon Several Multidimensional IRT Models for Testlet-based Tests

이 연구는 단위검사로 구성된 검사의 구조를 모형에 반영할 수 있는 4가지 다차원 문항반응이론 모형(Bi-factor, Testlet Response, Simple-structure, Second-order MIRT 모형)과 전통적으로 사용되어 온 일차원 문항반응이론 모형을 실제 자료와 모의실험 자료에 적용하여 동등화 결과를 비교하여 각 모형의 상대적인 동등화 수행능력을 평가하고자 하였다. 결론은 다음과 같이 요약될 수 있다. 첫째, 이 연구에서 검토된 4가지 MIRT 모형 관찰점수 동등화 결과는 단위검사로 구성된 검사의 동등화에서 유사한 결과를 산출하였다. 둘째, 실제 자료를 활용한 분석에서 일차원 문항반응이론 모형은 다차원 문항반응이론 모형과 거의 차이를 확인할 수 없을 정도의 유사한 동등화 결과를 산출하였다. 셋째, 가상자료를 바탕으로 한 분석에서, 일차원성 가정 이탈 수준이 높은 경우, 일차원 문항반응이론 모형에 기반한 동등화 방법은 다차원 문항반응이론 모형에 기반한 동등화 방법과 다른 동등화 결과를 산출하였고, 동등화 편의가 큰 것으로 나타났다. 문항반응이론의 일차원성 가정의 위배가 큰 경우, 단위검사로 구성된 검사의 동등화에 다차원 문항반응이론 모형을 적용한 동등화 방법을 사용하는 것이 타당할 것이다.

This study was designed to evaluate relative performance of four multidimensional item response theory (MIRT) models (Bi-factor, Testlet-response, Simple-structure, Second-order MIRT models) which could reflect the structure of testlet-based tests, and traditional unidimensional item response theory (UIRT) models in equating with real and simulated data sets. Based upon the results of this study, the following conclusions can be made. First, four MIRT models produced very similar IRT observed-score equating relationships for the tests composed of testlets. Second, the equating results from the UIRT and MIRT models were not easily differentiated from the practical point of view for real data analyses. Third, based upon the results from simulated data analyses, the UIRT model produced significantly different equating relationships compared to those from the MIRT models and showed bigger biases when data were significantly departed from the unidimensionality assumption. In the case of significant departure from the unidimensionality assumption, it would be recommended to use the MIRT models rather than the UIRT models in equating scores from tests composed of testlets.