혼합형 검사에서 공통문항의 비율과 구성 방식이 Bi-Factor MIRT 관찰점수 동등화에 미치는 영향

The Effects of Proportion and Composition of Common Items on Observed-Score Equating with the Bi-Factor MIRT model for Mixed-Format Tests

이 연구에서는 Bi-Factor 다차원 문항반응모형을 공통문항 비동등집단 설계에서 수집되었다고 가정한 혼합형 검사 자료에 적용하여 관찰점수 동등화를 진행하고, 그 결과가 공통문항의 구성 조건 및 문항 유형 요인의 상관 정도에 따라 어떠한 차이를 보이는지 살펴보았다. 이를 평가하기 위하여 선행연구에서 많이 사용되었던 2모수 일차원 문항반응모형을 비교 모형으로 설정하였다. 연구 결과, 문항 유형 간 상관이 제일 낮은 조건인 0.5와 중간 조건인 0.7인 경우에서는 공통문항의 비율 및 구성 방식에 상관없이 모든 조건에서 Bi-Factor MIRT 모형의 동등화 오차가 일차원 모형보다 더 양호한 것으로 나타났다. 이에 반해 문항 유형 간 상관이 0.9인 경우에서는 2모수 일차원 문항반응모형의 동등화 오차가 더 낮은 것으로 나타났다. 공통문항의 구성에 따라서는 전체 검사의 선택형 문항과 서답형 문항의 비율과 유사하게 공통문항이 구성되었을 때 동등화 오차가 가장 낮은 것으로 나타났고, 전체 검사 문항에 대한 공통문항의 비율이 증가함에 따라 동등화 오차는 감소하는 것으로 나타났다.

This study applied the Bi-Factor MIRT model to hypothetical simulated mixed-format test data in the context of observed-score equating with a common-item nonequivalent groups (CINEG) design. The equating results were compared with those derived from applying the two-parameter logistic (2PL) UIRT model across several conditions of combining proportions and compositions of common items, and correlations between two dimensions of item types. The Bi-Factor MIRT model produced lower root mean squared errors (RMSEs) than did the 2PL UIRT model for every conditions in 0.5 and 0.7 correlations between dimensions of item types. However, in 0.9 correlation, the RMSEs for 2PL UIRT model were lower than those for the Bi-Factor MIRT model. The RMSEs were the lowest when the compositions of common items reflected similarly the proportions of multiple-choice (MC) and free-response (FR) items in the total test. As the proportion of numbers of common items relative to the numbers of items in the total test increased, the RMSEs for both UIRT and MIRT equatings decreased as expected.