공통문항 비동등집단 설계에서 구성형 문항의 IRT 관찰점수 동등화 방법 비교

Comparison of IRT observed score equating methods for CR items under the common-item nonequivalent groups design

이 연구는 공통문항 비동등집단 설계에서 구성형 문항의 IRT 관찰점수 동등화의 정확성을 알아보기 위한 모의실험 연구로, 다음 세 가지 조건을 사용하여 동등화의 정확성을 확인하였다. 첫째, 구성형 문항만을 공통문항으로 사용하여 일차원 IRT 모형을 적용하였다. 둘째, 구성형 문항과 외부(external) 선택형 문항을 공통문항으로 사용하여 일차원 IRT 모형을 적용하였다. 셋째, 구성형 문항과 외부 선택형 문항을 공통문항으로 사용하여 다차원 IRT 모형을 적용하였다. 연구 결과, 다음의 제한된 조건에서 공통문항에 구성형 문항만을 사용하는 것보다 선택형 문항을 함께 사용했을 때 동등화 결과가 더 정확하였다. 즉, 1) 다차원 IRT 모형을 적용하였을 때, 2) 표본 크기가 클 경우, 그리고 3) 선택형 문항에서 집단 간의 능력 차이가 작을 때 구성형 문항의 동등화의 정확성이 향상되었다. 또한, 일반적으로 문항의 수가 많고 점수 범주의 수가 적을 때 구성형 문항의 동등화 결과가 정확하였다.

This simulation study evaluated the equating accuracy of constructed-response (CR) items by using IRT observed equating methods under the common-item nonequivalent groups design for the following conditions: 1) CR items were only used as common items with the unidimensional IRT models; 2) CR items and external SR items were used as common items with the unidimensional IRT models; 3) CR items and external SR items were used as common items with the multidimensional IRT models. The results indicated that accuracy of the CR item equating can be improved by adopting external SR items compared to equating only CR items under some restricted conditions, which are 1) multidimensional models, 2) large sample size, and 3) small group difference in SR items. In general, more items with fewer score categories lead to a greater equating accuracy for CR items.