Impacts of DIF on Ability Estimation in CAT

컴퓨터 적응형 검사에서 차별문항기능이 피험자 능력 모수 추정에 미치는 영향력 탐색

이 연구는 컴퓨터 적응형 검사(Computerized Adaptive Testing)에서 차별문항기능(DIF)이 피험자의 능력 추정에 미치는 영향력을 탐색하였다. CAT에서 DIF 분석 방법들은 다양하게 개발되어 적용되고 있지만 CAT에서 DIF가 능력 추정에 어떠한 영향을 미치는지에 대해서는 많이 알려지지 않았다. 이 연구는 CAT의 피험자 수, DIF의 크기, DIF 문항의 수와 위치, 피험자 집단 간 평균 차이 등 다양한 조건을 적용하여 CAT 시행 상황을 반영한 시뮬레이션 연구를 수행하였다. 시뮬레이션 연구 결과, DIF가 존재할 때 피험자의 능력이 과소추정되었으며 DIF의 크기와 DIF 문항의 수가 증가할수록 bias가 증가하였다. CAT의 진행에 있어서 초기 단계에 DIF 문항이 존재할 때 bias가 가장 컸고, DIF 문항의 위치가 검사의 마지막 문항에 가까울수록 그 영향력이 감소하였다. 능력 추정에 대한 DIF의 영향력은 능력 수준의 양 극단, 즉 능력이 매우 높거나 매우 낮은 수준에서 가장 큰 영향력을 나타냈다.

A couple of methods to detect Differential Item Functioning (DIF) for computerized adaptive testing (CAT) have been developed and successfully adapted. However, it has been unknown that how much DIF influences ability estimation as a result of testing. This study evaluated the impact of DIF on ability estimation in CAT by varying conditions such as sample size, impact level, degree of DIF, the number of DIF items, and the location of DIF items administered in testing. To adopt a CAT environment as similar as to real CAT, the study administered all items including DIF items adaptively to each examinee s ability. The results of the simulation study indicated that bias increased as the degree of DIF and the number of DIF items increased. The largest bias was found when DIF items were administered at an early stage. The bias decreased as DIF items were administered at a later stage. The most impact of DIF on ability estimation was observed in the examinee groups at either end of ability level. The examinees at the highest ability level showed the largest underestimation of their ability due to DIF.