문제은행간 비동등성이 능력모수 추정치에 미치는 영향

Effects of nonequivalence of item pools on ability estimates in CAT

이 연구는 비동형 문제은행(nonparallel item pools)이 개인의 능력모수 추정과 각 내용영역별 사용된 문항의 수에 미치는 영향을 파악하는데 그 목적이 있었다. 두 세트의 다섯 개 문제은행이 측정학적 속성(b-모수 추정치의 평균)과 내용영역별 문항의 비율이 다르도록 scocking과 Swanson(1996)의 가중편차모델(Weighted deiation model: WDM)을 이용하여 구성하였다 한 세트의 다섯 개 문제은행은 문항수가 240개였고, 다른 세트의 다섯 문제은행은 문항수가 480개였다. 이렇게 구성된 문제은행을 이용하여 시뮬레이션을 통한 컴푸터적용검사(Computerized adaptivetesting; CAT)를 실시하였다. 능력모수추정을 위해 최대우도법을 사용하였고, 검사길이는 30문항이었다. 문항의 개별 노출빈도(item exposure)를 통제하였고, 모의인에게 시행되는 검사가 내용영역별로 균형을 맞추도록 WDM을 이용하여 통제하였다, 전체적으로 보았을 때 하 ·상위능력집단에서 문제은행간 비동등성이 능력모수 추정에 중간능력집단에 비해 상대적으로 영향이 컸다. 그러나 그런 차이가 실제적으로 의미있는 차이인지는 보고되는 점수척도로 변환해서 판단하여야 한다. 문제은행의 내용영역별 문항의 비율이 다를 때 각 개인에게 시행된 문항들의 영역별 비율에 차이가 있었다. 문항의 사용빈도를 통제함에도 상대적으로 문항이 많은 영역에서 보다 많은 문항들이 시행되었다. 따라서 각 검사프로그램마다 적절한 문항선정을 위한 알고리듬을 사용하여서 시뮬레이션을 통해 영역별 문항사용빈도를 통제하는 것이 바람직하다.

This study focused on the effects of nonparallel item pools on examinees' ability estimates and on the number of administered items in each content category. Two sets of five nonparallel multiple item pools were constructed to be moderately different in the psychometric characteristic (i.e., mean of the b-parameters) and the percentages of items per content category through Stocking and Swanson (1996)'s weighted deviation model (WDM). One set of five nonparallel item pools had 240 items and the Other set of five pools had 480 items. CAT simulations were performed based on the assembled item pools. The MLE procedure was used for scoring, and the test length was 30 items. Item exposure control was imposed. Stocking and Swanson (993)'s WDM was used for the item selection to balance the content categories. Overall, the results indicated that the precision of ability estimates was more affected at low and high ability levels than at the middle level of ability by the moderate change of the psychometric characteristic across item pools. However, the meaningfulness of the differences should be determined based on the reported score scale. The nonparallel pools in terms of proportion of items per content category had an effect on the number of items administered in each content category.