A Comparison of IRT Calibration Methods in Growth Pattern and Scale Variability in Vertical Scaling

이 연구는 수직 척도화에서 고정 문항 추정 방법의 적용가능성을 탐색하고 분리 추정과 동시 추정과의 비교를 통해서 방법 간의 상대적 적절성을 모의 연구를 통해 밝히고자 하였다. 고정 문항 추정방법은 사전 분포 갱신 회수에 따라 비갱신방법과 단순갱신방법이 사용되었다. 또한 모의 연구의 조건으로서 피험자 능력 점수 분포, 표본크기, 그리고 공통문항의 수가 고려되었다. 연구 결과는 크게 성장 패턴과 척도 변동성으로 나뉘어 정의 될 수 있다. 성장패턴의 경우, 비갱신 고정문항 추정방법이 가장 부정확한 결과를 산출하였으며, 단순갱신방법은 분리추정, 동시추정과 비교하여 비슷한 결과 산출하였다. 척도변동성의 경우, 성장패턴과 달리, 비갱신방법은 다른 추정방법들과 비교하여 비슷한 오차와 양호도의 결과를 보였다. 피험자 능력점수 분포의 종류에 따라 가장 작은 오차와 높은 양호도의 수직척도를 산출하는 추정방법은 달랐다. 사전 분포 단순 갱신 고정 문항추정방법이 다른 추정 방법들에 비해 상대적으로 피험자 능력점수 분포의 종류에 관계없이 비교적 안정적인 결과를 산출하였다.

This paper investigated the performance of fixed item calibration (FIC) and its relative appropriateness in vertical scaling through comparisons with the separate and concurrent calibration methods using simulated data. Both the fixed item calibration with no prior update (FNPU) and the fixed item calibration with simple prior update (FSPU) were considered as methods of FIC. Three factors were investigated in the process: types of proficiency score distributions, sample sizes, and numbers of common items. The results of the study can largely be divided into results on growth pattern and scale variability. For growth pattern, FNPU produced the worst results in all cases. On the other hand, the FSPU produced the growth patterns which were nearly accurate or slightly deviated from the true growth patterns as well as did separate and concurrent calibration. For scale variability, contrary to growth pattern, FNPU produced similar results as did the other three methods. The relatively appropriate calibration method for vertical scaling varied depending on the proficiency score distribution. For the more complex proficiency score distribution, FSPU produced more stable results than did other methods.