Bootstrap 방법을 이용한 Rasch 이분 문항 적합도 지수의 신뢰구간 탐색

Using bootstrap method to evaluate critical values of item fit statistics of the WINSTEPS computer program for the dichotomous Rasch model

이 연구는 Rasch 측정모형 하에서 모형 적합도 검증에 많이 사용되고 있는 5개 문항 적합도 지수를 가지고 부적합 문항을 판단하는 기준에 대한 타당성을 검증하기 위한 목적으로 수행되었다. 이러한 목적을 달성하기 위해서 모형에 적합한 모의자료를 생성한 다음에 5개의 문항 수(10, 20, 30, 40 50)와 표본 수(100, 200, 400, 600, 800)크기 조건에 bootstrap 방법을 적용해서 평균, 표준오차와 95% 신뢰구간을 산출 하였다. 다음으로 산출된 값들이 각 표본조건에 걸쳐서 어떠한 경향을 보이는지를 분석 하였다. 본 연구에서 밝혀진 주요 연구결과는 다음과 같다. 첫째, 내적합도(Infit)와 외적합도(Outfit)지수 모두 표본크기에 영향을 받고 있는 것으로 나타났다. 따라서 표본크기를 고려하지 않은 경험에 기초한 임의적인 기준(예를 들면, 0.5~1.5)을 가지고 부적합 문항의 판단기준으로 사용해서는 안 될 것이다. 또한 점이연 측정 상관계수 역시 표본크기에 영향을 받는 것으로 나타났다. 둘째, 표준화 내ㆍ외 적합도 지수의 경우, 표준 정규분포 모양을 따르지 않는 것으로 나타났다. 따라서 표준 정규분포의 일반적인 기준(예를 들면, ±1.96)을 가지고 부적합 문항의 판단 기준으로 적용해서는 안 될 것이다. 결론적으로 실제 검사 타당화 과정에서 부적합 문항을 판별하는 기준과 관련해서, 표본크기와 무관한 또는 잘못된 이론 분포의 특징에 기초한 임의적인 기준 값을 사용하기 보다는 실제 자료를 가지고 bootstrap 방법을 적용해서 산출된 신뢰구간 값을 적용해서 부적합 문항을 판별하는 것이 더 적절한 방법이라고 볼 수 있다.

This study aims to examine distributional properties of five item fit statistics of the WINSTEPS program for the dichotomous Rasch model. Especially, this study investigates confidence intervals of five item fit statistics for identifying reasonable critical values using bootstrap method. Under the Rasch dichotomous model, Monte Carlo simulations are conducted to investigate these issues. The test lengths are set to 10, 20, 30, 40, 50 items with the sample size of 100, 200, 400, 600, 800 persons. Using bootstrap method, 1,000 replications are made under each condition. The results show that the Infit MNSQ, Outfit MNSQ, and point-measure correlation coefficient rely too heavily on sample size compared to standardized Infit and Outfit statistics. Therefore, the critical range of Infit and Outfit MNSQ should be adjusted according to sample sizes. Furthermore, standardized Infit and Outfit do not follow the standard normal distribution so the conventional critical values(for example, ±1.96) are problematic. The reason for the results are discussed and suggestions are made for future studies.