Empirical Evaluation of the Effect of Speededness Using IRT

Empirical Evaluation of the Effect of Speededness Using IRT

  검사가 일정수준 이상의 속도성(test speededness)을 띠게 되면 문항반응이론(item response theory)의 일차원성(unidimensionality) 가정과 지역독립성(local dependence) 가정의 위배를 초래한다. 이러한 가정들이 위배된 상황에서 문항반응이론을 적용하면 정확하지 못한 분석결과를 얻게 되고, 따라서 문항반응이론을 이용한 검사동등화 방법이나 컴퓨터 능력적응 검사의 개발 등에도 영향을 미치게 된다. 본 연구는 속도성이 문항반응이론을 이용한 데이터 분석에 실제로 어떠한 영향을 미치는지 조사하였다. 검사가 속도성을 띠는 경우 문항변별도, 문항난이도, 문항정보함수, 측정의 표준오차 등이 속도성의 영향을 받았다. 특히 낮거나 중간 능력 수준의 피험자들이 속도성으로 인해 불리한 영향을 받는 것이 드러났다. 본 연구는 속도성의 영향을 받으면 문항반응이론을 이용한 검사 분석이 전반적으로 왜곡될 수 있음을 실증적 연구를 통하여 보이고, 앞으로 속도성의 영향을 제거할 수 있는 방법을 모색해야함을 강조하였다.

  Test speededness introduces local dependence and multidimensionality into the test so that the application of a unidimensional IRT model to a speeded test can result in inaccurate estimates of IRT parameters. This study empirically showed that item parameter estimates, characteristic curves, expected raw and scale scores, information functions, and conditional standard errors of measurement were affected by speededness. The findings indicated that especially the low and medium ability students were disadvantaged when the test was speeded. This study stressed the growing need for understanding and making an effort for eliminating the effect of speededness on IRT.