선다형문항의 차등배점 고려가 가능한 IRT 능력모수 추정방법 비교 연구

A comparative study on IRT ability parameter estimation methods considering the differential weighting in multiple choice items

본 연구의 주된 목적은 개별 문항에 대한 차등배점이 사용되는 상황 하에서 이를 고려할 수있는 다양한 문항반응이론 능력모수 추정방법을 검토하고 실제 자료에 적용하여 그 결과를 비교해 보는 데에 있다. 본 연구에서는 이를 위하여 등급반응모형을 활용하는 방법, 검사특성곡 선을 활용하는 방법, 재귀적 알고리듬을 활용하는 방법 세 가지를 고려하였다. 실제 수학 학업 성취도 평가 자료에 이러한 방법들을 적용해 본 결과, 차등배점을 고려하여 능력모수를 추정 하는 방법들과 차등배점에 대한 인위적 고려 없이 능력모수를 추정하는 전통적 능력모수 추정 방법 상호 간 큰 차이를 발견하기는 어려웠다. 다만 차등배점을 고려하는 능력모수 추정 방법 들이 좀 더 차등배점이 적용된 원점수에 조금이나마 가까운 능력 추정을 할 수 있음을 확인할수 있었다. 특히 재귀적 알고리듬을 활용하는 방법의 경우 상관 및 평균제곱편차 분석 결과 그러한 경향이 가장 뚜렷한 것으로 나타났다. 마지막으로 본 연구의 결과에 대하여 요약 및논의하면서 이와 같은 능력모수 추정 방법들의 속성을 보다 체계적으로 이해하고 일반화된 결론을 얻기 위하여 요구되는 후속 연구 방향에 대하여 언급하였다.

The main purpose of this study is to introduce various methods of estimating the ability which can consider the use of differential weighting of items and compare their performances. In this study, three methods are considered which are based on, respectively, the graded response model, the test characteristic curve, and the recursive algorithm. As a result of applying these methods to actual mathematics achievement test data, it was difficult to find a big difference among the three methods and the traditional IRT ability parameter estimation method which does not have any consideration of the differential weighting. However, we can confirm that the ability estimation methods considering the differential weighting are able to estimate abilities closer to the raw scores. Especially, the method using recursive algorithm seems to work best in such performance when the results of correlation and mean square deviation analysis are compared. Finally, discussions of the findings were provided followed by directions of future studies to generalize and better understand those ability estimation methods.