CBT에서 소규모 수험자 집단에 대한 IRT 적용

The Application of Item Response Theory to Computer Based Testing with Small Testee Groups

검사와 관련한 중요한 논쟁 가운데 하나는 검사지를 구성하고 있는 문항의 질 관리 및 개선의 문제이다. 본 연구는 소규모 수험자 표본을 갖는 CBT의 문항 질 관리를 위한 IRT 적용 가이드라인 제안을 목적으로 하고 있다. 연구 목적을 달성하기 위하여 CBT에서 문항 질 관리를 위한 소규모 수험자 집단에 대한 IRT 적용에 대한 절차 및 모형을 제안하였다. 제안된 절차 및 모형에 따라 P대학교 PE 교과목의 CBT 문제은행의 실제 자료를 이용하여, 실증적 연구를 수행하였다. 이상의 연구를 통해 소규모 수험자 집단에 대한 IRT 적용 절차 및 모형을 구현하였고 그 결과 40문항 선택형 검사지에 평균 300명 전후의 표본인 경우 3-모수 로지스틱 모형이 적용 가능함을 알 수 있었다.

The management and improvement of item quality is one of the main issues in the field of testing, regardless of the medium, paper or computer. IRT was estimated to be one of the most suitable evaluation methods, in order to obtain invariable information on each item. Previous studies have been focused, however, on the application of IRT to a large number of testees. This paper concentrates on the application of IRT to CBT with small testee groups. In this study, we suggested the procedures and models of was to suggest a guideline about the application of IRT to small testee groups for item quality management of CBT. According to the suggested application procedures and models of IRT, this study was conducted on the basis of real data, which are the test results of 127 test sheets contained in the CBT item bank of PE subjects of P University in 2001 and 2002. As the result of this study, we could conclude that it is possible to apply IRT to the tests that satisfy the assumption of unidimensionality and that are confirmed to be suitable after the assessment of model-data fit, even if the sample numbers are small.