Empirical Study of Using Collateral Information for Calibrating Pretest Items with Small Sample Size

Empirical Study of Using Collateral Information for Calibrating Pretest Items with Small Sample Size

  미국에서 실시되는 표준화 검사의 경우, 대부분 사전 검사 문항(pretest item)의 통계치를 이용하여 검사를 제작하기 때문에, 정확한 사전 검사 문항의 모수치를 추정하는 일은 매우 중요하다. 특히, 사전 검사 문항에 대한 정확한 문항반응이론(IRT) 모수 추정치를 얻고자 하는 다양한 연구가 진행되어져 왔는데, 최근 Stout와 그 동료들은 (2003) 사전 검사문항의 보다 정확한 추정치를 얻기 위해, 상관이 높은 다른 하나의 시험에서 얻은 정보를 이용한 이른바 부차적 정보 방법을 제시했다. 본 연구는 그들의 연구를 바탕으로 부차적 정보 방법이, 적은 수의 피험자들이 응답한 사전 검사 문항의 정확한 IRT 모수치 추정에 얼마나 유용한지를 알아보기 위해, 부차적 정보 방법을 사용하지 않았을 경우와의 비교 분석을 시도하였다. 이를 위해 하나의 표준화 검사에 속해 있는 두 개의 과학시험(상관계수 ＞ .8)에 대한 응답 자료를 이용하였는데, 이 두 과학 시험은 동일한 시험실시 시간, 동일한 전체 문항 수 및 동일한 수의 사전 검사 문항으로 구성되어 있다. 세가지의 다른 IRT 모형, 세 가지의 다른 피험자 수, 두 개의 각각 다른 내용 영역이 두 가지의 척도화 방법과 함께 연구에서 고려되었다. 연구 결과, 이모수 일차원 IRT 모형과 이 모수 다차원 IRT 모형에 고정 척도화 방법을 적용했을 때에 한하여, 부차적 정보 방법은 모수치 추정에 있어 오차를 감소하는 효과가 있음이 발견되었다.

  When a new test form is constructed based on item response theory (IRT), a relatively large number of examinees is usually required to obtain an accurate estimation of item statistics for pretest items. However, using a large sample size is almost impossible in real situations. To increase the precision of pretest item estimation with a small sample size, some studies have investigated different approaches in item estimation. Recently, Stout and his colleagues (2003) explored the usefulness of a collateral information approach with IRT models in improving pretest item parameter estimation. This study expanded Stout et al."s study by comparing collateral information methods with a non-collateral information method considering several factors to investigate the effectiveness of using collateral information with IRT models in estimating pretest items with relatively small sample sizes. Real data sets obtained from two standardized science test administrations, which have the same testing time, test length, and the number of pretest items, were used for this study. In this study, three sample sizes (100, 200, and 400), two item parameter estimate methods (fixed and methods), two content areas (content P and G) were considered using three IRT models (the two and three parameter logistic unidimensional and the two parameter logistic multidimensional IRT models). The results of this study indicated that the use of collateral information with the 2-PL unidimensional and multidimensional IRT models under a fixed calibration method somewhat improved the parameter estimation of the pretest items. The collateral information approaches with a scaling method did not produce noticeable difference in parameter estimation even when the sample sizes were smaller. As a future direction, a simulation study is recommended to confirm the benefit of using collateral information with the 2-PL IRT model and the fixed method considering the properties of operational items based on various sample sizes.