Sample Size and Test Length Effects on Conditional Standard Error of Measurement in Item Response Theory and Generalizability Theory Using Simulation Techniques

Sample Size and Test Length Effects on Conditional Standard Error of Measurement in Item Response Theory and Generalizability Theory Using Simulation Techniques

  측정의 조건표준오차는 특정 검사가 모든 능력집단에 대해 일정한 신뢰도를 확보하는지 확인할 수 있도록 해주는 유용한 지수이다. 측정의 조건표준편차는 척도모형인 문항반응이론과 표집모형인 일반화가능도이론을 통해 산출될 수 있는데, 이 연구는 두 이론으로부터 산출된 측정의 조건표준오차에 있어 표본크기와 검사길이의 영향력을 모의실험을 통해 알아보고자 하였다. 서로 다른 표본 크기와 검사 길이를 조합하여 도출한 9가지 모의실험 조건 아래에서 데이터를 생성하여 문항반응이론과 일반화가능도이론 각각을 적용, 측정의 조건표준오차를 산출하였다. 두 이론을 통해 추정된 측정의 조건표준오차를 모의실험에서 정의된 진 측정의 조건표준오차와 비교하였다. 모든 검사조건에서 일반화 가능도이론을 이용한 측정의 조건표준오차가 진 측정의 조건표준오차와 유사한 산출치를 도출한 반면, 문항반응이론을 이용한 추정값은 진 측정의 조건표준오차보다 더 작은 값을 도출하였다. 즉, 문항반응이론이 실제 측정의 조건표준오차를 과소추정하는 경향이 있음을 알 수 있었다. 동일한 표본크기에서는 검사길이가 증가할수록 측정의 조건표준오차가 커졌으며, 측정의 조건표준오차는 표본의 크기보다 검사 길이에 더 영향을 받는 것으로 나타났다.

  Conditional standard error of measurement (CSEM) provides useful information about degrees of measurement error for different examinee populations. CSEM is one of the comparable results from scaling model of Item response theory (IRT) and sampling model of Generalizability theory (G-theory). In this study, methods of estimating CSEM using either IRT or G-theory were investigated, and the results from both theories were compared. The primary purpose of this study was to investigate the effects of sample size and test length on CSEM in IRT and G-theory using simulations. Nine simulation conditions, each combining a different test length and sample size, were generated, and for each condition, the true CSEMs were defined. The degrees of bias and the standard error of estimate in IRT and G-theory resulting from the test length and sample size combinations were compared, using the true CSEM as a target. The CSEM estimates using G-theory had similar values as those of the true CSEM. The IRT estimates, however, showed smaller values than those of the true CSEM in all of the cases; that is, the CSEM was underestimated in IRT. The patterns of the magnitude of the CSEM were similar across the different sample sizes. Test length seemed to be more influential than sample size in CSEM estimation under both theories.