3모수 문항반응이론의 능력모수 추정 방식과 검사의 문항곤란도 구성이 능력 추정의 표준오차에 미치는 영향

Effects of 3PLM Scoring Methods and the Difficulty Composition of Test Items on the Standard Error of Ability Estimation

  이 연구는 3모수 문항반응이론의 능력모수 추정 방식과 검사의 문항곤란도 구성이 피험자 능력 추정의 표준오차에 어떠한 영향을 미치는 지를 분석한 것이다. 이 연구에서는 3모수 문항반응이론의 능력모수 추정 방식으로 MLE(maximum likelihood estimate), MAP(maximum a posteriori), EAP(expected a posteriori) 중 피험자의 반응양식에 근거한 EAPrp, 그리고 검사 총점에 근거한 EAPsum를 이용하였다. 이들 네 가지 추정 방식을 활용하여 검사의 문항곤란도 구성이 서로 다른 3가지 실제 검사 자료와 4가지 시뮬레이션 자료를 분석할 때 능력 추정의 표준오차가 어떻게 달라지는 지를 분석하였다. 그 결과 3모수 문항반응이론의 능력모수 추정 방식과 검사의 문항곤란도 구성에 따라 능력 추정의 표준오차는 서로 다르게 나타났다. 특히 MLE의 경우 다른 방식에 비해 검사의 곤란도 구성과 피험자의 능력 수준에 따라 능력 추정의 표준오차가 상대적으로 크고 또 많이 변하는 것으로 나타났으며, EAPrp의 경우가 능력 추정의 표준오차가 상대적으로 작고 또 적게 변하는 것으로 드러났다. 이러한 연구 결과는 검사 자료를 3모수 문항반응이론을 활용하여 분석하고 해석할 때 검사의 목적이나 검사의 난이도, 능력모수 추정 방식 등을 종합적으로 고려해야 함을 시사하고 있다.

  There are three common item response theory (IRT) scoring methods: maximum likelihood estimation (MLE), maximum a posteriori (MAP), and expected a posteriori (EAP). Also, Thissen and Orladno (2001) suggested an EAP method based on summed scores rather than item response patterns. These four ability parameter estimation methods for the 3-parameter logistic model (3PLM) may provide different standard errors of ability estimation. This study first identified and illustrated the differences with three actual data sets. Then, the effects of the difficulty composition of test items on the standard errors were investigated through a simulation study. The MLE standard errors tended to change abruptly across ability levels, but the standard errors computed using Bayesian techniques such as MAP and EAP had undulating curves. The EAP method based on item response patterns seems to provide the most accurate ability estimation and the most stable standard error of estimation.