표본 수와 사전정보의 정확도 수준이 베이지안 IRT 동등화에 미치는 영향

Effects of sample size and precision level of prior distribution on the Bayesian IRT equating

기존의 문항반응이론 방식으로는 모수 추정과 동등화가 불가능할 정도의 표본 크기에서도 동등화의 가교 역할을 할 문항들의 모수 추정치를 확보하고 있을 때, 베이지안 IRT 동등화가 효과를 발휘할 수 있는지를 알아보려는 목적으로 이 연구가 수행되었다. 36개의 채점 문항들에는 모든 응시자가 반응하고 8개의 가교 문항들은 두 구획으로 나뉘어 반반씩 응답하게 한 양분 문항들로 구성된 국가영어능력평가(1급) 읽기능력시험 4차 모의평가 검사 자료를 사용했다. 표본 크기를 700명 또는 200명으로 줄이는 대신, 사전 정보의 정확도 수준을 최하 10부터 최고 1,000까지 높이면서 고정상위모수(Fixed Hyper-Parameters)방식으로 WinBUGS를 통해 모수를 추정하고 동등화 했다. 그 결과, 표본 크기가 매우 작음에도 불구하고 가교 문항 모수치간 상관이 거의 1.0에 가까웠다. 특성곡선전환 방식의 동등화와 베이지안 방식의 동등화는 동등 점수뿐만 동등화 관계를 볼 때에도 서로 달랐으나, 베이지안 방식들 간에는 표본 크기가 작아져도 정확도 수준을 높이면 서로 큰 차이가 없었다. 평균자승편차제곱근이나 적률 보존 상태를 보더라도, 베이지안 IRT 동등화는 표본 크기가 작을 때에도 사전 정보의 정확도를 높임으로써 효과적으로 동등화가 이루어질 수 있음을 알 수 있었다. 사전 정보를 지정하는 다른 위계적 사전 정보 방식 들이 사용될 경우에 어떤 결과가 기대되는지 등의 후속 연구를 제언하기도 했다.

This study was performed to verify effects of sample size and precision levels of prior distribution on the Bayesian IRT equating in small sample data, when the anchor item parameter estimates were properly prepared in advance. Reading Comprehension sub-test of the National English Ability Test(1st) composed of 36 scoring items and 8 anchor items was analysed for this study. The Bayesian IRT equating was performed by running the WinBUGS with the Fixed Hyper-Parameter Prior, changing precision levels according to the sample size. The correlation between anchor item parameters estimated from different data of different sample sizes and precision levels was almost of 1.0. The equivalent scores from traditional IRT equating and those of Bayesian equating was a little bit different, but among those of Bayesian equating were not different from each other. Similar results were found in the tables of RMSD(root mean squared difference) and moments preservation. The Bayesian IRT equating was performed well in small sample data, when the Fixed Hyper-Parameter Priors was used with properly changing the precision level. A further research of Bayesian IRT equating utilizing more sophisticated hierarchical prior method was suggested.