베이지안 문항반응이론 동등화에서 상위 사전정보 부여 방식들의 효과성 비교

Modeling hyper-priors for Bayesian IRT equating: Fixed hyper-parameters or Hierarchical hyper-priors

채점되는 문항들에는 모든 피험자가 응답하게 하되 가교 문항들은 여러 구획에 나누어 배치되는 검사 설계에서 베이지안 IRT 동등화의 상위 사전 정보를 부여하는 방식들 간 효과성을 확인하고자 본 연구가 수행되었다. 비 동등 집단 가교 검사 설계로 수집된 국가수준학업성취도평가 고1 영어의 1,600명 검사 자료를 8개 구획의 행렬 표집 설계로 변형해서 사용했다. 문항 변별도와 난이도 모수의 상위 사전 정보를 특정 값으로 부여하는 방식과 어떤 확률 분포를 가정하는 방식 간 효과의 차이를 알아보고자 했다. 상위 모수 고정 방식은 일정 수준의 정밀도까지 동등화 결과가 개선되었지만 정밀도가 너무 높으면 오히려 베이지안 동등화의 근간을 흔드는 부작용이 생겼다. 위계적 상위 사전 정보 방식은 분산에 관한 매우 평범한 분포를 가정했을 때 가장 양호한 동등화 결과를 보였다. 이러한 연구 결과가 선행 모의 연구 결과들과 합치되는 또는 상충되는 점들을 논의했다.

This study was conducted to identify the effectiveness of the methods of modeling hyper priors for the Bayesian IRT equating in the common plus matrix-sampled anchor items design. For the purpose of this research, the original data from the Korea National Assessment of Educational Achievement English test for the 1st grade high school students collected by the design of non-equivalent group anchor test was modified to the design of common plus matrix-sampled anchor items. The objective of this study was to examine the differential effectiveness between the fixed hyper-parameters methods and hierarchical hyper-priors methods. The fixed hyper-parameters methods have improved the equating results to a certain level of precision, but if the precision was too high, they had a side effect that shakes the basis of Bayesian IRT equating. The hierarchical hyper priors method showd the best equating results when assuming a very ordinary distribution of variance. I discussed that these findings do not conflict with the simulated research findings.