A Comparison of MCMC and MMLE/EM Algorithms for Fixed Item Parameter Calibration

고정문항모수추정법 실시를 위한 MCMC와 MMLE/EM 알고리즘 비교 연구

본 연구의 주된 목적은 고정문항모수추정 방법으로 두 개의 검사 문항들의 모수 추정치를 연결하고자 할 때 MCMC와 MMLE/EM 알고리즘의 수행 결과를 비교하는 것이다. 다양한 조건을 포함하는 시뮬레이션 연구를 통하여, 표본 크기, 공통 문항 수, 능력 분포에 따른 두 방법의 문항모수 연계 결과를 비교하고, 두 방법의 RMSE 평균값 차이가 유의미한지를 확인하였다. 표본크기가 증가함에 따라서 MCMC와 MMLE/EM 알고리즘 모두 더 좋은 수행력을 보였다. 또한 공통문항의 수가 증가함에 따라서 MCMC와 MMLE/EM 알고리즘 모두 더 좋은 문항모수 연계 결과를 산출하였으며, 두 방법의 결과 또한 유사했다. 주어진 세 가지 능력분포 조건 모두에서 두 방법이 유사한 결과를 산출했으므로 능력분포에 따른 차이는 미미했다고 볼 수 있다. 마지막으로 각 조건별로 RMSE 값의 차이가 유의미한지 검증하기 위한 t 검증의 결과, 일부 조건에서 변별도 모수나 곤란도 모수 등에 유의미한 차이를 보였다. 두 추정 방법의 고정문항모수 추정 결과에서 전반적으로 큰 차이가 없음을 발견함으로써, MMLE/EM 알고리즘이 적용되기 어려운 상황에서 MCMC를 사용하여 두 검사 문항 추정치의 연계를 보다 쉽게 수행할 수 있을 것으로 기대된다.

Under item response theory, there are several procedures commonly used for item parameter linking such as separate calibration with linking, concurrent calibration, and fixed item parameter calibration. Recently, the FIPC method has been identified to provide as accurate linking results as the other procedures. The main goal of this study is to compare the performances of MCMC and MMLE/EM algorithms when they are used for the purpose of conducting the FIPC. In a simulation study, comparisons among the two algorithms suggested that the results of FIPC were dependent to some extent on the particular conditions simulated. Overall, however, they appeared to provide very similar results of item-parameter linking. Considering there is an increasing use of MCMC algorithm in IRT, it will be meaningful and valuable to investigate the usefulness of MCMC algorithm for FIPC because the same application can be easily extended to much more complicated situations where the MMLE/EM algorithm is very difficult to apply.