A Comparison of Parameter Recovery in Multilevel Modeling Estimation: Maximum Likelihood versus Bayesian Estimation

이 연구에서는 최대우도와 베이지안 추정방법 선택에 따른 다층모형의 모수 추정에 미치는 영향을 비교하고자 High School and Beyond(HS&B) 자료를 이용한 연구와 모의실험연구를 실시하였다. 구체적으로, 다층모형 추정의 정확성을 검사하기 위해서 반화최소자승법(iterative generalized least squares, 이하 IGLS), 제한반화최소자승법(restricted iterative generalized least squares, 이하 RIGLS)과 Markov chain Monte Carlo(이하 MCMC) 세 추정 방법이 사용되었다. 추가적으로, 두 가지 베이지안 점 추정값인 MCMC 사후 평균값과, MCMC사후 중간값이 비교되었다: HS&B자료 분석결과, 고정효과와 1수준 분산추정의 결과는 매우 비슷하게 나타났으나, 2수준 분산의 경우 MCMC 사후평균 추정값이 IGLS 또는 RIGLS값보다 약간 크게 추정되었다. 모든 실험결과에서도, 모든조건에서 고정효과와 1수준 분산의 추정에서는 상대편의가 나타나지 않았다. 그러나 IGLS 추정방법을 적용하였을 경우, 2수준 표본크기가 50미만인 조건에서 2수준 분산이 작게 추정되는 상대편의가 발생하였다. MCMC 사후 평균값을 적용하였을 경우, 2수준 표본크기가 30 미만인 조건에서, 2수준분산이 크게 추정되는 상대편의가 발생되었다. 모든 조건에서, IGLS와 RIGLS 추정방법을 적용하였을 경우, 신뢰구간이 명목수준 (95%) 보다 낮은 것으로 나타났다. 그러나, MCMC적용한 경우, 신뢰구간은 명목수준인 95%보다 약간 높은 것으로 나타났다.

This study was designed to compare the parameter recovery between maximum likelihood and Bayesian estimation in multilevel modeling using the High School and Beyond (HS&B) Survey and simulated data. Specifically, maximum likelihood estimation via iterated generalized least squares (IGLS) and restricted iterated generalized least squares (RIGLS), and Bayesian estimation via the Markov chain Monte Carlo (MCMC) were used to test the accuracy of multilevel modeling parameter estimation. Additionally, two Bayes point estimates were compared: the MCMC posterior mean and the MCMC posterior median. In the HS&B data study, no substantial differences were found in fixed effect or level one variance component estimates across the three estimation methods. The MCMC posterior mean estimate, however, led to a larger level two variance component estimate compared that of IGLS and RIGLS. Similarly, in simulation study, no substantial relative bias was found for fixed effect and level one variance component across all conditions. With IGLS, however, level two variance component estimates were substantially under-estimated in the conditions of <=50 level two units. With MCMC posterior mean approach, level two variance component estimates were substantially over-estimated in the conditions of <= 30 level two units. Across all conditions, coverage rates of confidence intervals for the fixed effect and random variance component estimates with IGLS and RIGLS were less than the nominal rates (i.e., 95%). However, credible interval coverage rates with MCMC were slightly higher than the nominal rates across all conditions.