국내 메타분석 연구에서의 효과크기 계산의 정확도 비교

Accuracy Comparison of Effect Size Calculation Methods in Meta-analysis

메타분석은 개별연구의 효과크기를 결합하여 특정 프로그램의 효과를 실증적으로 입증하기 위한 방법이다. 비동등 두 집단 비교를 위한 사전/사후 연구 설계에서 메타분석을 위한 개별연구의 효과크기는 두 집단의 평균 차를 모 표준편차의 추정치인 합동표본표준편차로 나눈 Cohen’sd 또는 Hedges’ g가 일반적으로 많이 사용되고 있다. 국내 메타분석연구를 살펴보면 효과크기를 구하는 방법이 매우 다양하게 보고되고 있는 실정이다. 본 연구의 목적은 효과크기 계산을 위한 표준 방법을 제시하고, 국내 메타분석에서 여타 방법으로 효과크기를 계산하는 다섯 종류의 효과크기 사례를 보고하고 표준 방법으로 구한 효과크기와 비교하는 것이다. 모의실험 결과 국내 메타분석연구에서 보고되고 있는 방법으로 효과크기를 구할 경우 평균적으로 2.6%~68.7% 정도 과대 추정하고 있는 것으로 나타났다.

Meta-analysis is to verify the effect of a specific prevention program or treatment by combining effect sizes from individual studies. Cohen’s d is widely used to calculate effect size in meta-analysis with non-equivalent two groups pretest-posttest research design. Standardized mean difference, which is the mean difference of posttest and pretest change scores divided by the pooled within sample estimate of the population standard deviation, is recommended as the standard for the effect size calculation. However, there are various types of effect size calculation methods in Korean journals. Five types of effect size calculation methods are compared with the standard method to calculate Cohen’s d through simulations. Sample size, mean difference, correlation coefficients of pre/post scores, and sample variance for experimental group are set for the simulation, and means of ratio of five types of effect size to standard effect size are calculated to compare accuracy of various types of effect size calculation methods. It is found that five types of effect size calculation methods generally 2.6%~68.7% overestimate the standard effect size.