교육학 연구에서 ANCOVA에 대한 오해와 오용

Misunderstandings and mis-applications on ANCOVA in educational studies

오랜 기간 널리 쓰여 온 통계 방법임에도 불구하고 ANCOVA(공분산분석)에 대한 여러 오해가 아직도 만연한 편이다. 본 논문에서는『열린교육연구』와『학습자 중심교과교육연구』에 수록된 논문 중 사전·사후검사를 이용하는 실험설계에 국한하여 ANCOVA 적용 실태를 분석하였다. 많은 ANCOVA 논문들이 정규성 등분산성 기울기 동일성 공변수 범위 등의 ANCOVA의 통계적 가정을 제대로 확인하지 않는 것으로 드러났다. 대부분의 논문들이 다중비교 시 통계적 조정을 하지 않았으며 집단 간 효과크기 또한 보고하지 않았다. 본 연구는 미국 WWC(What Works Clearinghouse)의 논문 분류 기준을 ANCOVA 연구로 연결시켜 교육학 연구에서의 ANCOVA 적용 시 시사점을 유도하고 ANCOVA 관련 오해와 ANCOVA 적용 시 유의 사항 또한 고찰하였다. 마지막으로 본 논문에서는 초·중등학교 학생들을 대상으로 하는 학교 교육 연구에서 ANCOVA의 상대적인 대안이 될 수 있는 통계 방법에 대하여도 탐색하였다

ANCOVA has been such a popular statistical method in educational studies. However there have been wide-spread misunderstandings and mis-applications on ANCOVA which this study attempts to clear. Particularly this study applied WWC(What Works Clearinghouse) standards to the ANCOVA practice. ANCOVA studies in the Journal of Learner-Centered Curriculum and Instruction and the Journal of Yeolin Education were reviewed in this paper delimiting to pretest-posttest experimental design contexts. Most of them were found to be short of statistical assumption checking such as normality equal variance equal slope and similar covariate values. Furthermore correction of the statistical significance with multiple tests was ignored and effect sizes were not reported in many ANCOVA papers reviewed in this study. Other statistical methods were explored as comparative alternatives in studies of elementary and secondary school students at a school setting.