사전-사후검사 자료의 차이점수 분석에서 인과적 가정의 위배 탐지 및 추정치 교정

Detection of and Correction for Violation of the Common Trend Assumption in Gain Score Analysis

무선할당을 적용하기 어려운 교육연구에서 연구자들은 흔히 집단별로 사전점수와 사후점수를 측정하는 유사실험설계를 활용한다. 공분산분석(ANCOVA)과 차이점수 분석법(gain score analysis)은 이러한 사전-사후검사 자료를 분석하는 대표적인 두 가지 통계적 접근이다. 사전점수를 일종의 통제변수로 활용하는 공분산분석 접근이 ‘숨어 있는 교란변수가 존재하지 않는다’는 가정을 요구함에 반해, 차이점수 분석법은 교란변수가 존재함에도 불구하고 타당한 인과효과를 추정할 수 있다는 이론적 장점이 있다. 물론, 이러한 가능성은 차이점수 분석법에서 요구하는 인과적 가정의 타당성에 의존한다. 공통추세 가정은 ‘존재하는 교란변수가 사전점수와 사후점수에 미치는 영향력이 동일하다’고 해석할 수 있는 내용으로, 차이점수 분석결과에 대한 인과적 해석의 타당성을 결정하는 핵심가정이다. 반사실적(counterfactual) 진술에 의존하는 공통추세 가정은 본질적으로 그 경험적 검증이 불가능하기에, 연구자들은 그 타당성과 경험적 정당화에 대해 소극적인 태도를 취해 왔다. 본 연구에서는 공통추세 가정의 위배를 경험적으로 확인하기 위해 추가적으로 필요한 조건들을 논의하고, 이를 통해 차이점수 분석 추정치를 교정하여 타당한 인과효과를 추정할 수 있는 이론적 접근을 개발한다.

Gain score analysis or difference-in-differences allows researchers to identify valid causal effects even in the presence of unmeasured confounding. This identification hinges on its own unique assumption referred to as the common trend assumption. The assumption requires that the impacts of the confounding variables on the pre- and posttest scores are identical. Despite the importance, however, researchers have no way to empirically evaluate the assumption and, thus, have not well discussed or justified its plausibility in their research. This paper makes two contributions. First, the paper introduces a novel strategy that uses an additional variable that helps one to test the plausibility of the common trend assumption. Second, the papers develops a formal gain score analysis that corrects the violation of the common trend assumption and returns unbiased causal effects even though the common trend assumption is violated. The proposed approaches are illustrated by real data analysis.