A Between-School Design Approach in Multi-Site Evaluations of Programs Involving Eligibility Cutoffs

다층자료에서 자격조건에 따른 프로그램 배정 시 학교간 설계 방식을 활용한 인과 효과 추정

기초수준 미달 학생 지원 정책의 일환으로 도입된 학력 향상 중점학교와 같이 교육정책 혹은 지원 프로그램들을 배정하는데 있어 특정 수준 이상 또는 이하의 자격조건에 근거하는 경우가 많다. 이처럼 비실험연구 중에서도 자격조건을 결정하는 분할점을 기준으로 교육 프로그램이나 정책 수혜 대상을 선정하는 경우 이에 대한 인과효과 추정을 위한 유사 비교집단을 구성하는 데 어려움이 따른다. 본 연구는 이러한 상황에서 선정기준(예, 기초수준 미달 비율) 정보를 활용하여 분할점 주변의 비교집단을 활용하는 학교간 설계 및 분석 방법을 소개하고, 읽기에 어려움을 겪는 장애 아동을 대상으로 제공된 읽기 처지 프로그램 효과 분석 사례를 통해 학교간 설계ㆍ분석 방식의 유용성을 논의하였다. 아울러 이와 같은 비실험연구 상황에서의 인과효과 추정 시 프로그램 대상 목표 집단, 관심 모수치, 자격조건과 실제 참여 정도의 중요성을 강조하였다.

Assigning education services targeting certain subpopulations often involves eligibility cutoff points (e.g., School for Improvement policy). However, challenges arise in evaluating the causal effects of such programs, because there are insufficient comparable comparison groups due to the predetermined eligibility criteria. This study suggests a between-school design strategy entailing the use of control schools that just missed a school-level eligibility criterion. The basic idea is to attempt to approximate a cluster-randomized design for treatment and control schools by focusing on subsets of comparable schools close to the school-level cutoff point. Data from an evaluation of a reading intervention for elementary students with disabilities in a large school district were used for illustrative purposes. This study discusses an approach combing a design and analysis strategy based on an array of factors, including careful consideration of the target populations, the treatment effects of interest, the degree of the association between the eligibility criterion and actual participation.