대안적 교육정책평가 모델로서의 실재론적 평가(realist evaluation)

Realist evaluation as an alternative model for education policy evaluation: A ‘theoretical’ review for a “really useful” education policy evaluation

본 연구는 지방 분권화되는 교육현장에 “정말 쓸모 있는” 교육정책평가의 이론적 모델로서 실재론적 평가의 철학적 기반과 연구방법론을 논의하는 데 그 목적을 둔다. 먼저 실재론적 평가의 이론적 기반인 비판적 실재론의 독특한 세 가지 철학적 가정들을 논의하였다. 비판적 실재론은 1) ‘층화된 존재론’을 가정하여 숨겨진 메커니즘을 찾아 교육정책 평가에서 인과성을 설명하는 데 유용하다; 2) ‘복잡한 개방 체계’를 상정하여, 복잡한 교육 현실을 반영한 현실적합성을 띤 이론적 토대를 제공한다; 3) ‘상대주의적 인식론’을 바탕으로 (평가)지식을 지속적으로 축적할 수 있게 해준다. 다음으로 실재론적 평가의 연구방법론을 연구 문제, 연구의 목적, 연구 대상과 연구 절차를 중심으로 살펴보았다. 실재론적 평가의 독특한 연구방법론에 대한 이해를 도모하기 위해 2011년에 중앙정부에서 지방정부로 정책평가사업이 이양된 교육복지우선지원사업 평가연구(김광혁ㆍ임윤섭, 2015)를 실례로 들어 설명하였다. 실재론적 평가는 ‘무엇이 작동하는가? (혹은 작동하지 않는가?) 누구를 위해? 어떤 환경에서?’라는 기본 연구 질문으로 시작한다. 실재론적 평가는 이러한 연구 질문에 답하면서‘맥락-메커니즘-결과’로 구성된 프로그램 이론들을 개발하고, 이를 정책의 경험적 증거들과 비교분석하면서, 프로그램 이론들을 검증하고 다듬는다. 실재론적 평가의 목적은 프로그램 이론들을 축적하여 정책 투입으로 인해 왜, 어떻게 이러한 다양한 결과들이 발생하였는지 정책 개선에 실제적인 도움을 주는 ‘설명’을 제공하는 데 있다. 이는 기존의 교육정책평가가 정책개입이 ‘작동하였는가? 안하였는가?’란 연구 질문을 바탕으로 개별 교육정책프로그램의 성과 달성 여부를 ‘판단’하는 주류 평가모형과 차별된다. 마지막으로 대안적 교육정책평가 모델로서 실재론적 평가의 유용성과 이론적ㆍ실천적 제약을 논의하였다.

This article aimed to explore the realist evaluation in terms of its philosophical foundation and its methodology. It proposed the realist evaluation as a “really useful” theoretical and methodological model for education policy evaluation in the decentralization era. Firstly, three underlying assumptions of critical realism, the philosophical base of the realist evaluation, were discussed. They were stratified ontology, an open system of complexity and relative epistemology. Those philosophical hypotheses were useful as regards explaining the causation of the education policy evaluation, reflecting the complex educational fields, and accumulating the evaluation knowledge individually. Secondly, the methodology of the realist evaluation was examined. To promote the understanding of the realist evaluation methodology, Kim and Yoon(2005)’s evaluation study on Education Welfare Priority Policy was used as an illustrative case study. The basic research questions of the realist evaluation are ‘what works? for whom? in what circumstances? and how?’ To respond to this, realist evaluators formulate a programme theory, consisting of context-mechanism-outcomes. The aim of the realist evaluation is to generate, test and refine the programme theories by comparing the initial programme theories with the empirical policy evidences. This is distinguished from the mainstream education policy evaluation method: It asks ‘did it work? or not?’; its main purpose is to evaluate the intervention of an individual education policy programme. Lastly, this paper discussed the advantages and the constraints of the realist evaluation.