프로그램 논리중심의 평가적용: TALENT 프로젝트의 사례를 중심으로

Application of theory-based evaluation: A case study of TALENT project

프로그램 논리중심의 평가는 프로그램의 투입과 산출사이의 인과관계를 체계적으로 분석하려는 평가모형으로 프로그램에 내재하여 작동하고 있는 논리를 분석하는데 초점을 맞추고 있다. 이 모형은 측정 가능한 행동목표를 정하고 이의 도달정도를 평가하는 전통적인 평가방법(예: 타일러 모형)에 대한 대안적인 접근으로 프로그램의 투입과 산출 사이의 단순관계를 점검하기 보다는 프로그램이 작동하는 맥락적 정보 분석에 무게 중심을 둔다. 그러나 프로그램 논리중심의 평가에 대한 이론적인 논의가 꾸준히 이어져 왔음에도 실제 프로그램 평가에 적용된 사례들은 많지 않다. 본 논문은 사례연구 결과로 교사교육의 개선을 목표로 하는 TALENT 프로젝트의 평가에 프로그램 논리중심의 평가를 적용한 연구자의 경험을 담고 있다. 이 분석을 통해 프로그램 논리에 입각한 평가가 어떻게 디자인되고 활용되었는가를 논의하였고 평가과정에서 나타난 시행착오를 분석하여 프로그램 논리중심의 평가를 둘러싼 이론적이고도 실제적인 문제해결의 방향을 탐색하였다. 더불어 향후 프로그램 논리에 입각한 평가개발에 대한 시사점도 논의하였다.

Theory-based evaluation is an evaluation model emphasizing the systemic analysis of causal relationship between program inputs and outputs. The main idea behind this model focuses on analyzing program logic embedded in the program. This model is an alternative approach to the traditional evaluation model (e.g., Tylerian approach) evaluating the accomplishment of measurable objectives. In the theory-based evaluation, instead of investigating simple relationship between inputs and outputs, more contextual information of program implementation is important for the evaluation. However, in spite of the long history of discussion about the theory-based evaluation, there are not many evaluation studies utilizing the model. The is a case study analyzing the researcher's experience evaluated an innovative teacher education program titled TALENT(Teaching and Learning with Evolving and New Technologies) project. Through the analysis, the researcher tried to discuss how a theory-based evaluation approach was designed and utilized. Additionally, by analyzing the trial and error of the application of theory-based evaluation, it was also explored how to solve theoretical and practical problems in the situation of theory-based evaluation. Implications for the future of theory-based evaluation was also discussed.