정책평가의 공정성 제고를 위한 잡음 통제전략 연구 - 청렴노력도 정성평가를 중심으로

A Study on Noise-Reduction Strategies to Enhance Fairness in Policy Evaluation : Focusing on the Qualitative Assessment of Integrity Effort

이 연구는 반부패 정책평가의 공정성 제고를 위한 방안으로, 행동경제학이 최근 확장한 잡음 통제에 대한 이론을 도입한 연구이다. 행동경제학의 기성 연구가 인간의 판단과 선택에 나타나는 비합리성의 원인을 휴리스틱스와 편향으로 제시해 온 행동경제학은 잡음을 확장된 개념으로 제시하고 있다. 잡음 이론은 생각보다 많은 곳에서 잡음이 발견되고, 잡음이 측정될 수 있고, 측정할 수 있다면 통제가 가능하다는 것으로 확장되었다. 이 연구는 아직은 보건의료 분야와 채용분야에서의 연구를 중심으로 진행된 잡음 이론을 정책평가, 특히 대표적인 반부패 청렴정책인 청렴도 정성평가를 중심으로 탐색하는 것을 목적으로 이루어졌다. 이 연구는 공공정책의 평가에서 잡음이 존재하는지, 정책평가에서 발생하는 잡음의 양상과 규모는 어느 정도인지, 또 이러한 잡음을 통제하기 위한 방안은 무엇인지 이론적 탐색과 함께 실험 연구를 통해 검증하고자 하였다. 정성평가와 유사한 환경에서 진행된 실험을 통해 전문가 평가점수의 사분위수를 산출한 결과, 모든 사례에서 잡음이 측정되었다. 또한 집단별 잡음 비교를 통해 전업 연구진과 경력이 많은 연구진이 비전업 연구진이나 경력이 짧은 연구진에 비해 잡음이 낮다는 것을 발견하였다. 또한 이러한 잡음의 양상을 통해 반부패 정책평가에서 활용할 수 있는 잡음통제 전략을 제시할 수 있었다. 먼저 잡음 통제에 앞서 잡음의 존재와 양상을 분석하는 잡음 감사가 중요하다는 점을 강조하였고, 잡음 통제전략으로 독립적 판단의 결합, 판단 지침 마련, 과정의 구조화, 정보의 순서 통제, 경험의 척도화를 제시하였다. 이 연구는 행동경제학의 최근 연구를 국내 정책평가 영역에 반영한 연구라는 점에서 의의가 있다. 특히 행동경제학 실험 연구를 통해 행동경제학의 확장된 이론을 확인할 수 있었다는 것은 큰 성과라 할 수 있다. 향후 정책평가에 작동하는 편향을 파악하고, 편향과 잡음이 함께 작동할 때의 양상을 종합적으로 분석하는 실험 연구로 확장해 정책평가의 공정성 제고를 위한 전략 개발에 기여하는 것이 이 연구의 향후 과제라고 할 수 있다.

This study introduces the recently expanded theory of noise control from behavioral economics as a strategy to enhance fairness in anti-corruption policy evaluations. While traditional behavioral economics has focused on heuristics and biases as sources of judgmental errors, recent research conceptualizes noise as a distinct and equally critical source of error. The purpose of this study is to explore the applicability of noise theory to the field of policy evaluation. Focusing on the Qualitative Assessment of Integrity Effort, the study investigates whether noise exists in qualitative evaluations, what forms and magnitudes it takes, and how it might be controlled. Both theoretical analysis and experimental methods were employed. The experiment showed that noise, measured using quartile-based dispersion, was present in all cases. Group-level comparisons further revealed that evaluators with greater experience and domain expertise exhibited lower levels of noise. These empirical patterns enabled the identification of several noise-reduction strategies applicable to anti-corruption policy evaluations. The findings underscore the importance of conducting a noise audit to identify the presence and patterns of noise. Based on the empirical findings, it proposes several control strategies: aggregating independent judgments, establishing judgment guidelines, structuring the evaluation process, controlling the sequencing of information, and scaling experiential inputs. This study makes a contribution by incorporating recent advances in behavioral economics into the Korean policy-evaluation context and by empirically validating the expanded theory of noise through experimental methods. Future research should extend this work by analyzing how biases and noise operate jointly in policy evaluations, thereby developing strategies that enhance the fairness of evaluation processes.