연구지원사업 표준점수 산정방식 개선 연구

A study on developing a method to merge reviewer's evaluations in research grant program

본 연구는 연구지원기관에서 발생하는 업무 중 연구과제 선정과정의 합리성과 선진성 확보를 위해 추진되었다. 연구지원과제의 심사 시 다수의 심사자의 점수를 종합하여 평균치를 산정하는 과정에서 평균보다 지나치게 높거나 낮은 점수를 배제하여 심사자의 편향된 정보를 최대한 줄이는 방식을 제안하고자 한다. 연구지원기관의 지원데이터를 활용한 시뮬레이션을 통해 최적안을 도출하고자 하였다. 또한 연구결과를 뒷받침하는 일반적인 통계이론을 소개하고, 선진연구지원기관인 NSF, NIH, AHRC 등의 연구지원사업 선정 방식에 대한 선행연구를 소개하여 본 연구 결과의 타당성을 검토하였다. 본 연구는 심사자의 연구지원과제별 평가점수의 평균값의 구간추정을 T분포를 이용하여 극단치를 제거한 후 평균을 계산하는 방식을 이용하여 기존의 방식을 개선한 것이다. 구체적으로 연구지원과제의 심사자 수에 따라 T분포의 구간추정계수를 결정하여 95% 신뢰구간으로 평균값을 추정하여 구간을 벗어난 심사자의 점수를 배제하는 원리이다. 또한 연구과제 선정에 있어서 동료평가의 의견을 최대한 수용한다는 기본 정책을 반영할 수 있는 제도적 보완장치를 심사패널의 건전성을 판단할 수 있는 구간(band)를 통해서 제시하였다. 이 방식은 통계적 극단치 제거 방식을 택하기 전 심사패널의 최대점수와 최소점수의 차이가 만점의 30%를 벗어나지 않을 경우 단순 산술평균을 내고, 벗어날 경우 T분포 95% 구간추정방법을 통해 극단치를 배제하는 것이다. 아울러 단순한 통계기법을 적용할 경우에 발생할 수 있는 예외의 경우에 대해서 정책적 판단의 방법을 제시하였다. 본 연구결과는 일반적인 통계기법이 연구지원의 틀에서 효과적으로 적용되는 과정을 실제 연구지원기관의 데이터를 바탕으로 검증한 것으로서 실용성이 큰 결과이다.

The goal of this study is to give a efficient and scientific system for evaluating grant proposals to research support organization. We suggest a new method to calculate reviewer's results on evaluating research grant proposals. We use a confidence interval estimation for deleting biased points (relatively too high, too low). We choose points from evaluators which are in the 95% confidence interval. Before applying confidence interval estimation method, we first calculate the difference of points between the highest and the lowest points of evaluators in the review panel. Now if the difference is less than 30% of a perfect score(for example, 100), we calculate just arithmetic mean of all reviewers' points. Otherwise we choose the confidence interval estimation method. This is a scientific approach to assess research grant proposals. We propose an innovative research grant supporting system and give a political decision process for a exceptional case from statistical result. KRF (Korea Research Foundation) is a representative governmental research funding agency of Korea like NSF (National Science Foundation) in USA. We give various examples for evaluating research grant proposal from other country. In fact, our result is a very efficient and suitable for Korea's situation.