커널동등화 방법 고찰 및 점수동등화 비교 연구

A Study of Kernel Equating and Comparison of Score Equating

시험 난이도가 다른 각각의 시험들로부터 얻은 점수를 비교하여 공정하게 평가하기 위해서 시험의 원점수를 공통적인 척도로 변환하는 것을 점수동등화라고 한다. 시험점수의 공정성을 확보하기 위해서 다양한 점수동등화 방법을 연구해왔으며, 가장 일반적인 방법으로는 표준점수와 백분위점수가 있다. 하지만 표준점수와 백분위점수의 공정성에 대한 문제가 대두되었고 이에 대한 대안으로 커널 추정을 이용한 비모수적인 점수동등화 방법이 개발되었다. 본 논문에서는 표준점수, 백분위점수와 커널동등화점수를 공정성의 관점에서 비교하였다. 시험의 난이도를 고려하여 여러 모의 자료를 생성하고, 점수동등화 방법 간 공정성을 확인하였다. 여러 가지 실험설계에 따라 공정한 점수동등화 방법을 구분하고, 각 점수동등화의 한계를 확인하여 특정 조건 하에서 최선의 점수동등화 방법 선택을 위한 비교를 실시하였다. 결과로, 커널동등화점수는 다양한 난이도의 실험설계에서 안정성 수치를 나타내고 이 관점에서는 공정성 있는 점수동등화 방법이라고 할 수 있다.

Score equating is to transform test scores for the homogeneity of tests with different difficulty levels. To achieve fairness, equating of various test scores has been studied. The standardized score and percentile rank score, which are natural and general, have been employed popularly. However, they are problematic in achieving fairness. As an alternative, nonparametric score equating with kernel estimation was developed. In this paper, standardized, percentile rank, and kernel score equating procedures were compared in term of fairness. Accounting for difficulty levels, various simulation data sets were generated and the fairness of score equating procedures was compared. Fair score equating procedures are classified according to various experimental designs. In addition, their limitations are identified and the best procedure was chosen under the specific conditions. The kernel equating had the stable numbers in the experiments with various difficulty levels, hence, we can conclude that it is a fair equating method.