정량지표의 정규화 작업에 따른 순위 역전 현상과 해결방안

Rank Reversal Phenomenon According to Normalization Methods in Quantitative Data

국내·외적으로 발표되는 대학순위는 그 영향력이 매우 크지만 순위를 결정짓는 평가지표와 가중치 그리고 점수 산출방법에 대한 학문적 연구는 미흡한 실정이다. 최근에 다기준 의사결정 방법을 적용하여 대학 순위를 결정하는 연구가 진행되고 있으나 그 결과에 대한 타당성을 입증해 보이지 못하고 있다. 따라서 본 연구는 순위 역전이 발생하는 비율을 타당성 척도로 보고 이 비율이 낮게 나타나는 대학 순위 평가모형의 개발을 목적으로 진행하였다. TOPSIS와 VIKOR을 대학 순위 결정 문제에 적용해 보았고 이들의 장점을 살려 새로운 평가모형을 개발하였다. 영국 CUG에서 발표한 자료를 이용하여 본 연구에서 개발한 평가모형으로 전체 대학의 순위를 구했고, 이상점이 있는 대학을 제외한 경우와 일부 대학만을 임의로 선택한 경우에 대해서도 순위를 구했다. TOPSIS와 VIKOR 그리고 z-변형 모형으로도 위의 세 가지 경우에 대해 순위를 구하였다. 본 연구에서 개발한 평가모형으로 구한 순위에서 TOPSIS와 VIKOR로 구한 순위보다 순위 역전 현상이 덜 발생한다는 사실을 발견하였다. 본 연구에서 개발한 평가모형은 기존의 대학 순위 평가에서 많이 사용하는 z-변형 정규화를 대체할 수 있을 것으로 기대한다.

College and university rankings are conducted by various organizations using various combinations of multiple factors. Recently, the multi-criteria decision making methods, such as TOPIS and VIKOR, have been used to calculate the rankings, but the validity of those methods are still in question. The current study focused on the rank reversal phenomenon, which occurs when the number of universities in consideration is different. This study aimed to develop a new method that reduces the rank reversal phenomenon prevalent in multi-criteria decision problems. Specifically, we modified TOPSIS by using a linear normalization instead of a vector normalization. Using the published data in the Complete University Guide 2017, we calculated university rankings by applying TOPSIS, VIKOR, z-transform, and modified TOPSIS developed in this study. These four methods were used to obtain the rankings considering the following two cases: when only the outliers were removed from the data and when 30 universities were randomly selected from the data. The modified TOPSIS showed less rank reversal compared to TOPSIS and VIKOR in both cases. The results suggest that the modified TOPSIS could be a substitute for the z-transform, which is a method currently widely used in the university ranking calculation.