면접평가자의 일치성

The Agreement of the Interviewers’ Assessments: Focused on the Track of General Transcripts of School Records in G University

이 연구는 G 대학교 학생부종합전형에 대한 면접평가자의 평가일치성을 다룬다. 우리는 G 대학교의 면접평가시스템의 일치성을 측정하고 이를 토대로 평가의 신뢰성을 향상시키기 위한 방안을 모색하고자 하였다. 이 연구에서 사용된 데이터는 2013-2015 년까지의 3개 학년도의 학생부종합전형을 위한 면접평가 데이터이다. 면접평가자들 간의 평가의 일치성을 측정하기 위해 채택한 일치성 측도들은 ICC(intraclass correlation coefficient), Kirippendorff의 alpha, 그리고 Kendall의 W이다. 이러한 측도들을 사용하여 평가의 일치성을 측정한 결과, ICC와 Krippendorff의 alpha에 대해서는 약 25%의 면접평가자 집단들이 낮은 일치성 집단으로 분류되었다. 반면에 Kendall의 W에 대해서는 1%의 미만의 면접평가자 집단들만이 낮은 일치성 집단들로 분류되었다. 이런 큰 차이는 ICC와 Krippendorff의 alpha가 평가점수들을 그대로 사용하여 일치성을 측정하는 것에 비해 Kendall의 W는 평가점수들의 순위를 이용하여 일치성을 측정하는 것에 기인하는 것으로 해석할 수 있다. 그리고 3개 연도에 대한 일치성 범주분포는 세 가지 측도 모두에 대해 통계적으로 유의한 차이가 없는 것으로 나타났다.

This study deals with the consistency of the interviewers’ assessments for the track of general transcripts of school records or admission officer system in G university. The purpose of this study was to measure the agreement of the interview assessment system of the track and to propose some suggestions to improve the reliability of the interview assessment system. The data used were the interview assessment data collected in the step 2 for that track for the years 2013-2015. The agreement measures adopted were ICC, Kirippendorff’s alpha, and Kendall’s W. For ICC and Krippendorff’s alpha, about 25% of the assessment groups were classified to the low agreement category, while for Kendall’s less tha 1% of groups were classified to that category. Such a big difference may be interpreted as both ICC and Kirippendorff’s alpha use the original assessment scores to measure the agreement of the assessments, while Kendall’s W use the ranks of the original assessment scores to measure the agreement of the assessments. And the categorical distributions of agreement for the three years were revealed not to be significantly different for all the three agreement measures.