학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도 검증

Examining the Rater Reliability of a Writing Performance Assessment in Korean as a Second Language(KSL) for Academic Purposes: A Many-facet Rasch Model Analysis

본 연구는 다국면 Rasch 모형을 활용하여 학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도를 검증하는 데 목적을 둔다. 이때 신뢰도의 차원을 채점자 간 신뢰도, 채점자 내 신뢰도 그리고 점수단계 변별도로 나누어 채점자 신뢰도를 다각도로 점검해보았다. 첫째, 채점자 간 신뢰도 분석 결과, 개별 채점자의 엄격도에 일관된 차이가 있는 것으로 확인되었다. 둘째, 모든 채점자의 내적합 평균 제곱이 적합 범위 안에 속하는바, 채점자 내 신뢰도에는 큰 문제가 없는 것으로 나타났다. 마지막으로, 점수단계 변별도 분석 결과, 내용, 짜임새 및 어휘 준거는 모든 점수단계가 비교적 잘 변별되고 있는 반면, 문장구조와 문체 및 맞춤법 준거는 중간 점수단계의 변별에 문제를 드러냈다. 본 연구는 다국면 Rasch 모형을 사용하여 학문 목적 한국어 쓰기 수행 평가의 채점자 신뢰도를 채점자 내·간 신뢰도의 차원으로 구분하여 검증한 최초의 시도로서 의의가 높다. 아울러 다국면 Rasch 모형 분석 결과를 학문 목적 한국어 쓰기 수행 평가 개발과 채점자 훈련을 위한 기초자료로 활용하고자 하는 한국어 교육·평가 전문가들에게도 유용한 시사점을 제공할 것으로 기대된다.

The present study aimed at examining the rater reliability of a writing performance assessment in Korean as a second language (KSL) for academic purposes employing many-facet Rasch model (MFRM). Five raters, who were teachers of KSL for academic purposes, were asked to award scores to 30 examinee scripts using the rating scale with 5 criteria and 6 score-bands. To investigate the rater reliability of the assessment, the present study conducted a MFRM analysis utilizing FACETS program. Results revealed that raters (1) varied consistently in their severity with which they scored examinees; (2) showed fair consistency in their overall ratings; and (3) had difficulty discriminating examinees when rating on the criteria related to linguistic features in written products such as Sentence Structure & Styles and Mechanics. These findings have implications for developing and improving analytic rating scales for writing performance assessments in KSL for academic purposes, and building baseline data for rater training.