영어가 모국어가 아닌 학생용 영어 쓰기평가 연구

A Writing Audit of English Language Learners: Its Teacher-Rater Training and Rater Agreement Rates

본 연구는 영어가 모국어가 아닌 학생(ELL; English Language Learner)이 전체 학생의 절반을 차지하는 미국 T주 영어 쓰기평가를 다룬다. 채점자 선정 기준, 채점자 훈련, 쓰기 표본 수집 기준 등을 개관하며 실제 데이터 분석을 통하여 채점자 일치도를 구하였다. 미국 T주 ELL 학생 영어 쓰기평가는 해당 ELL 학생을 가르치는 학교 교사가 여러 영역에서 학생의 쓰기 표본을 수집하여 평가함으로써 실제 상황에서의 참평가(authentic assessment)를 구현하려한 점이 특징이었다. 쓰기평가에서 더 적합한 총체적(holistic) 채점 방식을 도입하였으므로 채점자 자격 요건과 훈련을 강조한 것, 그리고 3개년 간의 지속적인 감사(audit)를 통하여 채점자 일치도 증거를 수집하고 후속 연구와 훈련에 이를 이용하는 것 또한 배울만한 점이다. 채점자 자격 기준을 정하고, 채점자를 합당한 수준이 되도록 훈련시킴으로써 교사 채점 신뢰도를 상당 수준 높일 수 있었다. 학교 교사를 채점자로 훈련시키는 것은 교사 재교육, 그리고 교사 전문성 함양 차원에서도 권장할 만하다.

This study investigated the writing audit of ELL(English Language Learner) students in a state whose ELL students comprise a half of the total. The writing audit, as well as the usual ELL writing assessment, adopted a holistic rating approach. The state authorize teachers as raters through rater requirements and rater training courses. The qualified teacher-rater of an ELL student collected and rated writing samples of the ELL student in a variety of domains, which demonstrates an authentic assessment. The state department of education conducted a three-year audit for the writing assessment of 560 grades 2-12 ELL students, gathered acceptable, stable reliability evidences, and obtained writing samples for consequent teacher-rater training courses. The inter-rater agreement rates between teacher-rater and state-rater of the last audit ranged between 76% and 98%, depending on which agreement rate is referred to. These high agreement rates are encouraging, showing that teachers can be trained to be reliable holistic raters through proper rater training. Further study topics are addressed.