유럽 언어 공통기준 연계를 통한 영어 독해 시험의 수준설정

Standard Setting to Relate an English Reading Comprehension Test to the CEFR: A Comparison of Modified Angoff and Bookmark Methods

본 연구는 국내에서 개발된 대규모 영어 능력 시험에 포함된 독해 시험을 유럽 언어 공통기준(Common European Framework of Reference for Languages)의 읽기 척도와 연계하기 위해 전문가 패널을 구성하고 수정된 앙고프 방법과 북마크 방법을 이용하여 분할점수를 산출하였다. 유럽 언어 공통기준의 6개 능력 수준을 나누는 독해 시험의 분할점수를 산출하였고, 그 결과에 대해 내적, 외적, 절차적 준거에 따라 평가하여 타당성을 검토하였다. 수집된 점수의 분석 결과, 전문가 패널 구성원이 판단한 분할점수의 표준편차가 라운드를 거칠수록 작아지는 경향을 보였고, 수정된 앙고프 방법과 북마크 방법을 통해 얻은 분할점수 결과는 매우 유사했으며, 수준설정 이후 패널 구성원의 대다수가 최종 분할점수에 확신을 갖는다고 응답했다. 또한 대부분의 패널 구성원들이 수준설정 준비 및 진행과정, 설명이 명확하였고 판단을 내릴 때 도움이 되었다고 평가하였다.

The purpose of this study is to link a reading comprehension subtest in a large-scale English proficiency test to the Common European Framework of Reference for Languages(CEFR). A panel consisting of 13 members made judgments using the modified Angoff and bookmark methods. Based on these judgments, cut scores that divide test takers into the six levels of the CEFR were derived, and the validity of the cut scores was evaluated using internal, external, and procedural criteria. Analysis showed that the standard deviation of the judgments decreased across rounds; the cut scores derived from the two methods were similar; and almost all of the panel members expressed confidence in the final cut scores on the post-standard-setting survey. Furthermore, most panel members responded that they found the preparation materials, the standard setting process, and the facilitators’ explanations to be clear and helpful when making judgments.