대규모 영어능력평가 시험에서 단위검사에 따른 국부의존성 검증 및 원인탐색

An Investigation of Local Item Dependence in Testlets in Large-Scale English Proficiency Test

한국인을 대상으로 대규모 영어능력평가시험 개발을 위한 예비검사를 실시하였으며 청해와 독해 영역의 단위검사(testlet)에서 국부의존성이 있는지 알아보고 하나의 지문에 서로 다른 하위능력(subskill)을 측정하는 문항들이 어떻게 국부의존성에 영향을 미치는지 분석하였다. 그 결과 대의 파악 - 세부내용 파악 그리고 대의 파악 - 추론의 하위능력을 평가하는 문항 짝(pair)에서 국부의존성이 나타나는 경향이 있었다. 또한 국부의존성에 대응할 수 있는 모형인 단위검사 문항반응이론(Testlet Item Response Theory)과 이인자 모형 (Bi-factor Model)에서 도출된 결과와 일반적인 문항반응이론(Item Response Theory)의 결과를 비교하였다. 변별도 추정에서 모형 간 차이가 명확히 나타난 반면 난이도와 피험자 능력 모수 추정에서는 차이가 크게 나타나지 않았다. 모형의 적합성(model fit)은 단위검사 문항 반응이론과 이인자 모형이 일반적인 문항반응이론 보다 더 좋게 나타났으며 통계적으로 유의하였다.

This study investigated whether local dependence exists among items in testlets within an English proficiency test for Koreans and analyzed how subskill item pairs affect local dependence. The results revealed a tendency for main idea - detail and main idea - inference subskill item pairs to show local item dependence. Furthermore, the results from two models that can address local dependence, namely, the Testlet Response Theory and the bi-factor model, were compared to the results from the item response theory. Although the difference between models was clear in the estimation of discrimination, the difference was not large in the estimation of difficulty. The model fit was better using Testlet Response Theory and bi-factor model compared to item response theory, and the difference in model fit was statistically significant.