The Effect of IRT Scaling Methods on Group-Level Assessment of Year-to-Year Change

학교 또는 집단 수준에서 학업 성취의 연도별 변화 추이를 살펴보는 연구는 많은 관심을 끌고 있다. 학생들의 학업성취도를 문항반응이론(IRT) 척도를 사용하여 측정하고자 할 때, 척도변환 방법이나 동등화 방법을 바꾸면 연도별 성장률이 다르게 계산되어질 수 있다. 이 연구는 특정 조건에서 연도별 변화 추이를 산출하고자 할 때 가장 적합한 측정학적 방법을 모색하고자 비동등집단 공통문항 설계의 상황 하에서 컴퓨터 모의실험을 통하여 두 가지 IRT 척도화(scaling) 방법을 비교하였다. 첫째 IRT 척도변환 방법은 동형검사들의 문항모수를 개별적으로 추정(separate estimation) 한 후 Stocking-Lord 방법을 사용하여 능력척도를 변경시키는 절차를 포함하고, 둘째 방법은 이전 검사에서 사용된 공통문항의 모수를 고정시키고, 나머지 문항의 모수를 추정함으로써(fixed estimation) 공통척도로 변환을 이루는 절차를 포함하였다. 두 가지 IRT 척도화 방법 중 어떤 방법을 사용하였을 때 더욱 정확한 성장률을 산출하는지 실제 데이터에 기초한 학교 수준의 데이터를 모의 생성하였다. 연도별 성장률을 파악하기 위해 ‘기초수준 미달 비율의 변화’와 ‘연도 간 점수 차이’를 기준으로 사용하였다. 연구결과, 두 가지 척도화 방법은 기초수준 미달 비율과 연도 간 점수 차이 중 어떤 기준을 사용하느냐에 따라 다른 결과를 보였다.

There has been a great concern in measuring year-to-year performance changes for schools or school districts. Use of different IRT scaling and equating options might produce different or conflicting results in regard to school's yearly progress. This study aims to provide measurement practitioners with guidance in selecting a psychometric method that is most suitable to their particular situations. Assuming the common-item nonequivalent groups equating design, this study used computer simulations to investigate the performance of two IRT calibration/scaling procedures (fixed item parameter calibration vs. separate calibration by form followed by the Stocking-Lord linking method) for assessing group-level progress in a contrived linking and equating situation. The relative performance of the two IRT scaling procedures was investigated in terms of computing two growth indices: the percentage of students below standards and gain scores between two time points. The results showed that two growth indices did not show consistent patterns.