가교검사유형에 따른 문항반응이론 척도변환 결과의 정확성 비교

A comparison of the accuracy of IRT scale transformation using different types of anchor tests

검사의 보안 문제 등으로 인해 한 검사에 대해 여러 종류의 검사 형을 개발하여 사용할 경우, 검사 형들의 점수를 타당하게 비교하기 위해서는 통계적인 조정 과정인 동등화가 시행되어야 한다. 문항반응이론 모형은 능력 및 문항 모수 척도가 특정 값으로 결정되지 않는 척도의 비결정성이라는 성질을 갖기 때문에 문항반응이론 동등화를 시행할 경우에는 척도변환 과정을 거쳐야 한다. 이 연구에서는 이분문항검사에서 가교검사유형에 따른 문항반응이론 척도변환 결과의 정확성을 척도변환 방법 및 피험자 수와 함께 비교하였다. 연구 결과, 가교검사유형이 미디 가교검사일 때 가장 작은 오차를 산출하였으며, 그 다음으로 준미디 가교검사, 축소판 가교검사의 순서로 나타났다. 이러한 결과는 현실적으로 축소판 가교검사를 구성하기 어려운 경우에 전체 검사보다 좁은 범위의 난이도 분포를 가지는 미디 가교검사를 제작하는 것이 타당할 수 있음을 보여주는 것이라고 해석할 수 있다. 또한 동시추정방법이 분리추정방법보다 더 정확한 것으로 나타났고, 피험자 수가 많을 때 더 작은 오차를 산출하는 것으로 나타났다.

Equating is a statistical process to make scores of different test forms to be used interchangeably. When item response theory(IRT) equating is implemented for this purpose, the scale transformation should be considered to solve an issue of indeterminacy of the IRT scale. The purpose of this study was to compare results of IRT scale transformation using different types of anchor tests considering the effects of scale transformation methods and sample sizes at the same time. Types of anchor tests were defined in this study as mini, semi-midi, and midi anchor tests based upon the distributions of difficulty parameters. Sample sizes were 500 and 3,000, and the Stocking-Lord method and a concurrent calibration procedure were used as the IRT scale transformation methods. Three criteria were based upon item characteristic curves that Hanson and Béguin(2002) used. Based upon the results of this study, we found a midi test tended to produce more accurate results in scale transformation than did other anchor tests. Also, as expected, the IRT scale transformation errors were smaller for the 3,000 than for the 500 in all cases manipulated in this study. The concurrent calibration in IRT scale transformation showed the smaller errors than did the Stocking-Lord method, that confirmed the results of most previous studies comparing these two methods.