검사 길이와 수행등급 개수에 따른 성취수준 분류 일관도 및 정확도 연구

The effects of test length and performance-level number on classification consistency and accuracy

이 연구의 주된 목적은 검사의 길이와 수행등급의 개수가 성취수준 분류의 일관도와 정확도에 미치는 영향을 파악하는 것이며, 이를 통하여 실제 학업성취도 시험에서 개별피험자에 대한 신뢰롭고 타당한 성취수준 분류를 위하여 필요한 검사 문항의 수와 등급의 개수에 대한 구체적인 정보를 얻고자 하였다. 이 연구에서는 먼저 2010년에 실시된 국가영어능력평가 예비시행 결과를 분석하기 위하여 가장 적절한 문항반응모형이 무엇인지를 탐색하였고, 그 결과 선택된 3모수 로지스틱 모형을 사용하여 실제 검사 자료를 통하여 추정된 문항 모수를 자료-생성 모수로 이용하는 모의실험 연구를 수행하였다. 이러한 시뮬레이션의 연구의 주 요인은 검사의 길이와 등급개수였다. 연구 결과, 두 요인 모두 분류 일관도와 정확도에 유의미한 영향을 미치는 것으로 나타났으며 검사의 길이가 길수록 그리고 성취수준 등급의 개수가 적을수록 보다 양호한 분류 결과를 얻을 수 있다는 것을 확인하였다.

The purpose of this study was to investigate the effects of the test length (number of test items) and the number of performance-levels (high, intermediate, low, etc.) on classification consistency and accuracy of an achievement test. It was expected to get data-driven evidence on how the test-item numbers and performance-level numbers affect the reliability and validity of the National English Ability Test (NEAT) mainly relating achievement-level classification. And it was anticipated to provide useful information for researchers and practitioners as regards their utility in this type of real situation. This study first compared the performance of three dichotomous item response models in order to select the best model for analyzing the data of NEAT field-test administered in 2010. After choosing one of them, a simulation study with various conditions was conducted. And the test length and performance-level number appeared to significantly influence the degrees of classification consistency and accuracy.