대규모 준거참조평가에서 성취수준의 분류 일치도와 정확도 분석

Classification consistency and accuracy on the National Assessment of Educational Achievement

이 연구는 우리나라의 대표적 대규모 준거참조평가인 국가수준 학업성취도 평가의 성취수준 분류에 대한 일치도와 정확도를 분석하였다. 초·중·고등학생들의 교과별 성취 수준은, 변형된 앙고프 방법을 활용하여 설정된 세 개의 분할점수를 기준으로 우수학력, 보통학력, 기초학력, 기초학력미달의 네 수준으로 분류된다. 베타-이항분포, 문항반응이론, 일반화가능도이론 등의 세 가지 방법을 적용하여 성취수준 분류의 신뢰도를 검토한 결과, 네 단계의 성취수준을 모두 고려할 때 분류 일치도 계수는 0.625~0.825, 우연에 의한 확률을 제거한 후 분류결정이 일치될 확률인 K 계수는 0.429~0.680, 분류 정확도 계수는 0.719~0.892로 학생들의 성취수준은 일관성 있고 정확하게 분류된 것으로 나타났다. 이와 같이 국가수준 학업성취도 평가의 신뢰도를 검증하고, 이러한 방법을 적용하여 성취수준을 여러 단계로 분류하는 준거참조평가의 신뢰도를 검증하고자 하는 경우에 고려해야 할 사항들에 대해 제언하였다.

The study described procedures for estimating various indices of classification consistency and accuracy for multiple category classifications using data from a single test administration. The estimates of the classification consistency and accuracy indices were compared under beta binomial model, three-parameter logistic IRT model, and G theory. Using real data sets from the National Assessment of Educational Achievement, the reliability of criterion-referenced assessment was examined. The consistency coefficients, p and k ranged 0.625~0.825, and 0.429~0.680, respectively, and the accuracy coefficients did 0.719~0.892 for multiple classification. This results showed that the classification of the examinee were consistent and accurate.