국가수준 학업성취도 평가에서 단계적 검사의 적용 가능성 탐색

Exploring the applicability of multistage testing in NAEA

본 연구의 목적은 국가수준 학업성취도 평가에서 단계적 검사(MST)의 적용 가능성을 탐색하는 것이다. MST에서는 응시자의 문항 검토가 가능하며, 문항 선택에 대해 더 많은 제어가 가능한 이점이 있다. 또한 현행 학업성취도 평가의 특성과 시행 전반의 틀을 그대로 유지하면서 적응형 검사를 적용할 수 있는 MST 설계를 고려하였다. 주요 결론은 다음과 같다. 첫째, 전체 검사의 길이가 동일한 전통적인 선형 검사와 비교했을 때 MST에서 측정의 정확성이 더 높았다. 또한 학업성취도 평가의 틀 내에서 MST가 잘 작동함을 확인하였다. 둘째, 본 연구에서 고려한 총 다섯 가지 MST 설계 중 1-2-3 MST 설계에서 최적경로 비율이 가장 높았다. 마지막으로, 소검사의 수를 줄이면서도 최적경로 비율을 높일 수 있는 검사 설계의 필요성과 후속연구에 대해 제언하였다.

The purpose of this study was to evaluate the feasibility and effectiveness of multistage testing design for National Assessment of Educational Achievement (NAEA). MST offers several advantages, including allowing test takers to review items and more controls over item selection. The MST design that can apply the adaptive testing while maintaining the characteristics of the current assessment and the overall framework of implementation was developed. The main conclusions can be made as follows. First, the accuracy of the measurement was higher in MST when compared to traditional linear testing with the same test length. Also, it was confirmed that MST works well within the framework of NAEA. Second, among the five MST designs considered in this study, the percentage of the optimal paths was the highest in the 1-2-3 MST design. Finally, a design that can increase the optimal path ratio while reducing the number of modules and follow-up studies was suggested.