Exploring the Stability of the Immediate Achievement-Level Results on the National Assessment of Educational Achievement

국가수준 학업성취도 평가는 지금까지 지필평가 방식으로 시행되어 왔고, 평가 시행 후 약 2개월이 지난 시점에 학생들에게 평가 결과(4단계 학업 성취수준)가 제공되었다. 평가결과표가 제공되는 시점에는 학생들의 평가에 대한 관심과 기억이 감소하여 평가 결과에 대한 유용성이 매우 낮았다. 2022년부터 학업성취도 평가에 컴퓨터 기반 검사로 전환됨에 따라 학교 현장의 요구 사항을 수렴한 결과, 평가 시행 직후의 즉각적인 결과 산출에 대한 요구가 높은 것으로 나타났다. 본 연구에서는 컴퓨터 기반 검사 시행 시, 문항모수가 이미 확보되어 있는 연도간 공통문항과 자동채점이 가능한 선다형 및 단답형 문항들을 이용하여 즉각적인 성취수준 결과를 산출할 수 있는 방안을 제시하고, 결과의 안정성을 탐색하기 위한 모의실험을 수행하였다. 자료 생성을 위해 국가수준 학업성취도 평가의 실제 문항모수를 활용하였으며, 모의실험을 위한 조건은 (1) 공통문항의 수, (2) 공통문항의 선정 방법, (3) 피험자 수 등 세 가지를 고려하였다. 그 결과 6개 내외의 공통문항을 문항 정보함수를 활용하여 선정하고, 피험자 수는 검사 유형 당 최소 1000명이 확보될 때 즉각적 결과 산출의 가능성을 확인할 수 있었다. 그러나 현 학업성취도 평가의 문항난이도 분포를 고려할 때 1수준과 2수준의 학생들을 변별하는 기능이 상당히 부족한 것으로 나타났다. 따라서 즉각적인 결과 산출을 위해서 1수준과 2수준 구분에 적합한 저난이도 문항이 추가적으로 확보되어야 함을 시사하였다.

Previously, the evaluation results (four levels of academic achievement) for the paper-based National Assessment of Educational Achievement (NAEA) were available only two months after the assessment was conducted. At that time, the usefulness of the evaluation results was very low because the students interest and memory of the evaluation had already decreased. While surveying school sites for their input on the introduction of computer-based tests for the NAEA in 2022, the demand for immediate results was found to be high. Therefore, this study suggests a method to immediately produce achievement level results using common items taught throughout the year for which an item s parameters can be secured, and employing multiple-choice and short-answer test items that can be scored automatically. A simulation was performed to explore the stability of the results. For data generation, the actual item parameters from the NAEA were used, and three conditions were considered for simulation: (a) the number of common items, (b) the selection method of common items, and (c) the number of participants. Findings show that calculation of immediate results is possible when at least six common items are selected using the item information function, and at least 1,000 participants are required for each test type. However, considering the distribution of item difficulty on the current NAEA, the ability to discriminate between Level 1 and 2 students was found to be insufficient. Therefore, it is suggested that a large number of low-difficulty items suitable for discriminating between Level 1 and 2 should be provided for immediate and stable results.