문항구성 모의실험을 통한 온라인 학업성취도 평가 시스템 분할점수 자동설정 방안 탐색

An Exploratory Study of Automatic Standard Setting for iNAEA Through a Monte Carlo Simulation of Test Construction

이 연구의 목적은 학업성취도 평가의 기출 문제은행 시스템을 구축함에 있어 기존 문항정보를 사용하여 검사의 분할점수를 자동설정하기 위한 방안을 탐색하는 데 있다. 문항반응이론을 기반으로 2015년과 2016년 중학교 국어 평가 자료를 활용하여 모의실험을 수행하였다. 먼저 각 성취수준에서 1,000명을 무작위 추출한 응답 자료를 대상으로 분석하였다. 검사의 문항 수, 문항의 난이도, 그리고 문항유형을 어떻게 구성하는지 각각의 조건에 따라 분석 대상의 실제 성취수준 집단과 모의 분석을 통해 구분된 성취수준 집단 간의 일치정도를 산출함으로써 분류의 정확성을 판단한 것이다. 분석 결과 일부 모의분석 조건에서 낮은 정분류 비율이 나타났으나, 대체로 성취수준의 정분류 비율은 적절한 것으로 판단되었다. 문항 수와 문항 난이도의 영향이 더 크게 나타난 반면 문항유형 구성 영향 차이는 적은 것으로 나타났다. 모의실험 조건에 따른 비교를 통해 검사지 구성 시 고려해야 할 시사점을 제공하였다.

The NAEA is a criterion-referenced assessment that assesses the degree of achieving the national curriculum, and the student’s achievement in the assessment subject is categorized in accordance with the degree of achieving the curriculum into the following achievement levels: ‘advanced’, ‘proficient’, ‘basic’ and ‘below-basic.’ This study has focused on developing a customized diagnostic test system with the previously-administered NAEA test items and the related information. Based on item response theory, a simulation study was carried out by using all the items in the system, which were calibrated to be on one scale. The response data of 1,000 randomly selected students in the middle school for the subject of the Korean language in 2015 and 2016 were analyzed. The accuracy of the classification was determined by calculating the degree of agreement between the actual achievement level of the subject and the achievement level obtained by the simulation analysis according to the respective conditions of the number of the items of the test, the difficulty of the item. As a result, acceptable results were obtained overall, whereas lower classification ratios were found in some conditions. The effect of the number of items and item difficulty was larger, while the effect of item type composition was smaller. This study provides suggestions to consider when constructing a test form by comparing according to the simulation conditions.