Rasch 모형을 적용한 문항분석 및 차별기능문항 탐색

The Item Analysis Using the Rasch Model and DIF Detection: Based on the 2021 Physics Certification Exam Level 1-2

본 연구에서는 문항반응이론을 적용하여 2021학년도 2월에 시행된 물리인증제 1-2급 검사에 대해 응답한 피험자 597명의 결과자료를 고찰하였고 검사의 공정성과 일관성을 검토하였다. 분석을 위해 문항반응이론의 모형 중 문항 난이도만을 고려하는 Rasch 모형을 적용하였다. 또한 자료의 특성을 고려하여피험자 집단 소속은 성별로 설정해 차별기능문항 존재를 탐색하였고, WINSTEPS 4.3 프로그램을 사용하였다. 연구 결과, 개별 문항과 검사 전체의 적합도는 양호한 편이지만, 다른 차원의 존재 가능성이확인되었다. 차별기능문항의 탐색 결과 통계적 검정과 실제적 효과 크기의 근거에 비추어 여자 집단이남자 집단보다 더 정답 하는데 유리하거나 남자가 여자보다 더 정답이 유리한 문항이 각각 1문항씩 발견되었다. 본 연구의 결과를 바탕으로 문항의 개발 단계에서 성별 소속 집단에 관계없이 문항 모수 추정의 불변성이 지켜지도록 질문과 답지의 구성, 질문 내용의 명확성에 대해 검토되어야 하며, 지속적인차별기능문항탐색을 통해 검사의 공정성, 일관성, 신뢰성 확보를 물론이고, 양질의 검사문항관리 가능성을 전망하였다.

In this study, the results of 597 subjects who took the Physics Certification Exam level 1-2 conducted in February 2021 were reviewed. Using an analysis method based on the item response theory(IRT) for research, the fairness and reliability of the test were considered. To analyze the item and test fit, it was employed the Rash model which estimates only the item difficulty on the IRT. Moreover the gender-based differential item function(DIF) was assessed using the WINSTEPS program(Ver. 4.3). As a result, the individual items and the overall test fit seemed quite sustainable, however in the view point of the DIF detection, two items with each gender-favorable answers were found with statistical test and actual effect size. Conclusively, it is needed to consider the effects of the composition of the options and items, clarity of the item content to keep the invariance of the item parameter estimation for the gender-independent measurement. Through continuous DIF detection, it was predicted that not only the fairness, consistency, and reliability of the inspection, but also the possibility of quality test items management.