이 연구는 2008년 한국교육학술정보원(KERIS)에서 개발한 ‘중학생용 ICT 리터러시 검사’를 지필검사(Paper and Pencil Testing: PPT) 방식과 컴퓨터화된 검사(Computerized Testing: CT) 방식으로 시행하였을 때, 시행방식이 검사의 요인구조와 문항의 측정학적 특성에 어떠한 영향을 미치는지를 분석한 것이다. 이 연구를 위해 3개 중학교의 1, 2학년 16개 학급 총 602명의 학생을 대상으로 하되, 학업성취도 수준이 서로 비슷한 두 집단으로 나누어 한 집단에게는 PPT 방식으로, 다른 한 집단에게는 CT 방식으로 검사를 시행하였다. 분석결과, 시행방식에 따라 검사의 요인구조는 통계적으로 유의한 차이가 없었으나, 문항의 측정학적 특성(정답률, 변별도, 곤란도)은 통계적으로 유의한 차이가 있었다. 그리고 성별에 따라 문항기능에 차이가 있는 문항의 개수는 CT가 PPT보다 더 많은 것으로 나타났다. 이는 ‘중학생용 ICT 리터러시 검사’의 경우 PPT와 CT 방식을 적절한 조치 없이 상호 호환적으로 사용하기 곤란함을 시사하고 있다. 따라서 두 방식의 호환성을 보장하기 위해서는 시행방식에 따라 절대평가의 기준을 서로 다르게 하는 등 동등화 작업이 필요함을 시사하고 있다.
This study analyzed the effects of test administration modes (paper and pencil testing (PPT) and computerized testing (CT)) on factor structure and item characteristics of 'ICT Literacy Test for Middle School Students (ICT-LT-MSS)' which was developed by KERIS(Beak et al., 2008). The subjects of this study were 602 students in 3 middle schools who were divided into the PPT group and the CT group. The results of this study are summarized as follows. First, the result of group invariance analysis of the structure showed the existence of configural invariance but no metric invariance between PPT and CT. Second, the result of comparative analysis of item easiness (ratio of correct answers) and item discrimination estimated by the classical test theory showed differences between PPT and CT. Third, the result of item difficulty estimated by an item response theory showed difference between PPT and CT. Forth, the result of gender-related DIF analysis estimated by an item response theory showed difference between PPT and CT. In conclusion, ICT-LT-MSS had no equivalence, because of the statistically significant differences in factor metrics as well as item characteristics between PPT and CT.
(0)
(0)