문항배열순서가 변별도와 난이도에 미치는 영향

The Effect of the Order of Item Arrangement on Item Difficulty and Item Discrimination

이 연구는 문항의 배열이 문항의 특성에 영향을 주는지 검증하기 위한 것이다. 중학교 2학년 수학 성취도 검사문항을 교육과정 순(A형), 쉬운 문항에서 어려운 문항 순(B형), 어려운 문항에서 쉬운 문항 순(C형)으로 배열했을 때 문항변별도와 난이도가 어떤 영향을 받는지 검증하였다. 1,114명 표본에 3개 유형의 검사를 무선적으로 할당하고 세 유형의 검사에 반응한 학생집단들은 동질적이라고 가정하였다. 각 집단별로 고전검사이론과 문항반응이론을 이용하여 변별도와 난이도를 추정하고, 반복측정 분산분석(repeated ANOVA)과 스피어만 등위상관계수(Spearman Rank Correlation)를 통하여 문항배열의 효과를 확인하였다. 두 이론 공히 쉬운 문항으로부터 어려운 문항으로 배열하는 것이 어려운 문항으로부터 쉬운 문항으로 배열하는 것에 비해서 변별도는 더 낮게 나타났고 난이도는 더 쉽게 나타났다. 그리고 남학생이 여학생에 비해서, 그리고 능력수준이 낮은 학생이 그렇지 않은 학생에 비해서 검사의 전반부에 어려운 문항이 나올 때 포기하는 경향성이 더 높음을 확인할 수 있었다. 집단의 동질성 가정과 문항배열순서 관련 요인들에 대한 후속적 연구의 필요성을 논의하였다.

The goal of this paper is to examine whether the order of item arrangement influences item characteristics. The math achievement test items for eighth grade were divided into three types: the order of national curriculum (Type A); the test starting with easy questions and then becoming progressively harder (Type B); and the test starting with difficult questions and proceeding to easier questions (Type C). Thus, we investigated whether there would be a difference between item difficulty and discrimination, influenced by the three different item arrangements. Three types of test items were randomly assigned to a sample of 1,114 students. The students’ responses to the given test items were considered to be equivalent. Item difficulty and discrimination of each type were estimated by performing classical test theory and item response theory. The effect of the order of item arrangement was also verified through repeated ANOVA and Spearman Rank Correlation. According to the test results, item arrangement beginning with easy questions and becoming progressively harder lowered item difficulty (relatively compared to Type C). And it was considered that male students and lower ability-students tended to give up the difficult items located at the front of test. Finally, we discussed the follow-up research regarding the homogeneity assumption of the groups and the possible factors related to the order of item arrangement.