A Comparative Study on TIMSS Mathematics Assessment of Korea, Japan, and the USA : A Differential Item Functioning Approach

이 연구의 목적은 2015년에 실시된 수학ㆍ과학 성취도 추이 변화 국제비교 연구에서 한국, 미국, 일본의 8학년 수학 평가 결과를 분석하여 비교하는 것이었다. 국제비교평가 분석에서 사용할 수 있는 방법인 차별적문항기능 분석을 수행하였고, 행렬표집으로 인해 개인의 능력 추정이 어렵다는 점 때문에 개인의 능력 추정을 포함하지 않는 방법인 델타플롯 방법을 이용하였다. 델타플롯 방법은 문항의 정답률을 이용하는 방식이어서 총 225개의 문항 중 115개의 선다형 문항만 이용하였다. 한국과 미국 학생들 간에 차별적으로 기능하는 7개의 문항을 발견하였으며 이중 4개의 문항은 미국 학생들에게, 3개의 문항은 한국 학생들에게 유리한 것으로 확인되었다. 흥미롭게도 한국 학생들에게 유리한 3개의 문항은 모두 내용 영역에서 ‘기하’에 속했으며, 미국 학생들에게 유리한 4개의 문항은 모두 인지 영역에서 ‘지식’에 속했다. 유사한 결과가 다른 평가 자료를 이용한 선행 연구에서도 발견되었으며, 특히 21세기 핵심역량으로 강조되고 있는 고차적 능력에 ‘기하’가 밀접하게 연관되어 있고 ‘지식’과의 연관성은 낮다는 점에서 바람직한 결과라 할 수 있다. 한국과 일본 사이의 차별적문항기능 분석은 뚜렷한 양상을 보여주지는 않았지만, 차별적으로 기능하는 문항을 제거하면 한국과 일본의 능력 차이가 감소하여 일본보다 우세한 한국 학생들의 수학 능력을 일부분 차별적문항기능에 기인하는 것으로 확인되었다. 이러한 차별적문항기능의 원천을 밝히는 추가 연구를 통해 국제비교평가에서 한국 학생들의 상대적 위치를 보다 정확히 파악할 수 있을 것으로 기대된다.

The purpose of this study was to compare the performances of eighth grade students of Korea, Japan, and the United States of America (USA) on the mathematics assessment of the Trends in International Mathematics and Science Study (TIMSS) in 2015. The mathematics assessment results were analyzed using the delta plot, a differential item functioning method that can be used with matrix sampling schemes in international assessments since it does not involve estimation of individual student’s abilities. 115 multiple choice items were analyzed. Seven DIF items were detected between Korea and the USA. Four of the items favored the US students while three items were in favor of Korea. Interestingly, the Korean-favoring DIF items were all Geometry items in the content domain, and the four items in favor of the USA were in the Knowing cognitive domain. The results are promising for Korean mathematics education since 21st century skills are known be more closely related with Geometry as higher order mathematics ability and less closely related with Knowing. Although no striking patterns were found in the DIF analysis between Korea and Japan, the ability gap between Korea and Japan reduced when the DIF items were removed. Further studies on the source of DIF would reveal more accurate standing of Korea in international comparative assessments.