구성형 문항의 차별기능문항분석을 위한 다변량 대응변수 기법의 적용

Detecting Gender-Based Differential Item Functioning on Constructed Response Items: Application of Multivariate Matching Technique

  이 연구에서는 대규모 학업성취도 평가에서 많이 활용하고 있는 구성형 문항에서 나타나는 성별에 따른 차별기능을 분석하였다. 구성형 문항에 가장 적절한 대응변수를 선택하기 위한 노력으로 다변량 대응변수 기법을 활용하였다. 즉, 구성형 문항과 선다형 문항의 점수 등을 조합하여 총 4가지 유형의 대응변수가 검토되었다. 연구 결과에 따르면 다변량 대응변수의 효과는 뚜렷하지 않았으나, 해당 구성형 문항의 총점 뿐 아니라 동일한 내용 영역을 측정하는 선다형 문항의 점수 역시 대응변수의 상세화에 기여함을 알 수 있었다. 동일한 구성형 문항에서도 평가 영역에 따라 수학적 지식 영역은 남학생, 설명 영역은 여학생에게 유리하게 기능하는 경향이 있었다. 마지막으로 본 연구 결과로부터 얻은 대규모 학업성취도 평가 결과 활용 시 고려 사항을 논의하였다.

  This study explored methods for detecting gender-based differential item functioning on a constructed response(CR) math test administered as part of the Illinois State Assessment Tests. The primary difficulty encountered with many CR tests is the absence of a reliable and appropriate measure of ability on which to condition. In this study, several combinations of matching variables  were explored. The results showed that choice of matching variable had little effect but the effect of MC scores as well as CR scores as a matching variable was clear. In particular, Math Knowledge dimensions tend to favor males, while Explanation dimensions tend to favor females. The results of  this study suggest that users of large-scale assessments should carefully examine their achievement measures before using them to make inferences about group differences.