Detecting Gender-biased Items in English Listening Tests: A Methodological Demonstration

이 연구는 성별에 따른 차별기능문항을 추출하는 방법과 해석 절차를 예시할 목적으로 중학교 영어듣기평가 문항을 분석하였다. 중학교 영어듣기평가는 1991년부터 EBS 교육방송을 통해 매년 두 차례 전국 규모로 실시되는 시험으로서 총 20개의 사지선다형 문항으로 구성되어 있으며, 친숙한 주제의 짧은 담화를 듣고 이해할 수 있는 능력을 측정한다. 분석 에 필요한 자료는 대도시 소재 공립 중학교 1학년 학생 875명에게서 수집하였다(남학생 450명, 여학생 425명). 특정 이론이나 방법의 편향성을 중화시키기 위해 전통적인 방법인 멘텔-헨젤 검정과 로지스틱 회귀분석에 더해 두 가지 문항반응이론에 입각한 방법을 함께 사용하였다. 그 결과 두 개의 균일적 차별 기능 문항과 두 개의 비균일적 차별 기능 문항이 발견되었다. 뒤이은 내용 분석은 담화의 주제가 성별에 따른 유불리 조건을 발생시킬 가능성이 가장 높은 원인임을 밝혔다. 이와 같은 발견에 근거하여 외국어 듣기 평가의 문항 개발에 대한 함의와 앞으로의 연구 방향을 논의하였다.

This study aims to illustrate a psychometric and interpretive procedure for detecting gender-biased items in a standardized English listening comprehension test for secondary school students. The target test, which has been administered nationwide twice a year through Education Broadcast System since 1991, is composed of 20 multiple-choice items designed to assess students ability to understand monologic and dialogic spoken discourses about a range of familiar topics. Data for analysis were collected from 875 first-year students in a middle school (450 male, 425 female). In order to avoid theory-laden and method-contingent results, two classical (M-H and logistic regression) and two IRT-based methods (Rasch and IRTLRDIF) were employed in parallel. The final phase of analysis identified two uniform and two non-uniform items that functioned unequally by gender. The follow-up content analysis revealed that conversation topics were the most likely cause of the bias. Some implications for item development and fairness in the assessment of foreign language listening ability and directions of future research are discussed on the basis of the findings.