문항반응이론에 따른 한국어 초급 이해 영역 평가의 객관식 문항 분석

Evaluation Analysis of Korean Beginner-Level Comprehension Multiple-Choice Questions Based on the Item Response Theory: A case study

목적: 본 연구는 특정 한국어 교육기관에서 사용되고 있는 성취도 평가 문항의 양호도를 분석한 사례 연구로 향후 한국어 성취도 평가 개선 및 한국어 교사의 평가 문식성 제고에 유용한 방안을 알아보고자 하는 데 그 목적이 있다. 방법: A기관의 수험자 응답 결과를 문항반응이론에 입각하여 문항의 신뢰도, 난이도, 변별도, 수험자 능력 모수 추정을 통해 문항의 양호도를 검증한 후 이상 문항을 선별하였다. 결과: A기관의 성취도 평가 문항은 대체적으로 신뢰도 있고 변별력 있게 제작된 것으로 확인되었다. 단, 문항의 계획 난이도와 실행 난이도가 불일치하는 결과를 보여 교사들이 난이도 조절에 어려움을 느낀 것으로 나타났다. 또 신뢰도 역문항이나 부적 변별력을 가진 이상 문항의 특징을 확인할 수 있었다. 결론: 문항반응이론에 따른 평가 분석을 통해 학습자 능력 수준에 적합한 문항을 개발하고 문제 은행으로 구축하는 과정을 통해 한국어 교사의 평가 문식성을 제고할 수 있을 것이다.

Purpose: This study is a case study that analyzed the satisfaction of achievement evaluation questions used in certain Korean language educational institutions, and aims to find useful ways to improve Korean achievement evaluation and improve Korean teacher’s assessment literacy. Methods: Based on the item response theory, institution A’s test takers’ response results were verified by estimating the reliability, difficulty, discrimination, and test takers' ability parameters, and then abnormal questions were selected. Results: Institution A’s achievement evaluation questions were generally found to be reliable and discriminating. However, it was found that teachers had difficulty in adjusting the difficulty level as the planning and execution difficulty of the questions were inconsistent. In addition, it was possible to confirm the characteristics of an inverse reliability question or an abnormal question with negative discrimination. Conclusion: A systematic achievement evaluation system can be proposed to improve evaluation literacy of Korean teachers by extracting questions suitable for the learner’s ability level and building them as a problem bank through evaluation analysis according to the question response theory.