인지진단모형의 영어 듣기 평가에 대한 적용과 분석

An Application of Cognitive Diagnostic Modeling to a Listening Comprehension Test

인지진단모형은 학생 개개인의 지식에 대한 숙달 여부를 판정하여 교수·학습 과정의 다양한 의사 결정에 유용한 정보를 제공할 수 있다. 최근 인지진단모형은 다양한 모형의 개발, 효율적인 엘고리듬을 통한 모형의 일관성 있는 추정과 비교, Q-행렬의 통계적 타당도 검증 등에서 많은 진전을 이루었다. 이러한 기술적 발전과 잠재적 가능성에도 불구하고 실제 인지진단모형의 적용은 전문가들에 의한 대규모 시험 자료의 분석에 주로 국한되는 문제점을 갖고 있다. 이 연구에서는 일반 단위 학교에서 흔히 볼 수 있는 규모의 영어 듣기평가 자료에 인지진단모형을 적용하여 교수·학습 과정에 유용한 진단 정보를 도출할 수 있는지 조사하였다. 연구 결과에 따르면 소규모 시험 반응 자료에도 인지진단모형의 적용이 가능하나 모형의 축소와 일부 모수 추정값의 불안정성과 같은 문제점을 관찰할 수 있었다. 이 연구에서는 이러한 가능성과 제한성을 바탕으로 인지진단모형의 현장 적용에 관한 문제점과 개선 사항을 논의하고 있다.

Cognitive diagnostic modeling(CDM) is intended for fine-grained diagnostic feedback that can facilitate learning and teaching by providing valuable information about students’ current mastery or nonmastry status on a set of skills in a subject domain. CDM has now matured into a comprehensive framework in which researchers and practitioners can find rich and sophisticated models with attribute hierarchies and problem-solving strategies integrated, fast estimation algorithms, efficient model fit checking and comparisons, statistical Q-matrix validation and powerful free softwares specifically developed for CDM. CDM has also received increasing research interest in language testing for the last 20 years or so. Despite these recent developments and inherent potential in CDM, its applications to subject domains including language testing have been carried out by a limited number of researchers who somehow obtained access to large-scale test data from testing programs. This study was to apply a comprehensive cognitive diagnostic model(GDINA) and its nested models to a small data set from an English listening comprehension test and to explore whether a meaningful diagnostic information could be drawn from data that are commonly available in a unit school. The results show that CDM can be successfully applied to the small size data and provide useful diagnostic information. The study also reports and discusses problems as well as issues encountered in the process of CDM applications.