진단적 준거설정을 활용한 인지진단

Application of Diagnostic Standard-setting for Cognitive Diagnos

본 연구에서는 진단적 준거설정 방법을 이용하여 전문가 집단에 의하여 인지 요소별로 준거를 설정하고, 그 준거를 기준으로 학습자 개개인에게 구체적인 인지 요소에 대한 강약점과 각 성취기준에의 도달 여부에 대한 정보를 제공하였다. 이를 위해 TIMSS 2007 수학검사의 수 영역에 해당하는 14개 문항에 대하여 22명의 중학교 수학교육 전문가 집단이 학생들의 수행을 예측해보는 진단적 준거설정 방법을 적용하여 구체적인 요소별로 준거를 설정하였고 LCDM 모형에 의한 추정을 통하여 학생들을 다차원적으로 분류하였다. 본 연구를 통해서 진단적 준거설정이라는 새로운 방식을 적용하여 인지요소별 도달 여부에 대한 프로파일을 산출함으로써 이를 통해 학습자의 인지적 특성을 보다 상세히 파악할 수 있는 유용한 정보를 제공할 수 있었다. 또한 진단적 준거설정 방법은 학생을 다차원적으로 분류할 때 기준이 되는 준거를 설정하는 방법이지만 산출된 각 문항에 대한 잠재집단별 응답확률은 LCDM 문항모수를 추정하는 새로운 접근법으로도 활용될 수 있음을 확인하였다. 특히 이러한 방식은 피험자의 응답 자료에 의해 통계적으로 추정된 모수가 아니므로 다른 학생들의 응답에는 영향을 받지 않고 단지 자신의 문항 응답에만 근거하여 진단적 분류가 된다는 점에서 다차원적인 준거참조평가를 가능하게 할 수 있다는 특징이 있다.

This study aimed to check whether students have reached pre-set learning goals via Diagnostic Standard Setting where a group of specialists predict and set the standards setting method of multi-dimensional classification. As an analysis method for this, first, to classify examinee multi-latent subgroups, 22 specialists of math education in junior high schools constituted a standard setting group, who predicted the students’ performance as per the latent class for 14 questions in a TIMSS 2007 number domain. There were two findings. First, by a diagnostic standard setting method, students are provided learner-oriented tailored education in a criterion-referenced evaluation system constructing a learning group with specific identification of students’ latent abilities and multi-dimensional traits makes it effective. Secondly, the diagnostic standard setting method has a great value in that the latent class for each item as predicted by a diagnostic standard setting method can be applicable as an initial value for the LCDM item parameter for statistical analysis. Thirdly, it is noteworthy that a new approach was attempted through a diagnostic standard setting method where LCDM item parameter is set reflecting specialists’ opinions rather than an existing statistical method.