인지진단모형을 적용한 학업성취도 평가 결과 프로파일 보고 방안 탐색

Investigating Score Reporting of Attribute Profiles from the National Assessment of Educational Achievement using Cognitive Diagnostic Models

학업성취도 평가에서는 교과별 성취수준을 산출하여 각 성취수준에 대한 특성 기술과 함께 보고해왔다. 2011년부터는 평가결과표는 학생들의 전반적인 성취수준에 대한 정보 이외에 교과별로 하위 영역별 성취율을 추가 제공하였다. 하지만 개별 학생들의 보충학습에 도움이 되도록 하는 구조적인 인지 상태에 관한 세부 정보를 제공하지 못한다. 따라서 본 연구에서는 인지진단모형에 의해 분석된 결과를 바탕으로 한 평가 결과 보고 방식을 제안하였다. 먼저, 인지진단모형의 적용을 위해 필수적으로 요구되는 검사 도구의 Q 행렬을 개발하였고, 이를 기초로 인지진단모형 중 DINA 모형을 적용하여 피험자 모수와 문항 모수를 산출하였으며, 인지요소별 피험자의 숙달 정도를 분석하였다. 마지막으로 분석된 결과를 바탕으로 학생 및 학부모, 교사를 위한 평가 결과 보고 방식을 제안하였다. 본 연구에서 제안하는 인지진단적 평가 결과로서 프로파일 보고 방식은 개별 학생의 강약점에 대한 구체적인 피드백을 제공하여 효과적인 교수·학습의 개선을 지원할 것이다.

Previous studies using the National Assessment of Educational Achievement (NAEA) have focused on providing broad domain-based scores categorized by 3 to 5 subscores or a holistic indicator of student performance. Such score reporting practices have faced criticism on their inability to provide specific information on the mastery of fine-grained attributes needed to improve teaching practices and individualized student learning. In light of these limitations, this study examines a new and alternative method in score reporting of attribute profiles using a cognitive diagnostic modeling approach for the NAEA. This study was conducted in the following format. First, Korean and mathematics items from the 6th grade NAEA were mapped to content and cognitive attributes specified by field experts into a systematic framework known as the Q-matrix. Second, using the DINA model, parameters relating to characteristics of the items and the prevalence of attribute mastery were estimated; these estimates were used to classify examinees on whether they mastered specific attributes specified in the Q-matrix. Finally, CDM-based score reports for students, parents, and instructors were developed. Enhancing score reporting practices at the attribute level provides more specific diagnostic feedback, which should lead to effective and improved methods for instruction and learning.