인지진단모형의 다층 분석을 적용한 국가수준 학업성취도 평가 결과 분석

Multilevel analysis of a cognitive diagnostic model using the National Assessment of Educational Achievement: Examining differences between regions

인지진단모형을 통한 국가수준 학업성취도 평가(NAEA) 결과분석은 교수ㆍ학습 개선과 지원에 필요한 세부 인지요소 정보를 산출할 수 있다. 이러한 정보는 기존 결과분석의 전반적인 성취수준에 대한 정보 제공과는 달리, 상세 인지요소 숙달 정보 프로파일을 제공함으로써 평가 결과를 교수ㆍ학습에 직접적으로 활용할 수 있다. 따라서 본 연구에서는 인지진단모형의 인지요소 숙달 여부를 통한 다층분석을 실시하여 16개 시ㆍ도 지역 간 인지요소 숙달 차이를 연구하였으며, 다음과 같은 방법으로 진행되었다. 첫째, 인지진단모형을 적용하기 위해 2010년 학업성취도 평가의 초등학교 6학년, 중학교 3학년, 고등학교 2학년 국어 검사의 Q 행렬을 개발하였다. 둘째, DINA 모형을 통해 피험자의 인지요소 숙달 정도를 추정하였다. 셋째, 다층분석을 통해 인지요소 숙달에 있어서의 지역 간 차이를 살펴보았다. 다층분석에서 1 수준은 학생들의 인지요소 숙달 사후 확률에 근거한 숙달 패턴별 잠재 집단을, 2 수준은 16개의 시ㆍ도로 구분한 2층 모형을 사용하여 지역 간의 차이를 연구하였다. 또한 더욱 심층적인 분석을 위해 배경 변인을 투입하여 분석한 결과를 제시하였다. 본 연구는 인지진단모형의 다층분석으로 지역 간의 유의미한 차이가 있다는 점을 확인하였으며, 학습관련 변수 중 ‘수업 시간에 배운 내용의 이해’와 ‘EBS 1시간 이상 시청’이 학생의 국어 관련 인지요소 숙달을 높이는 데에 긍정적인 영향을 줌을 알 수 있었다.

An analysis of the National Assessment of Educational Achievement (NAEA) using a cognitive diagnostic model (CDM) can lead to effective feedback for teaching and learning that is at a fine-grained attribute level. Unlike traditional broad domain-based scores, CDM-based attribute profiles can lead to more targeted information that can be directed for classroom improvement. This study examined a multilevel extension of a CDM analysis of the NAEA to investigate regional differences between 16 major cities and provinces in South Korea. The study was conducted as follows. First, items from the 2010 administration of the Korean subject NAEA were used to develop a Q-matrix for 6th grade elementary, 3rd grade middle, and 2nd grade high school students. Next, the DINA model was fit using the Q-matrix developed and the examinee response data from the NAEA. Finally, a multilevel analysis of attribute mastery was conducted by specifying level 2 as the regional areas and level 1 as the students attribute classifications derived from the DINA model; demographic variables and measures of learning were added as covariates in the multilevel model to examine how these factors affect the probability of attribute mastery. Results showed minimal, yet significant differences between regions. Furthermore, students that reported to have understood materials taught in class and watched over 1 hour of educational program on television (EBS) were found to have a greater likelihood of mastering attributes required for solving questions in the Korean subject NAEA.