불확실 Q행렬 요소의 비율 및 사례수가 베이지안 RDINA모형을 이용한 Q행렬 요소 추정의 정확도에 미치는 효과

Effects of Proportions of Uncertain Q-Matrix Elements and Sample Sizes on Accuracies of Estimated Q-Matrix Elements via a Bayesian Reparametrized DINA model

본 연구의 목적은 불확실 Q행렬 요소의 비율 및 사례수가 베이지안 RDINA (reparameterized DINA)모형을 이용한 Q행렬 요소 추정의 정확도에 미치는 효과를 탐구하는데 있다. 모의실험을 위해 선행 연구에서 널리 활용된 K. K. Tatsuoka의 분수뺄셈검사의 Q행렬을 참 값으로 간주하고, 이 Q행렬에서 불확실 Q행렬 요소의 비율을 5%에서부터 100%까지 순차적으로 늘렸다. 모의 생성된 사례수는 300, 500, 1000, 2000명이었다. 베이지안 방법으로 Q행렬을 추정한 후, 참으로 간주된 Q행렬 요소와 추정된 Q행렬 요소간 일치도를 구했다. 또한 베이지안 추정법이 보다 상대적으로 복잡한 Q행렬 추정에 적용 가능한지를 탐색하기 위해 기초학력 향상도 평가에서 교과전문가가 개발한 Q행렬과 불확실 Q행렬 요소 비율을 달리해서 추정한 Q행렬 요소간 일치도도 구했다. 연구결과 불확실 Q행렬 요소 비율 및 사례수는 베이지안 방법에 의한 불확실 Q행렬 추정의 정확도에 영향을 미치지 않았다. 또한 추정의 정확도 자체는 높지 않았다.

The purpose of this study is to investigate the effects of proportions of uncertain Q-matrix elements and sample sizes on accuracies of estimated Q-matrix elements via a Bayesian reparameterized DINA (RDINA) model. This study treated the Q-matrix of the fraction-subtraction data of K. K. Tatsuoka as true one. The proportions of uncertain Q-matrix elements were varied from 5% to 100% by specifying some proportions of the Q-matrix elements as being random, and the item reponses were generated with the sample sizes of 300, 500, 1000, 2000. Also, as an application of the Bayesian approach to a more complex Q-matrix, the real Q-matrices of Daejeon Test of Basic Skills developed by subject experts were used as true. Under all conditions studied, Q-matrices were estimated with the Bayesian approach and compared them with the true Q-matrices for the simulations and real applications. The results show that the proportions of uncertain Q-matrix elements and sample sizes do not affect the accuracies of estimated Q-matrix elements via a RDINA model. Also, the accuracies of estimated Q-matrix elements were low.