DINO 모형에서 응시생 분류 정확성에 영향을 미치는 요인 탐구: 응시생 분류방법을 중심으로

A Study on the Factors Affecting Examinee Classification Accuracy under DINO Model: Focused on Examinee Classification Methods

본 연구의 목적은 DINO (deterministic-input, noisy “or” gate)모형에서 최대우도(maximum likelihood: ML), 최대사후확률(maximum a posteriori: MAP), 사후기대(expected a posteriori: EAP)방법들의 분류 정확성이 어느 정도인가를 알아보는 것이다. 연구 목적을 달성하기 위하여 다양한 모의실험 조건들[인지요소의 수(K= 5, 7), 응시생 능력분포(고능력, 중간능력, 저능력 집단), 검사 길이(J= 15, 30, 45), 각 문항에 정답을 하는데 요구되는 인지요소의 수(A: 1, 2, B:2, 3)]에 따라 모의자료를 생성했다. 그리고 참 인지요소(true α)와 ML, MAP, EAP방법으로 추정된 인지요소()가 어느 정도 일치하는지를 계산했다. 본 연구의 주요결과를 요약하면 다음과 같다. 첫째, 본 연구에서 설정한 검사 조건에서 ML, MAP방법보다 EAP방법의 정확일치도 평균이 더 높았다. 둘째, 다른 검사 조건이 동일할 때, 검사 길이(J=15, 30, 45)가 증가하면 ML, MAP, EAP방법 모두에서 정확일치도 평균이 높아졌다. 셋째, 다른 검사 조건이 동일할 때, 각 문항에 정답을 하는데 요구되는 인지요소의 수가 적을수록 ML, MAP, EAP방법 모두에서 정확일치도 평균은 높았다.

The purpose of this study was to examine the classification accuracies of ML, MAP, and EAP methods under DINO model. For this purpose, this study examined the classification accuracies of the classification methods under the various conditions: the number of attributes, the ability distribution of examinees, and test length, the number of required attribute. To accomplish this purpose, this study used a simulation method. For the simulation study, data was simulated under the various simulation conditions including the number of attributes (K= 5, 7), the ability distribution of examinees (high, middle, low), and test length (J= 15, 30, 45), the number of required attribute(A=1, 2, B=2, 3). Additionally, the percent of agreements between true skill patterns(true α) and skill patterns estimated by the ML, MAP, and EAP methods were calculated. The summary of the main results of this study is as follows: First, When the number of attributes was 5 and 7, the EAP method showed relatively higher average in the percent of exact agreement than the ML and MAP methods. Second, the average percent of exact agreement increased in all methods, ML, MAP, and EAP when the test length increased from 15 to 30 and 45 under the conditions of the number of required attribute and the ability distribution of examinees. Third, the average percent of exact agreement decreased in all methods, ML, MAP, and EAP when the number of required attribute increased from 1, 2 to 2, 3 under the same ability distribution of examinees and test length.