컴퓨터 적응검사에 대한 노출문항 효과

The effect of compromised items for computerized adaptive testing

본 연구의 목적은 컴퓨터 적응검사에서 사전에 노출된 문항이 수험자의 능력 추정에 어떤 영향을 주는 지 탐색하는 것이다. 노출된 문항이 수험자의 능력을 과대 추정하겠지만, 그 정도에 대한 객관적인 연구가 미미하다. 본 연구에서는 컴퓨터 적응검사 시뮬레이션을 통해 노출문항의 영향력을 구체적으로 확인하고자 하였다. 문항선택 방법으로 최대문항정보선택법(MI), a-다층화 방법(AS)과 더불어 문항 노출을 조정하는 심슨-해터 방법(MISH, ASSH)을 사용하였고 노출된 문항 오답의 정답 전환률을 0%~100%로 설정하여 그에 따른 측정의 정확성과 문제은행의 활용도를 확인하였다. 그 결과 노출된 문항이 존재하지 않을 때, MI의 측정의 정확성이 가장 좋았지만 문제은행 활용도는 낮았다. 그러나 전환률이 증가할수록 ASSH, AS, MISH 순으로 측정의 정확성이 좋았다. 일단 노출된 문항이 수험자의 능력 추정에 영향을 주기 시작하면 측정의 정확성을 재는 bias와 MSE가 급격히 높아지고 문제은행의 활용률의 척도인 X²도 높아져 문제은행의 활용이 경직됨을 알 수 있었다. 능력추정 정확성과 문제은행 활용률을 고려할 때, 고부담 시험의 경우 ASSH, AS가 MI, MISH보다는 검사 보안을 위해서 더 적절한 문항선택 방법일 수 있다.

The purpose of this research is to explore the effect of artificially compromised items for computerized adaptive testing. It is obvious for the compromised items to overestimate examinee's ability, but there are not many empirical researches to support our guess. For this study, I performed the simulation study to explore the effect of compromised items with maximum information item selection method(MI), a-stratified multi stage method(AS), and the Sympson-Hetter method incorporated with these two item selection methods(MISH, ASSH). The change rates of compromised items from a wrong response to a right response have been set as 0%~100%. Along with the change rates, bias and MSE for measurement precision and X² for item bank's usages were compared. When an item bank did not have compromised items, MI showed the lowest bias and MSE, but the highest X². However, as the change rates have been increased, MI's bias and MSE dramatically increased. Also biases and MSE's of other algorithms dramatically increased, but ASSH and AS showed lower bias, MSE, X² than MI and MISH did. Thus, for high stake tests, ASSH and AS might be more appropriate algorithms than MI and MISH to protect test security.