자아참조개별적응검사의 차이 점수 측정을 위한 문제은행의 특성 탐색

Investigating item bank characteristics to measure adaptive self-referenced test difference score

  두 측정시점에서 각각 피험자의 능력값을 추정하여 두 능력 추정값 간의 차이 점수로 피험자의 변화를 측정하는 자아참조개별적응검사의 시행을 위하여 문항의 수와 문항변별도를 중심으로 바람직한 문제은행의 특성을 규명하고자 하였다. 몬테칼로 연구방법론을 이용하여 두 측정 시점에서 피험자의 능력모수, 문항변별도 모수, 문항난이도 모수, 문항추측도 모수 및 피험자의 문항반응자료를 이분자료로 생성하였다. 문제은행에 포함되는 세 수준의 문항수로 108개, 162개, 216개의 조건이, 세 수준의 문항변별도 모수 및 두 측정 시점 간 세 수준의 변화 조건이 주요 실험조건으로 포함되었다. 분석 결과 문제은행의 문항 수는 162개 정도이며 문항변별도는 1.0이상일 때 두 측정 시점 간 차이점수가 참 차이를 비교적 정확하게 탐지할 뿐 아니라, 참 차이가 발생한 경우 그 차이를 탐지하는 정확성도 높은 것으로 나타났다.

  The purpose of this study was to examine the desirable characteristics of item bank in terms of a number of items and the indices of item discrimantion parameter in administrating adaptive self-referenced test(ASRT). ASRT is used to measure individual change in ？ with reference only to that individual. Individual change is measured by ASRT as the difference between estimated levels of ？ for two occasions. Significant change is said to occur when the IRT-based confidence intervals for two estimates do not overlap. The present study used monte carlo simulation to evaluate the recovery of true individual change. Distributions of examinees were generated by computer. Item banks were characterized by item parameters using three parameter logistic model. Experimental design included that three levels of the number of items (108, 162, and 216), three levels of item discrimination parameter (average 0.5, 1.0, and 1.5), and three levels of the amount of change (low 0.5, medium 1.0, and high 1.5) for two occasions. Under each condition, 1,500 examinees were generated, The results suggested that when the number of items were at least 162 and the average item discrimnation index was greater than and equal to 1.0, the ASRT recovered the true change with substantial precision. Under this resulting desirable experimental condition, the number of items administered by ASRT was only up to 11, when significant change was occurred at occasion 2.