컴퓨터 적응 검사에서 문항응답 시간을 고려한 문항선택 방법에 따른 검사 양호도 비교

A Comparison of Item Selection Methods Using Response Times in Computerized Adaptive Testing

본 연구는 제한시간이 적용된 컴퓨터 적응 검사에서 문항응답 시간을 고려한 문항선택방법이 검사의 양호도에 미치는 영향을 피험자의 능력과 속도의 상관 및 검사 길이에 따라 탐색하였다. 문항응답 시간을 고려하지 않은 문항선택 방법은 제한시간이 충분하고, 능력과 속도의 상관이 없는 경우 능력모수를 가장 정확하게 추정하였으나, 능력과 속도의 상관이 증가하고, 검사 길이가 짧을수록 문항응답 시간을 고려한 문항선택 방법에서능력모수 추정의 정확성이 높게 나타났다. 검사의 제한시간과 검사 길이가 짧을수록 문항응답 시간을 고려한 문항선택 방법의 제한시간 내 검사의 효율성이 높게 나타났다. 문항노출의 조절은 검사 효율성을 감소시켰으며, 제한시간이 완화될수록 문항노출로 인한검사의 효율성 차이는 감소하였다. 문제은행의 활용 정도는 문항노출을 조절한 방법에서향상했으며, 문항노출 조절 이후 문항선택 방법 간 차이는 크지 않았다.

This study aimed to investigate the performance of item selection methods using response times (RT) in terms of the correlations between ability and test speededness and test lengths for computerized adaptive testing with fixed test time. MI, which does not use RT information, seems to estimate the ability parameters more accurately under a lenient time limit and a zero correlation between ability and test speededness condition. However, for MIT, which incorporates RT information in estimation and item selection procedures, the accuracy of ability estimates can be improved compared to MI and MITS as the correlation between ability and test speededness increases and the test length decreases. When item exposure control was applied, the measurement precision would be decreased. Compared to MI, MIT yielded a higher proportion of the number of items for a given test length. With relaxed limits in testing time, the effects of item exposure control on test efficiency would be decreased. Item selection with item exposure control can enhance item pool usage. After applying item exposure control, no significant differences could be expected in the item pool usage.