컴퓨터 적응검사에서 하위영역 간 상관과 문항선택기준에 따른 능력모수 추정의 정확성 및 문제은행 활용률 비교

The Precision of Ability Estimates and Item Pool Utilization Depending on Degrees of Correlations among Subsections and Item Selection Criteria in Computerized Adaptive Testing

본 연구는 검사 내 하위영역 간 상관 정도와 문항선택기준이 컴퓨터 적응검사의 능력모수 추정의 정확성과 문제은행 활용률에 미치는 영향을 탐색하였다. 모의 컴퓨터 적응검사 시행 및 분석 결과, 하위영역 간 상관이 낮을수록 능력모수 추정의 정확성이 낮아졌다. 특히 문항선택방법으로 a-다층화구조방법을 적용하는 경우, 최대정보문항선택방법을 적용하는 경우보다 하위영역 간 상관 정도가 능력모수 추정의 정확성에 미치는 영향이 커졌다. 컴퓨터 적응검사의 검사 길이가 길수록 검사 내 하위영역 간 상관 정도가 능력모수 추정의 오차에 미치는 영향은 작았다. 검사가 하위영역 구분에 따른 다차원 정도가 높은 경우, 최대정보문항선택방법에서 검사내용영역을 반영할 때 능력모수 추정의 정확성이 높았다. 문제은행의 활용정도는 a-다층화구조방법을 적용하거나, 문항노출률을 조절한 경우 향상했으나, 하위영역 간 상관 정도에 따른 차이는 두드러지게 나타나지 않았다.

The purpose of this study was to investigate the effects of degrees of correlations among subsections and item selection criteria on the precision of ability estimates and item pool utilization in computerized adaptive testing (CAT). Based on the results of this simulation study, the following conclusions can be made. First, the precision of ability estimates would be decreased when the correlations among subsections was relatively low. Second, when implementing an a-stratified item selection method (AST), the effects of degrees of correlations among subsections on the precision of ability estimates increased, compared to the maximum fisher information item selection method (MFI). Third, when the test length was relatively long, the effects of degrees of correlations among subsections on the precision of ability estimates decreased. Forth, MFI with content-balancing increased the precision of ability estimates, especially in the case of low correlations among subsections. The item pool utilization seemed not to be considerably affected by the correlations among subsections, implementing a-stratification item selection method and/or item exposure strategy, the item pool utilization increased.