PPT, CFT, CAT에서 검사매체와 검사시행 모형에 따른 피험자 능력모수의 비교

Comparison of Ability Estimates according to Test Delivery Mode and Testing Model in PPT, CFT, and CAT

이 연구에서는 PPT, CFT, CAT에서 검사매체와 검사시행 모형이 피험자들의 검사수행에 어떠한 영향을 미치는지 알아봄으로써 각 검사방식간의 상호교환 가능성을 탐색하였다. 이를 위해 서울시에 소재하고 있는 중학교 2학년 학생 325명을 대상으로 수학 교과에 대한 검사를 시행하였다. 미리보기, 무응답, 재검토 및 응답수정을 허용하지 않는 CAT의 제한사항들이 피험자들의 검사수행에 어떠한 영향을 미치는지 알아보기 위하여 CFT는 이를 허용하는 방식(CFT_1)과 허용하지 않는 방식(CFT_2)으로 구분하고, 동일 피험자에게 세 가지 검사방식(PPT, CFT, CAT)을 모두 시행하였다. 순서효과가 미치는 영향을 배제하기 위하여 집단별로 처치순서를 달리한 균형화 설계를 적용하였으며 반복시행에 따른 기억효과의 영향을 최소화하기 위해 PPT와 CFT는 동형으로 제작하였다. CAT의 시행을 위해 총 184개의 문항으로 구성된 문제은행을 개발하였으며 검사 알고리즘은 중간 난이도 시작기준과 최대우도추정에 의한 능력추정방법, 최대정보 문항선택방법, 시간 제한(25분)과 검사길이 제한(16문항) 종료기준을 적용하였다. 분석결과, 검사매체에 의한 요인과 검사시행 모형에 따른 요인들이 피험자들의 검사수행에 영향을 미치고 있었으며 특히, 미리보기, 무응답, 재검토 및 응답수정을 허용하지 않을 때 더 낮은 검사수행을 나타내었다.

The purpose of this study is to examine comparability between PPT and CBT by investigating the effect of test delivery mode and testing model on a test performance. This study compared the ability estimates among PPT, CFT, and CAT. This study especially compared them under two conditions of CFT to investigate how examinees response on test items when we allow items to be previewed, skipped, reviewed, and changed(CFT_1) and when we don't allow them(CFT_2). This study targeted 2nd grade students of middle school in Seoul. PPT and CFT were constructed as a parallel form to avoid carrier of effect, and a single group design with counterbalancing was used to avoid the ordering effect. Item pool was constructed with 184 items in CAT. The first item is randomly selected among items with mean difficulty level and maximum information item selection was used. The maximum likelihood estimation procedure was used for scoring. CAT is terminated if a examinee respond all 16 items or if 25 minutes(the limited time) goes on after test starts. Overall, the results showed a lack of comparability between CAT and PPT. The lack of comparability was reflected in differences in test delivery mode and testing model. Among them, the administration condition like forbidding to preview, omit, review and change was the most important factor.