Cheating Proof Testing System (CPTS) and its Validity

이 연구의 목적은 부정행위방지 검사 제작 시스템(Cheeting Proof Testing System: CPTS)을 설명하고 그 타당성을 검토하는 것이다. CPTS는 선택형 문항의 경우 선택지 순서를 시스템 내에서 임의로 변경함으로써 각각의 개별 피험자에게 개별화된 검사지를 제작하여 제공하는 컴퓨터 시스템이다. 즉, 개별화된 검사지를 받은 피험자는 같은 문항이라도 선택지의 순서와 위치가 다르기 때문에 다른 피험자의 시험지나 답안지를 보고 베끼는 부정행위를 할 수 없게 된다. CPTS의 타당성을 검토하기 위해 공변량 분석과 고전검사이론, 문항반응이론의 기법들이 사용되었다. 공변량 분석 결과 CPTS가 제공하는 개별화된 검사지를 시행한 실험집단과 피험자 모두 동일한 검사지를 시행한 통제집단 사이에 검사 점수에 있어서 통계적으로 유의미한 차이가 없는 것으로 나타났다. 고전검사이론과 문항반응이론을 이용한 문항 분석 결과, 문항난이도, 변별도와 같은 문항 특성 지수에 있어서 실험집단과 통제집단 사이에 유사한 결과를 산출하였고, 문항반응이론을 적용하여 산출한 검사특성곡선과 문항특성곡선도 유사하게 나타났다. 시험 감독교사와 참여했던 학생 피험자를 대상으로 한 설문 조사 결과, 감독 교사와 학생 모두 CPTS가 실제 검사 상황에서 학생들의 부정행위를 방지할 수 있는 효과적인 수단이 될 수 있을 것으로 인식하고 있었다. 결론적으로 CPTS는 검사특성 상 큰 변화는 일으키지 않으면서 선택형 문항 검사의 경우 학생들의 부정행위를 방지할 수 있는 하나의 방법으로 고려될 수 있을 것이다.

The purpose of this study was to describe the Cheating Proof Testing System (CPTS), which was designed to prevent cheating on tests, and to evaluate its validity. The CPTS is a testing system that allows for the individualization of a test form given to an examinee by randomly arranging choice options. In this way, students taking the individualized test forms with randomly arranged choice options are discouraged from copying other students’ answers. To investigate the validity of the CPTS, several analyses were conducted utilizing both the analysis of covariance (ANCOVA) and classical test and item response theory approaches. The ANCOVA analysis revealed no significant differences between groups that either adopted or did not adopt the CPTS. Item characteristic indices such as item discrimination or item difficulty were similar in both CPTS tests and non-CPTS tests. Item and test characteristic curves were also very similar between the CPTS and non-CPTS tests. Survey research given to both teachers (or proctors) and students who have experienced the CPTS indicated that both teachers and students believed that the CPTS could be an effective way to prevent student cheating on tests. In conclusion, the CPTS should be considered a method to prevent student cheating without introducing significant psychometric changes in test characteristics.