Rasch 방법과 Extended-Angoff 방법을 적용한 인성검사 준거설정 비교 연구

Comparing Rasch Method and Extended-Angoff Method in Standard Setting for Character Test

본 연구는 청소년용 인성검사 준거설정을 위해 Rasch 방법과 Extended-Angoff 방법을 적용하고 그 결과를 비교하였다. 연구대상은 중학생으로 한정하여 총 1,614명의 검사자료를 분석에 이용하였고 현직 중학교 교사 31명을 준거설정 전문가 집단으로 구성하였다. 본연구에서 사용된 인성검사는 피험자 응답의 진위성을 고려할 수 있는 역문항이 포함된 검사도구를 채택함으로써 비인지적 특성을 측정하는 Likert 척도 심리검사에서 발생 가능한 문항진술방식에 의한 영향력까지 포함하여 결과를 검토하였다. 분석 결과, Rasch 방법과 Extended-Angoff 방법 간 일관성은 일치도 통계량() .958, Kappa 계수 .784로 산출되어 상당히 높은 수준으로 일치하는 것으로 나타났고, 준거설정자의 전문적 판단이 반영되지 않는 방법에 의한 분류 결과는 두 종류의 준거설정방법에 의한 분류 결과와 큰 차이를 보이며 불일치하는 것으로 나타났다. 이는 현행과 같이 단순한 원점수 평균에 의해 학생 인성을 평가하는 것은 적절하지 않을 수 있으며, 향후 학생의 인성수준을 보다 객관적으로 판단하기 위한 타당한 준거설정 연구 수행의 필요성을 시사한다.

This study aims to set the standard(‘the reached’ or ‘the non-reached’) for character testing by Rasch method and Extended-Angoff Method and to compare the results of the two methods. For this study, 1,614 middle-school students were sampled and 31 reviewer teachers participated in the procedure of standard setting. First, the comparison of Rasch method and Extended-Angoff method showed that the two methods were consistent in standard setting; P was .958 and Kappa coefficient was .784. Second, the comparison of the two methods and the method of standard setting by using the mean of raw scores revealed that the standard setting by professional judgments (Rasch method and Extended-Angoff method) would be more valid. Third, it was found that the including the reverse item could influence the standard setting to group ‘the reached’ and ‘the non-reached’, although this finding requires further examinations. Finally, this study implied that the level of possessing desirable characteristics could be agreed by professionals and the standard setting could be made for grouping students although it was considered as improbable to set the standard in testing affective characteristics such as character.