학생들의 동료평가를 활용한 수행평가 결과의 일반화가능도 분석

A Generalizability Theory Approach to Investigating the Generalizability of Performance Assessment Using Student Peer Reviews

  수행평가는 피험자의 반응을 평가하기 위한 채점자의 개입을 필요로 하는 평가형태로 채점자는 평가 결과에 영향을 주는 주된 요인이 된다. 일반적으로 채점자의 개입으로 인해 수행평가 결과의 신뢰도는 낮아지게 되고, 낮은 신뢰도는 수행평가 결과의 활용을 제한하는 요인으로 작용하게 된다. 특히 수행평가 결과를 선발과 같은 고부담(high-stakes) 의사결정에 활용할 경우, 수행평가 결과의 신뢰도 검증은 보다 중요한 이슈가 된다. 이 연구는 현재 학교 현장에서 보편적인 수행평가 채점 방식인 교과 담당 교사의 전담 채점 방식의 낮은 신뢰도 문제를 보완하기 위해 학생들의 동료평가를 활용하는 채점 방식을 연구하였다. 이러한 연구목적을 위해 일반화가능도 이론이 적용되어 학교 현장에서 수행평가에 영향을 주는 요소들의 상대적인 영향력이 분석되었고, 적정 수준의 일반화가능도 계수를 확보하기 위한 효율적인 측정구조가 검토되었다. 학생 동료평가 방식의 타당성을 검토하기 위해 학생들의 동료평가 결과와 교사의 평가 결과 사이의 상관이 분석되었고, 일정 수준의 상관관계가 도출 되어 학생 동료평가 결과의 타당성이 부분적으로 확인되었다. 학생들의 동료평가 결과를 활용한 채점 방식이 학교 현장에서 교사 전담 채점에 의한 수행평가 결과의 낮은 신뢰도 문제에 대한 하나의 대안으로 검토될 수 있을 것이다.

  Raters ate involved in the process of evaluating students" responses in performance assessments and thus play important roles influencing students" performance scores. The involvement of raters in performance assessment results in low reliability in general that makes, in turn, some limitations for the use of performance assessment results. In case of using performance assessment measures for decision making with high-stakes, the reliability check should be a critical issue. This study was designed to address issues related to investigating the generalizability of students" performance scores using student peer reviews as well as teacher ratings. A generalizabilty theory approach was adopted in this study and relative influences of several factors affecting students" performance scores were analyzed. Several measurement procedures were conceptualized and investigated to accomplish appropriate levels of generalizability. The validity of using student peer reviews was checked by examining correlation coefficients between student peer reviews and teacher ratings. Accoring to the results of this study, the student peer reviews could be considered as an alternative or a supplement to teacher ratings currently used in the classroom to increase the level of generalizability of students" performance scores.