일반화가능도 이론을 적용한 초등학교 쓰기 수행평가의 총체적 채점과 분석적 채점 방식 비교

본 연구는 초등학교 쓰기 수행평가를 총체적 채점 방식과 분석적 채점 방식을 적용하고, 평가하여 각각의 채점 방식에서 점수에 영향을 미치는 요인들의 상대적 영향력을 산출하였다. 또한 두 채점 방 식의 채점자간 신뢰도를 파악하였으며, 각 채점 방식에서 신뢰도 향상에 도움을 줄 수 있는 쓰기 수행 평가의 채점 구조 즉, 적정 수준의 과제 수와 채점자 수를 제시하고자 하였다. 이를 위해 초등학교 4 학년 43명 학생들의 쓰기 수행평가물을 일반화가능도 이론을 이용하여 분석하였다. 연구 결과 첫째, 초등학교 쓰기 수행평가의 총체적 채점 방식과 분석적 채점 방식 모두 쓰기 점수에 가장 큰 영향을 미치는 요인은 피험자의 능력이었다. 둘째, 쓰기 수행평가 점수의 주된 변산원은 총체적 채점 방식에 서는 피험자×과제의 상호작용이고, 분석적 채점 방식에서는 피험자×과제×채점 기준의 상호작용이었다. 셋째, 두 채점 방식 간에는 높은 상관관계가 존재하여 두 채점 방식으로 학생들의 쓰기 능력을 평가하 여 산출된 점수는 유사한 순위로 배열됨을 알 수 있었다. 분석적 채점 방식이 총체적 채점 방식보다 채점자간 신뢰도가 다소 높았지만, 차이는 미미한 것으로 보인다. 넷째, 채점자 수를 늘리는 것보다 과 제 수나 채점 기준 수를 늘리는 것이 측정 오차를 낮추고 신뢰도 계수를 높이는 데 더 효과적인 것으 로 나타났다. 잘 정의된 채점 기준 및 절차가 사용되고 채점자들이 훈련을 철저히 받아 초등학교 쓰기 수행평가를 채점하면 목표로 하는 수준의 신뢰도 계수를 확보할 수 있을 것으로 보인다.