쓰기 채점 방식에 따른 국어교사의 채점 신뢰도 비교 연구

A Comparative Study on the Korean Language Teacher s Scoring Reliability According to Writing Scoring Methods

이 연구에서는 Rasch 모형을 활용하여 쓰기 채점 방식에 따른 국어 교사의 채점 신뢰도를 비교하고자 하였다. 이를 위해 채점 방식 별로 총체적 채점, 분석적 채점, 주요 특성 채점(1, 2)의 네 집단에 각 4명씩 총 16명의 국어교사에게 고등학생의 비평문 20편을 채점하게 하였다. 그 결과 채점자내 일관성에 있어서는 분석적 채점을 시행한 채점자들이 가장 적합한 일관성을 보였으며 총체적 채점이 중간 정도의 적합성을, 주요 특성 채점 방식이 가장 낮은 적합성을 보였다. 채점자 간 엄격성의 차이를 의미하는 채점자간 신뢰도에 있어서는 총체적 채점에서 매우 높은 신뢰도를 보인 반면 분석적 채점이나 주요 특성 채점 방식에서는 매우 낮은 신뢰도를 보였다. 이를 통해 볼 때, 각각의 채점 방식에서 비롯된 채점 신뢰도의 특성을 이해하고 이를 보완할 수 있는 채점 방안이 마련되어야 할 것으로 보인다.

The purpose of this study is to analyze the difference in rating reliability depending on the writing assessment methods. For that, the scoring data from 16 Korean language teachers divided into four groups was analyzed using Rasch Measurement Model. The findings are as follows. First, In case of rating severity, It was most strict evaluation in holistic scoring and most generous assessment in analytic scoring. Primary traits scoring has intermediate level of severity but closer to the holistic scoring. Second, In case of intra-rater reliability, All rater using analytic assessment method has appropriate level but two of four rater in holistic scoring group and seven of eight rater in primary traits scoring group has inadequate consistency. As a result, holistic and primary traits assessment methods have a problem in intra-rater reliability. Thirds, inter-rater reliability showed very contrasting patterns. It was very high in holistic assessment but very low in analytic and primary traits assessment. This results can be interpreted as raters showed high inter-rater consistency when they use familiar scoring method. In light of these results, More valid and reliable assessment could be available when we understand each writing assessment methods very well and utilize various measures to make up for reliability of each assessment methods.