목적: 이 연구는 글의 특징과 채점자의 채점 편향 간에 어떠한 관련성이 있는지를 탐색하고자 한다. 방법: 논설문 30편에 대한 국어교사 36명의 채점 결과를 바탕으로, 다국면 Rasch 분석을 통해 채점 편향 및 비신뢰성 검증을 분석하였으며, 글의 논증 구조, 글의 분량, 글의 수준을 기준으로 글의 특징을 살펴보았다. 결과: 글의 논증 구조, 글의 분량, 글의 수준이 상 수준인 경우 채점 편향과 비신뢰성 검증의 이상치가 집중되었으며, 엄격한 편향이 주로 나타났다. 또한 글의 각 변인에 따라 상·중·하 집단 간의 효과 크기를 산출한 결과, 글의 수준별 집단 간의 비신뢰성 검증 수에 대한 효과 크기 분석에서 상 수준과 중 수준 간의 효과 크기가 1.92로 가장 크게 나타냈다. 반면에 글의 분량별 집단 간의 채점 편향 수에 대한 효과 크기 분석 결과, 효과 크기가 다른 요인에 비해 가장 작게 나타났다. 결론: 글의 특징에 따라 채점 편향과 비신뢰성 검증 결과가 상이할 수 있음을 보여 주는 것으로, 채점의 신뢰도를 높이기 위해서는 글의 특징에 따라 채점 편향을 줄이기 위한 방안이 필요함을 시사한다. 또한 글의 분량에 비해 글의 수준이나 논증 구조와 같은 글의 내적 특징의 차이가 채점 편향에 더 큰 영향을 미칠 수 있음을 알 수 있다.
Purpose: The purpose of this study is to examine the relevance between the characteristics of text and the rating bias of the raters. Methods: In order to accomplish this research purpose, based on the results of 36 Korean language teachers scoring 30 student papers, rating bias and unexpected responses were analyzed through multi-faceted Rasch analysis. Results: As a result, we found that rating bias and unexpected responses were concentrated when the argument structure of the text, the volume of text, and the level of text were at a higher level. In addition, in the effect size analysis on the number of rating biases between groups divided by the volume of text, the effect size of the upper and middle levels, and the middle and lower levels were shown to be the smallest compared to the other variables. Conclusion: This shows that rating bias and unexpected responses results may differ depending on the characteristics of the text, suggesting that measures are required to reduce rating bias according to the characteristics of the text to increase the reliability of rating.
1. 서론
2. 이론적 배경
3. 연구 방법
4. 연구 결과 및 분석
5. 결론
참고문헌