담화 능력 평가를 위한 채점기준표 개발 - 수행결정나무(PDT) 방식을 사용하여

Developing a Scoring Rubric for Assessing Discourse Competencethrough a Performance Decision Tree Approach

지금까지 많은 연구들에서 담화 능력은 수험자의 의사소통 능력을 판단하기 위한 중요한 구인으로 다루어져 왔다. 하지만 담화 능력은 언어 능력의 다른 부분인 문법이나 어휘 혹은 발음 등과 같이 모국어 화자의 발화 직관만으로 평가 기준을 명확하게 기술하기 힘들다. 그래서 지금까지 많은 평가들에서는 담화 능력을 모호하고 주관적인 용어를 사용하여 채점 기준을 기술하고, 그 기준을 사용하여 평가해 왔다. 본 연구에서는 담화 능력을 평가하는 데 있어서 이러한 문제점을 보완하기 위하여 Fulture(2011)가 제안한 수행기반채점표(performance Decision Tree: PDT) 방식의 채점기준표 개발 방안을 제안하는 데 그 목적이 있다. 본 연구는 이해용·이향(2015)과 이용·이해용(2018)의 후속 연구로 선행연구들에서 다루었던 ‘부탁하기’ 과제에서의 모국어 화자의 담화 구조와 담화 능력별 한국어 학습자들의 담화 특징을 기반으로, 먼저 채점자들의 채점 경향을 분석하고, 그 결과를 범주화, 단계화하여 PDT 방식의 채점표를 개발하였다. 본 연구에서 제안한 담화 능력 평가를 위한 PDT 방식의 채점기준표는 담화 능력을 평가하는 데 있어 모호함이나 주관성으로 인하여 나타날 수 있는 채점 신뢰도 문제를 해결하여 보다 타당한 채점기준표를 개발하는 데 기여할 수 있을 거라 본다.

Many researches have argued that discourse competence is a significant part of the communicative competences required for foreign learners. Accordingly, foreign language assessments treat discourse competence as an important construct for determining test takers' communicative competences. However, unlike for other linguistic competences, such as grammar, vocabulary, or pronunciation, it is difficult to present a clear grading scale for discourse competence that is based on the accuracy of native speakers on an absolute standard. As a result, many former assessments have used scoring rubrics with vague and subjective terms. To supplement these previous problems, this research presents a scoring rubric, based on the Performance Decision Tree method, and assesses native speakers’ discourse structures and foreign learners’ discourse characteristics per various levels of discourse competences in a REQUEST task. After conducting an additional analysis on graders’ grading tendencies, this study developed a performance-based scoring rubric by categorizing and sequencing the results. The Performance Decision Tree scoring rubric for discourse competence can contribute towards developing a more valid scoring rubric and solve the problem of scoring reliability, resulting from previous scoring rubrics’ vagueness and subjectivity.