목적: 설득 목적의 말하기를 수행하는 과제에 대한 말하기 평가 채점기준표(rubric)를 일정 수준으로 상세화하고 그것이 말하기 채점타당도에 미치는 영향을 탐색한다. 방법: 중학교 2학년 학생들을 대상으로 말하기 평가(예비 조사, 본 조사)를 실시하여 말하기 응답을 수집하였다. 채점자와 채점 대상을 모두 달리하여 1차 채점(예비 조사 채점)과 2차 채점(본 조사 채점)이 진행되었고, 이때 상세화한 채점기준표를 적용하였다. 각각의 채점이 끝난 후 채점자 간 신뢰도(ICC)를 확인하였다. 결과: 채점 결과, 3개 대범주와 7개 하위 범주로 구성된 채점기준 항목에서 2차 채점의 ‘주장의 명료성’을 제외하고 모두 양호한 신뢰도를 보였다. 채점자 간 신뢰도가 낮은 항목에 대한 원인을 탐색하였다. 결론: 본 연구에서 제안한 ‘채점기준표 상세화’가 채점자 간 신뢰도를 높이는, 나아가 평가타당도를 높이는 방안이 될 수 있음을 확인하였다.
Purpose: This Study was performed to enhance scoring reliability through the refinement of speaking assessment rubric of persuasive speaking task. Methods: The speaking responses were collected from the preliminary survey and main survey on second-year secondary school students. In each survey, the refined scoring rubric was applied by two different groups of scorers and to two different target student groups. Results: After examining the scoring results, all scoring criteria, which consist of three major categories and seven subcategories, demonstrated high reliability except for the ‘explicitly of claim’ of the second scoring. In both surveys, the consistency of inter-rater reliability (ICC) was confirmed. Conclusion: In this study, it was confirmed that by refining the scoring rubric, the inter-rater reliability can be improved.
1. 서론
2. 말하기 평가의 채점 결과에 작용하는 요소
3. 말하기 채점을 둘러싼 맥락과 채점기준표 상세화 양상
4. 상세화된 채점기준표를 적용한 채점 결과
5. 결론 및 제언
참고문헌