중학생의 민주적 의사소통 수행 수준별 특성 분석

Characteristics of Students’ Performance at Different Levels in a Democratic Communication Assessment: The Use of Text-mining Analyses

이 연구는 텍스트 마이닝 기법을 활용하여 중학생의 민주적 의사소통 평가 서술형 답안의 수행 수준별 특성을 분석하기 위한 것이다. 이를 위해 중학생 543명을 대상으로 시나리오기반 서술형 평가를 시행하였으며, 채점 결과에 따라 답안을 상, 중, 하의 3개 수준으로 구분하였다. 수행 수준별 답안에 대한 키워드 빈도, 키워드 네트워크, 토픽모델링 분석 결과는 다음과 같다. 첫째, 키워드 빈도분석 결과, 하 수준에서는 시나리오의 문제 상황을 기술하는 단어의 출현 빈도가 높았으며, 상 수준에서는 문제 해결 방법과 절차를 설명하는 단어가 높은 빈도를 나타냈다. 둘째, 키워드 네트워크 분석 결과, 하수준에서는 상황을 기술하는 단어들이 느슨하게 연결되어 있는 반면, 상 수준에서는 문제 해결의 방법을 기술하는 단어가 의사결정의 단위나 중재자의 역할과 연합하여 등장하였다. 셋째, 토픽모델링 분석결과, 하 수준에서는 제시된 갈등 상황이 잠재 토픽으로 도출된 반면, 상 수준에서는 상호 의견 존중과 문제 해결 방법이 잠재 토픽으로 도출되었다. 끝으로 학생 평가자료에 대한 텍스트 마이닝 분석의 유용성과 향후 과제를 논의하였다.

This study aims to investigate how different levels of student performance are distinctively characterized in a scenario-based democratic communication assessment, applying a series of text-mining analyses. Responses written by 543 middle school students were categorized into higher, middle, and lower levels according to their scores, and the performance characteristics of the groups were compared. The main findings are as follows. First, the keyword frequency analyses showed that words describing the problem situation in the scenario were frequent at the lower level, while words describing methods and procedures for solving the problem were frequent at the upper level. Second, as a result of keyword network analysis, words describing the situation were loosely connected at the lower level, while words describing the principles of problem solving showed higher centrality. Third, the topic modeling analysis showed that at the lower level, the presented problem situation emerged as a latent topic, while at the upper level, mutual respect and problem solving methods emerged as latent topics. Finally, we discuss the usefulness and future challenges of using text mining techniques to scrutinize qualitative differences in student performance in constructed response questions.