비대면 학습상황에서 대학생의 의사소통역량 평가도구 개발

The Development of a Behavior-based Measurement Tool for Undergraduate Students’ Communication Competency in Online Learning Situations

본 연구의 목적은 실시간 비대면 학습상황에서 대학생의 의사소통역량을 평가하는 행동관찰 평가도구를 개발하고 타당화하는 것이다. 이를 위해 기존의 의사소통역량 관련 검사도구들을 수집하고 분석하여 평가차원과 평가요소를 도출하였다. 평가차원은 기능, 태도, 기술, 세 가지로 구성되었다. 평가요소로는 기능 차원에서는 자기의견표현, 타인의견이해, 의사진행이 포함되었고, 태도 차원에서는 적극성, 타인존중, 개방성이 포함되었다. 기술 차원은 기술 요소 하나로 구성되었다. 평가요소 하에 총23개의 행동지표를 개발하고 이 지표를 적용, 평가하기 위해서 실시간 비대면 형태의 학부 수업에 참여한 대학생 154명의 영상데이터를 수집하였다. 11명의 평가자가 개발된 행동지표를 기반으로 대학생의 의사소통역량을 평정하고 평가자 간 신뢰도를 산출하였다. 원채점, 재채점 과정을 거쳐 23개의 행동지표에 대해 기준에 적합한 평가자 간 신뢰도 및 문항내적일관성을 확보하였다. 본 검사도구의 개발은 온라인 수업이 보편화되고 있는 현 시점에서 비대면 상황에서의 의사소통역량을 측정한다는 점, 그리고 행동지표를 기반으로 의사소통역량을 측정한다는 점에서 의의가 있다.

The purpose of this study was to develop and validate a behavioral observation tool that evaluates college students communication competency in real-time, online learning situations (e.g.synchronous online classes). To this end, existing test tools related to communication competency were collected and analyzed to derive the dimensions of evaluation and evaluation elements. The dimensions of evaluation consisted of three categories: function, attitude, and skill. Evaluation elements in the functional dimension included self-expression of opinion, understanding of others opinions, and proceedings of opinions. Evaluation elements in the attitudinal dimension included activeness, respect for others, and openness; and the evaluation element in the technological dimension consisted of the technology element. A total of 23 behavioral indicators were developed, and the video data of 154 college students who participated in synchronous online classes were collected to apply and evaluate these indicators. Based on the developed behavioral indicators, 11 raters assessed the college students communication competency, and reliability between raters was calculated. Through the original scoring and reassessment processes, reliability among raters and internal consistency reliability for 23 behavioral indicators met the criteria for acceptance. The development of this measurement tool is meaningful in that it measures communication competency in online situations that have recently become more common, and it also measures communication competency based on behavioral indicators.