자기보고식 설문도구 개발을 통한 K-CESA 결과 예측 모형 구축

Development of score prediction model based on the K-CESA with self-report test tool

본 연구는 진단 도구의 특성에 따라 개인의 역량 진단 결과가 달라질 수 있다는 가능성을 바탕으로 핵심역량에 대한 자기보고식 설문 28문항을 개발하고, 이를 K-CESA에서 과제 수행식 및 자기보고식 평가로 도출된 결과와 비교 분석하였다. 이를 위해 K-CESA 진단에 참여한 S대학교 학부생 117명을 대상으로 조사를 실시하였으며, 상관분석, 서포트 벡터 머신(Support Vector Machine), 선형 회귀 모형을 적용하여 자기보고식 설문 결과와 K-CESA 결과 간의 관련성과 예측 수준을 분석하였다. 상관분석 결과, 동일한 역량을 평가하더라도 K-CESA의 과제수행식 평가 결과와 본 연구의 자기보고식 평가 결과 간의 상관은 매우 낮게 나타났다. 반면, K-CESA의 자기보고식 평가 결과와 본 연구의 자기보고식 평가 결과 간에는 유의미한 상관이 확인되었으며, 예측력 또한 높게 나타났다. 이는 적은 문항 수로도 K-CESA의 자기보고식 평가 결과를 효과적으로 예측할 수 있음을 보여준다. 이러한 결과는 역량을 진단하는 데 있어 그 평가 방식에 따라 결과에 차이가 발생할 수 있음을 실증적으로 탐구하였다는 의의가 있다. 또한 현재 교육 현장에서 널리 사용되고 있는 자기보고식 역량 척도에 대하여 실제 수행과의 괴리를 줄이기 위한 방향성을 제시하였다는 점에서 시사점을 제공한다.

This study investigates the possibility that the characteristics of assessment tools may influence the results of individual competency evaluations. A self-report survey consisting of 28 items was developed to assess core competencies and was compared with the results obtained from K-CESA’s performance-based and self-report assessments. The study involved 117 undergraduate students from S University who participated in the K-CESA assessment. Correlation analysis, Support Vector Machine (SVM), and linear regression models were applied to examine the relationships and predictive accuracy between the self-report survey results and the K-CESA outcomes. The correlation analysis revealed that, even when assessing the same competencies, the relationship between the performance-based evaluation results from K-CESA and the self-report survey results developed in this study was very weak. In contrast, there was a significant correlation between the self-report evaluation results from K-CESA and the self-report survey results from this study, with strong predictive accuracy. This indicates that even with fewer items, the self-report evaluation results from K-CESA can be effectively predicted. These findings highlight the importance of assessment methods in determining competency evaluation results. Furthermore, the study provides practical implications by proposing directions to reduce discrepancies between self-report measures widely used in education and actual performance, thereby improving the validity of competency assessment tools.