Development of Design Principles Based on Learning Analytics for Online Collaborative Learning in Higher Education

This study aims to develop and validate effective design principles and guidelines based on learning analytics for online collaborative learning (OCL) in higher education. To this end, based on the Design and Development Research methodology, initial design principles and guidelines were derived by analyzing key factors related to OCL and learning analytics through a systematic review. Subsequently, a three-round Delphi study was conducted with a panel of five experts in relevant fields to validate their expert validity by ensuring CVI and IRA. As a result, a final set of 15 design principles and 43 detailed guidelines for their implementation were developed, categorized under four conceptual components. The learning analytics-based OCL design principles and guidelines developed through this study are expected to contribute to practical improvements by providing instructional designers in higher education with the theoretical foundation and methodological guidance necessary for planning and implementing effective, learner-centered OCL. Specifically, these design principles incorporate strategies that leverage learning data such as log data, interaction patterns, and learning outcomes generated during the learning process, to design personalized learning paths and provide feedback tailored to individual learners' characteristics and needs, thereby facilitating and deepening the knowledge construction process. This is anticipated to support data-informed educational decision-making for both instructors and learners, ultimately fostering the qualitative growth of OCL and contributing to it.

본 연구는 고등교육 맥락에서 온라인 협력학습(OCL) 환경에 적합한 학습분석 기반의 효과적인 설계원리와 지침을 개발하고 그 타당성을 검증하는 데 목적을 둔다. 이를 위해 설계·개발 연구 방법론을 적용하여 체계적 문헌 연구를 통해 온라인 협력학습과 학습분석 관련 핵심 요소를 분석하여 초기 설계원리와 설계지침을 도출하였다. 이후, 관련 분야 전문가 패널 5인을 대상으로 3회에 걸친 델파이 조사를 실시하였으며, 내용타당도(CVI) 및 평정자 간 일치도(IRA)를 확보함으로써 전문가 타당도를 검증하였다. 그 결과, 4개의 개념적 구성요소 하에 총 15개의 설계원리와 이를 구체화한 43개의 설계 지침이 개발되었다. 본 연구를 통해 개발된 학습분석 기반 온라인 협력학습 설계원리와 지침은, 고등교육 환경에서 교수설계자가 학습자 중심의 효과적인 온라인 협력학습을 기획 및 실행하는 데 필요한 이론적 기반과 실천 지침을 제공함으로써 실질적 개선에 기여할 수 있을 것이다. 특히, 본 설계원리는 온라인 협력 학습 과정에서 생성되는 로그 데이터, 상호작용 패턴, 학습 결과물 등의 학습 데이터를 활용하여, 학습자 개개인의 특성과 요구를 반영한 맞춤형 학습 경로 설계 및 피드백 제공을 통해 지식 구성 과정을 촉진하고 전략적인 지원을 가능케 한다. 이 같은 연구 결과는 교수자와 학습자 모두에게 데이터에 근거한 교육적 의사결정을 지원하고, 궁극적으로 온라인 협력학습의 질적 성장을 도모할 것으로 기대된다.