온라인 학습 데이터를 활용한 지식 추적 연구: 학생 능력 분포 차이가 모델의 성능에 미치는 영향을 중심으로

Knowledge Tracing with Online Learning Data: Investigating the Impact of Differences in Student Ability Distribution on Model Performance

본 연구는 딥러닝 기반 지식 추적 모델에서 훈련 데이터와 실제 예측에 활용할 데이터 간의 학생 능력 분포 차이가 존재할 경우 모델의 성능에 미치는 영향을 분석하였다. 이를 위해 다양한 능력 분포를 가정하여 학습 이력 데이터를 생성하고 모의실험을 진행하였다. 또한, AI-Hub에서 제공하는 초·중학생 온라인 학습 데이터를 활용하여 훈련 데이터와 테스트 데이터 간의 분포 차이가 모델의 성능에 미치는 영향을 실증적으로 분석하였다. 주요 연구 결과는 다음과 같다. 첫째, 훈련 데이터와 실제 예측해야 하는 데이터의 분포 차이는 모델의 성능을 저하시키지만, 훈련 데이터가 과도하게 편향되지 않는다면 그 영향은 제한적이었다. 둘째, 학습 이력 데이터의 특성에 따라 지식 추적 모델별로 성능이 다르게 나타났다. 셋째, 동일한 데이터로 훈련된 지식 추적 모델의 경우에도 예측해야 하는 학생의 성취도 수준에 따라 모델의 예측 정확도에 차이가 나타났다. 넷째, 학생들의 문항 풀이 이력은 매우 다양한 양상으로 나타났으며, 특정 개념에 대해 반복적으로 학습하는 패턴도 관찰되었다. 이를 바탕으로 온라인 학습 환경의 특성을 고려한 지식 추적 모델 연구의 필요성과 정교한 지식 추적 모델 개발을 위한 시사점을 논의하였다.

This study aims to analyze the impact of distributional discrepancies between training and test data on the performance of deep-learning based knowledge tracing (KT) models. To achieve this, we conducted a simulation study by generating learning data with diverse distributions. Additionally, we utilized online learning data from elementary and middle school students to examine the characteristics of data collected from online learning environments and empirically assess the effect of distributional differences between training and test data on model performance. The main findings of this study are as follows. First, differences in the distribution between the training and test data led to a decline in model performance. However, if the training data was not excessively biased, the impact remained limited. Second, the performance of each KT model varied depending on the characteristics of the learning data. Third, the accuracy of KT models varied depending on the students’ achievement levels. Fourth, students exhibited a wide range of problem-solving response patterns, including repeated learning behaviors. Based on these findings, we discuss the necessity of developing KT models that account for the characteristics of online learning environments and provide insights for developing more sophisticated knowledge tracing models.