프로세스데이터를 활용한 과제참여도 측정가능성 탐색

Can we measure students’ task engagement using item response time in a low stake test? Evidence from PISA 2015

이 연구는 컴퓨터기반 학업성취도평가에서 산출되는 프로세스데이터 중 응답시간 정보를 활용하여 학생들의 과제참여도, 구체적으로 자기 능력보다 어려운 과제를 해결하기 위해 인지적 활동을 지속하는 정도를 측정하는 방법을 탐색하기 위한 목적으로 수행되었다. PISA 2015 자료 중 한국 학생 5,568명의 능력추정치와 문항난이도 추정치, 그리고 응답시간 자료를 활용하였으며, 주요 연구결과는 다음과 같다. 첫째, 문항응답시간에 대한 개인 간 분산은 학생의 성취도와 다른 동기적 특성을 고려한 후에도 유의하였다. 둘째, 문항응답시간을 활용하여 구성한 과제참여도 지수는 효능감, 흥미, 성취동기와 약한 정적 상관을, 성취도와 중간 정도의 정적 상관을 보였다. 셋째, 문항응답시간을 활용하여 구성한 과제참여도 지수는 성취도를 예측하는 데 다른 동기적 특성들과 상호 보완적인 역할을 하는 것으로 나타났다. 마지막으로, 응답시간을 활용하여 학생의 비인지적 특성을 진단하는 것의 유용성과 제한점, 향후 연구과제가 논의되었다.

This study aims to investigate whether item response time recorded in a low-stake computer-based test can provide useful information of students’ task engagment in science learning. It is assumed that students having higher level of task engagement are more likely to persist in putting his/her time to solve given items even when the items are challenging and none of rewards are expected. Two different types of task engagement index were constructed using a total of 5,568 Korean students’ item responses and response time data. Main findings are as follows: First, the between-individual variance in response time was significant even after controlling for students’ achievement and several key motivational factors. Second, the measures of task engagement based on response time showed weak correlations to self-reported measures of interest, efficacy, and achieving goal. Third, the two measures of task engagement moderated the effect of motivational factors on achievement, as previous studies has hypothesized. Implications, limitations and further research directions were discussed.