최근 PISA를 비롯한 국제학업성취도 평가가 컴퓨터 기반 검사로 전환되면서 단순 응답 결과뿐 아니라, 피험자가 문항에 응답하는 과정을 기록한 프로세스 데이터의 수집 및 활용이 가능해졌다. 프로세스 데이터 중에서도 응답시간은 가장 주목받고 있으며, 문항반응이론에 근거하여 응답속도와 정확도의 관계를 분석하는 다양한 심리측정모형이 개발되고 있다. 본 연구에서는 실험심리학에서 수립된 speed-accuracy tradeoff 개념과 van der Linden의 위계적 모형(2007)을 소개하고, 이를 응답속도가 문항 유형(구성형 또는 선다형)을 반영할 수 있도록 확장시켰다. 두 가지 심리측정 모형을 통해 한국과 미국의 PISA 2015 과학 영역 자료를 분석한 결과, 한국과 미국 모두 정확도가 높은 학생들이 더 천천히 응답하는 경향이 있는 것으로 나타났으며, 이러한 경향은 미국보다 한국에서 더욱 강하게 나타났다. 또한 선다형 문항보다 구성형 문항에서 천천히 응답할수록 정확도가 높아지는 경향성이 더 강하게 나타났다.
The transition to computer-based assessment in international large-scale assessments, including PISA, enabled the collection of response processes, in addition to response outcomes. Recently, advanced psychometric models have been proposed to jointly model the response outcomes and processes. Response time, as one of the popular variables among process data, is receiving increased attention from researchers due to its accessibility. To deepen our understanding of Koreans’ extremely fast responses in PISA, I introduced and fitted van der Linden’s hierarchical model (van der Linden, 2007) and its extended version that accounts for the item types (multiple choice vs. constructed response items) to the PISA 2015 science data, collected in Korea and the United States. Negative accuracy-speed latent correlations were estimated between accuracy and speed dimensions, implying faster responses were associated with lower accuracy in both countries. Compared to the United States, Korea showed stronger negative accuracy-speed latent correlations. In addition, when the item types were considered, the model fit improved to some extent and showed stronger relationships between accuracy and speed on constructed-response items. Such a pattern was consistently observed on the technology-enhanced items, which were newly developed and administered in PISA 2015 both in Korea and the United States.
Ⅰ. 서 론
Ⅱ. 응답속도와 정확도의 관계
Ⅲ. 연구 방법
Ⅳ. 연구 결과
Ⅴ. 결론 및 논의
참고문헌