LLTM모형과 LLTM-R모형을 이용한 Rasch 문항난이도 및 문항정답률에 영향을 미치는 요인 탐색

An Exploratory Study on Factors Influencing Rasch Item Difficulty and Item Proportion Correct Using LLTM and LLTM-R models: Focusing on 3R’s Math Test for 3rd Grade

본 연구는 일반선형혼합모형(generalized linear mixed model: GLMM) 틀 안에서 LLTM(linear logistic test model)과 LLTM-R(linear logistic test model with error)을 이용, 기초학력 진단검사 3R’s 셈하기의 Rasch 문항난이도와 문항정답률을 예측하고자 하였다. 12개 문항 속성 변수를 Q행렬로 추출했고, 자료는 2018년, 2019년, 2022년, 2023년 전국에서 표집 시행한 것이다. 연구 결과 첫째, ‘그림 보고 해결하기’와 ‘받아올림/내림’이 있는 문항은 어려웠다. 문항 속성은 ‘수 읽고 해결하기’, ‘한 자리 수’, ‘구성형’ 순으로 많이 나타났고, ‘받아올림/내림’과 ‘관계알기’는 빈도가 낮았다. 둘째, Rasch 문항난이도와 LLTM으로 추정된 문항난이도 간 상관은 0.67~0.79였고, LLTM-R을 사용했을 때 1.0에 가까웠다. 셋째, LLTM-R로 문항 응답을 예측한 후 관찰된 정답률과 예측된 정답확률 평균 간 상관은 0.74~0.76 정도였다. 관찰된 정답률과 문항반응을 예측하여 구한 정답률 간 차이가 5% 이내인 문항은 68%~92%였고, 10% 이상인 문항은 없었다.

This study aimed to predict the Rasch item difficulty and the proportion of correct responses for the 3R's math tests in the Diagnostic Tests of Basic Skills using the Linear Logistic Test Model (LLTM) and the Linear Logistic Test Model with error (LLTM-R). Q-matrices with 12 item attribute variables were derived, and the national samples were collected in 2018, 2019, 2022, and 2023. Findings reveal that, firstly, items requiring problem-solving with pictures and carrying/borrowing were challenging, while attributes like solving by reading numbers, single-digit, and constructed-response were prevalent. Secondly, correlations between Rasch difficulties and LLTM estimates varied between 0.67-0.79, but approached 1.0 with LLTM-R. Thirdly, after predicting item responses with LLTM-R, correlations between the observed proportion of correct responses and the predicted proportions of correct responses were approximately 0.74 to 0.76. The percentages of items with less than a 5% difference between observed proportion of correct response and predicted proportion of correct responses over four years ranged from 68% to 92%, and there were no items with the difference of more than 10%.