문항 예측정답률과 문항반응이론을 이용한 원점수 분포 추정

Estimating Raw Score Distributions Using Predicted Proportion-Correct-Values And Item Response Theory

본 모의실험에서는 평가도구에 포함되는 개별 문항의 예측정답률에 Lord & Novick의 변환공식을 적용하여 원점수 분포를 추정할 때, 예측정답률 오차의 평균과 표준편차가 원점수 분포의 추정에 미치는 영향을 알아보았다. 예측정답률 오차의 평균이 0인 경우에는 오차의 표준편차 크기와는 상관없이 점수대별 모비율에 대한 95% 신뢰구간이 모비율을 모두 포함하고 있었다. 즉, 오차의 평균이 0인 경우에는 예측정답률과 Lord & Novick 의 변환공식을 사용하여 추정한 원점수 분포는 상당히 정확하고 유용한 정보를 제공할수 있는 것으로 나타났다. 그리고 예측정답률 오차의 평균이 ±5인 경우에는 오차의 표준편차가 커질수록 점수대별 모비율에 대한 95% 신뢰구간이 모비율을 포함하는 경향을 보였으나, 매우 낮거나 높은 점수 구간에서는 여전히 모비율이 신뢰구간을 벗어나는 경향이 있었다. 한편, 예측정답률 오차의 평균이 ±10인 경우에는 중간 점수 구간을 제외한 대부분의 구간에서 모비율이 95% 신뢰구간을 벗어나는 위치에 있었기 때문에 원점수 분포 추정의 유용성은 매우 제한적이었다. 요약하면, 예측정답률을 토대로 문항반응이론을 이용하여 원점수 분포를 추정하는 방법은, 개별 문항의 정답률을 정확하게 예측하지 못하더라도 평가도구의 전반적인 정답률(전체 평균)을 정확하게 예측할 수 있다면 매우 정확하고 유용한 정보를 제공할 수 있는 것으로 나타났다.

This simulation study investigated the effect of means and standard deviations (SD) of proportioncorrect- value errors on estimating raw score distributions in using proportion-correct-values and Lord and Novick's transformation formula. When the mean error of proportion-correct-values was 0, the 95% confidence interval of score-by-score proportions included all the score-by-score proportions of population, regardless of the SD size of errors. That is, raw score distributions estimated by proportion -correct-values and Lord and Novick's transformation formula were found to provide relatively accurate and useful information when the mean error of proportion-correct-values was 0. When the mean error of proportion-correct-values was ±5, the 95% confidence interval of score-by-score proportions tended to include more score-by-score proportions of population as the SD size of errors increased. In case the mean error of proportion-correct-values was ±10, most score-by-score proportions of population outlied the 95% confidence interval of score-by-score proportions. Results indicated the importance of accurately predicting the overall proportion-correct-value of a test rather than predicting proportioncorrect- value of each item when estimating raw score distributions using proportion-correct-values and Lord and Novick's transformation formula.