The Effects of Model Misspecification on the Analysis of Judge Ratings

수행평가 분석에서 모형오류가 미치는 영향

본 연구는 과제별로 다양한 변별도를 허용하도록 일반화부분점수모형을 확장하여 채점자 성향을 분석하였다. 모형에는 수험자, 채점자, 문항, 채점영역 등 총 4-국면이 포함되었다. SAS NLMIXED는 수용 가능한 수준으로 모수를 추정했으며, 모든 반복분석에서 참 모형을 거짓 모형보다 올바른 모형으로 구분해 낼 수 있었다. 본 연구의 결과는, 실제로 모형오류가 수행평가 분석에서 모수추정의 결과를 왜곡시킬 수 있음을 보여 주었다. 특히, 일부 단계난이도 추정치들의 바이어스가 훨씬 커졌으며, 채점자 효과에 대한 통계적 유의성 검정 결과에서 I종 오류가 자주 발생하였다.

The study extended the generalized partial credit model to embrace varying degrees of discriminability across different tasks in the analysis of rater severity. Examinees, judges, items, and dimensions were the four facets for the study. SAS NLMIXED recovered model parameters at an acceptable level and identified the true model over the false model uniformly over all replications. The findings of the study indicated that model misspecification might distort parameter recovery in the analysis of judge ratings. In particular, the bias in some step difficulty estimates became much larger, and the significance tests for rater effects resulted in more Type I errors.