다변량 일반화가능도 이론을 적용한 성취수준 설정에서의 오차분석과 최적 조건 탐색

Investigation on optimal conditions and error variance in standard setting using multivariate generalizability analysis

준거참조평가 체제에서 평가 결과의 보고와 평가 주기에 따른 추이 파악에 성취수준의 분할점수는 매우 중요한 역할을 하므로, 분할점수에 대한 측정학적인 검토는 필수적이다. 이 연구에서는 국가수준 학업성취도 평가의 성취수준 설정 과정에서 발생하는 오차요인을 분석하고, 효율적인 측정 조건을 탐색하였다. 다변량 일반화가능도 이론을 적용하여 다수의 성취수준을 구분하기 위한 분할점수를 설정하는 과정에서의 오차요인과 크기를 분석하였으며, 각 성취수준의 분할점수별로 적정 수준의 효율적인 측정조건을 제시하였다. 연구결과 학교급(초, 중, 고), 교과(국어, 수학, 영어), 성취수준별(우수학력, 보통학력, 기초학력)로 오차요인의 상대적 영향력과 오차를 줄이는 측정조건이 다르게 나타났는데, 특히, 국어에서 다른 교과보다 많은 수의 평정자 및 라운드가 필요한 것으로 분석되었으며, 수학과 영어에서는 상대적으로 일반화가능도 계수가 높게 산출되었다. 또한, 국가수준 학업성취도 평가에서의 성취수준 설정과정의 일치도는 0.8 이상으로 매우 높았다.

Cut scores is very important to report achievement level and to analyze trends for criterion-referenced assessment. Thus it should be performed to examine valididy and reliability of cut scores. This study investigated sources of error and measurement conditions for standard setting to obtain high generalizability coefficient using multivariate generalizability theory. The results shows that the effect size of error of judgement differ depending on subjects and levels across graders. In Korean language, there is needed relatively more number of raters and rounds than other subjects for getting high reliability coefficients. In Mathematics and English, judgment of item correct-probability yielded the relatively high reliability coefficients under condition of few raters and rounds. The measurement conditions of NAEA standard setting had high generalizability coefficients which yielded more than 0.8, and was highly consistent.