수학영재 선발에서 교사추천서와 자기소개서 채점내용 가중치에 따른 신뢰도 분석

Analyses of Reliability Coefficients Depending on Different Domain Weights in Scoring Teacher Recommendation Letters and Self-introduction Letters Used in Selection of Mathematically Gifted Students

이 연구는 관찰ㆍ추천제에 의한 수학영재 선발 시 사용되는 자기소개서와 교사추천서를 바탕으로 합성점수 산출 시 각 채점 영역에 적용되는 가중치를 다양하게 변화시킴으로써 각 선발도구의 신뢰도가 어떻게 변화하는 지 살펴보고, 최적의 신뢰도를 산출할 수 있는 채점 영역 별 배점의 조합을 탐색하는 방법을 제시하였다. 이를 위해 기존에 다변량 일반화가능도 분석을 통해 얻은 분산, 공분산 성분을 자료로 사용하였다. 이 연구에서는 채점 영역이 인지적 영역, 수학적 영역, 정의적 영역, 사회적 영역으로 교사추천서와 자기소개서에서 모두 같은 가중치를 주었다. 그러나 교사추천서에서 가장 높은 일반화가능도계수와 의존도계수를 얻기 위한 최적의 가중치는 각각 0.1:0.3:03:0.3, 그리고 0.1:0.3:0.4:0.2로, 수학적 영역과 정의적 영역에 상대적으로 높은 가중치를 주어야 하는 것으로 나타났다. 반면에 자기소개서에서 가장 높은 일반화가능도계수와 의존도계수를 얻기 위한 최적의 가중치는 각각 0.3:0.1:0.4:0.2, 그리고 0.3:0.1:0.5:0.1로, 인지적 영역과 정의적 영역에 상대적으로 높은 가중치를 주어야 하는 것으로 나타났다. 이렇게 산출된 최적의 채점 영역 별 가중치는 수학영재를 선발하기 위해 특정 영재교육원에서 개발한 루브릭을 바탕으로 평가된 선발도구에만 국한되지만, 이 연구에서 적용한 방법론적 틀은 시ㆍ도 교육청 영재교육원, 영재학급 그리고 대학의 영재교육원 등 각 영재교육 현장에서 직접 개발한 선발도구에 측정학적 특성을 바탕으로 최적의 채점 영역 별 가중치를 결정하는 데 적용 가능하다.

This study investigates the effect of different domain weights on the reliability-like coefficients, a generalizability coefficient and an index of dependability, and explores the optimal combinations of scoring structures depending on each domain. This study uses as data the variance and covariance components based on the multivariate generalizability analysis using teacher recommendation letters and self-introduction letters in the context of selection of mathematically gifted students by observation and nomination. One illustrating results: This institution weights for teachers recommendation letters and self-introduction letters equally for each domain, the cognitive domain, the mathematical domain, the affective domain. and the social domain. However, based on the maximum generalizability coefficient and index of dependability, in the teacher recommendation letters the best weight should adjust to 0.1:0.3:0.3:0.3 and 0.1:0.3:0.4:0.2, respectively. In the self-introduction letters, the best weight should adjust to 0.3:0.1:04:0.2 and 0.3:0.1:0.5:0.1, respectively. These results are necessarily specific to the selection instruments considered in this study. However, these data illustrate the usefulness of multivariate generalizability theory for answering the questions that arise with selection instruments for the gifted.