일반화가능도 이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정

Estimating Reliability of Test Scores Composed of Testlets using Generalizability Theory Approaches

  단위검사로 구성된 검사 점수의 신뢰도를 추정할 때 문항점수를 이용한 Cronbach α 방법으로 신뢰도를 추정하면 검사 점수의 신뢰도를 과대 추정하게 된다. 이 논문은 국내측정 자료를 대상으로 아직 실증연구가 없었던 단위검사로 구성된 검사점수의 신뢰도를 일반화가능도 이론을 적용하여 추정하고, Cronbach α로 산출한 신뢰도의 과대 추정 규모를 확인, 적절한 신뢰도 추정 방법 모색을 목적으로 한다. 이 연구는 학업성취도 자료가 아닌 적성검사의 하위검사인 사고유연성 검사 자료를 수집하여 분석하였다는 측면에서 외국의 선행 연구들과 차별성을 가진다. 이 연구에서는 전통적인 신뢰도 추정방법인 Cronbach α와 일반화가능도 이론을 적용한 신뢰도 추정방법 등 총 5가지 방법을 적용하여 신뢰도를 추정하였으며, 이를 통해 Cronbach α의 과대추정 규모가 약 0.1수준이고, 이러한 과대추정은 단위검사 내 문항의 상관이 단위검사 간 문항의 상관보다 높기 때문임을 확인할 수 있었다. 목표로 하는 신뢰도 확보를 위해서는 검사의 문항 수가 고정된 상태에서 단위검사 내의 문항 수를 늘리는 것 보다 단위검사의 수를 증가시키는 것이 효율적이라는 결과를 도출하였다.

  When Cronbach α is used in estimating the reliability of test scores composed of testlets, it may overestimate the reliability of test scores. This study was designed to address issues of exploring several procedures of estimating the reliability of test scores composed of testlets and examining the degree of overestimation when using Cronbach α instead of using proper methods. Generalizability theory approaches were adopted to investigate these research purposes and questions. This study is the first empirical study dealing with the testlet concept under generalizability theory frameworks in Korea. Another academic contribution of this study can be found in using aptitude tests rather than using achievement tests which were most frequently used in previous studies conducted in the united states and other countries. Based upon major findings of this study, following conclusions can be made. The overestimation size of using Cronbach α instead of using proper methods is about 0.1 which is slightly bigger than those reported in similar previous studies. The overestimation seems to be mainly caused by the fact that the average of within-testlet inter-item correlations is higher than that of between-testlet inter-item correlations. To have a targeted reliability, it could be more efficient way to increase the number of testlets than to increase the number of items within testlets if the total number of items in a test is fixed.