문항반응이론을 적용한 단위검사 구성 검사점수의 신뢰도 추정

Estimating Reliability of Test Scores Composed of Testlets Using Item Response Theory Approaches

  단위검사로 구성된 검사 점수의 신뢰도를 산출하기 위해 전통적인 Cronbach α 방법을 적용하게 되면 검사 점수의 신뢰도는 과대 추정된다. 이 논문은 단위검사로 구성된 검사점수의 신뢰도를 문항반응 이론의 다양한 문항반응모형을 적용하여 추정하고, Cronbach α로 산출한 신뢰도의 과대 추정 규모를 확인하여 문항반응이론 이용 시 적절한 신뢰도 추정 방법을 모색하려는 목적을 갖는다. 이 연구는 문항반응이론의 관점에서 신뢰도를 제고하고, 단위검사문항반응모형을 적용하여 실제 자료를 분석한 연구로는 국내에서 처음 시도되었다는 측면에서 선행연구들과 차별성을 갖는다. 전통적인 신뢰도 추정방법인 Cronbach α와 문항반응이론을 적용한 신뢰도 추정 방법 등 총 5가지 방법을 적용하여 신뢰도 계수를 산출하였고, 이러한 분석을 통해 Cronbach α 방법이 신뢰도를 약 0.07수준으로 과대추정함을 확인할 수 있었다. 이 연구에서는 문항을 단위검사 수준으로 합산하여 단위검사 점수를 생성하고 다분문 항반응모형을 적용한 신뢰도 추정방법과 문항 및 단위검사 효과를 동시에 고려하는 단위검사문항반응 모형을 적용한 신뢰도 추정방법은 그 차이가 약 0.01수준으로 작았으며, 이는 다분문항반응모형을 적용할 때 정보의 손실 정도가 비교적 크지 않은 것으로 해석될 수 있다.

  When Cronbach α is used in estimating the reliability of test scores composed of testlets, it may overestimate the reliability of test scores. This study was designed to address issues of exploring several procedures of estimating the reliability of test scores composed of testlets and examining the degree of overestimation when using Cronbach α instead of using proper methods. Item response theory approaches were adopted to investigate these research purposes and questions. This study seems the first empirical study dealing with the testlet concept under item response theory frameworks in Korea. Another academic contribution of this study can be found in using testlet item response theory model that considers items and testlets at the same time by adding one more parameter of testlet effect in the item response model. Based upon major findings of this study, following conclusions can be made. The overestimation size of using Cronbach α instead of using proper methods was about 0.07 which seemed moderate size comparing to those reported in similar previous studies. In addition, the difference between reliability coefficients produced by both polytomous item response model and testlet item response model was about 0.01, which implies the degree of information loss in this context does not seem too serious.