문항반응이론 가정검증을 기반으로 한 대안적 모수추정모형 비교연구

Comparing alternative IRT parameter estimation models based on unidimensionality and local independent assumptions using PISA 2009 reading test

본 연구는 PISA 2009 읽기검사의 문항 특성과 피험자 특성을 추정하기 위해 문항반응이론을 적용한 연구로, 문항반응이론 가정검증을 바탕으로 PISA 2009 읽기 검사에 가장 적절한 대안적 모수추정모형을 선택, 적용하고자 하였다. 이를 위해 먼저 PISA 2009 읽기검사의 총 13개 검사소책자의 단일차원성 가정 만족여부를 검증한 결과, 모든 검사소책자에서 단일차원성이 위배되었고, 지역독립성 가정 검증 결과, 검사소책자 중 8개가 지역독립성을 위배한 것으로 확인되었다. 검사의 가정 위배에 따라 단일차원성만 위배된 경우에는 bi-factor IRT 모형이, 단일차원성과 지역독립성이 모두 위배된 경우에는 testlet 기 반 모형이 모수추정에 가장 적합한 것으로 나타났다. 연구 결과는 문항반응이론 적용을 위해 전제되어야 하는 가정 위배 상황에 따라 다른 대안적 모수추정모형이 적합할 수 있음을 제안하고 있으며, 이는 검사의 단일차원성과 지역독립성 위배에 대한 확인과 더불어 그에 맞는 대안적 모수추정모형을 고려해야할 필요가 있음을 시사한다.

This study investigated the most appropriate alternative IRT parameter estimation models when the IRT assumptions are not met. For this study, the PISA 2009 reading test was used to confirm IRT assumptions, and to compare the alternative IRT models based on the results of the assumption satisfaction. The results of testing the assumptions using the actual test showed that, all of the 13 test booklets were in violation of the unidimnsionality assumption and eight of the test booklets unsatisfied the local independence assumption. Specifically, bi-factor IRT model was the most appropriate when the unidimensionality assumption was violated, and testlet based model was appropriate regardless of the item length or the item clusters when the principles of unidimensionality and local independence assumptions were violated simultaneously. It is significant that the appropriate type of alternative IRT models differ based on which IRT assumptions are violated. When the large scale academic performance tests violate unidimensionality and local independence assumptions, the alternative IRT models can be considered for better parameter estimation. As this study shows, it is necessary to estimate alternative IRT models by going through the process of anticipating the possibility of violation of IRT assumptions due to the test forms and domains of their contents. It is expected that such a process will provide the basis for applying the IRT more precisely in order to estimate the capability of item and person characteristics.