소규모 표본에서 모수 및 비모수적 접근 방법 간 인지요소 패턴 추정의 정확성 비교

A Comparison of Parametric and Nonparametric Approaches in the Accuracy of Attribute Pattern Estimation for small sample cases

본 연구에서는 소규모 표본에서 모수적 및 비모수적 접근 방법에 따른 피험자 능력 추정의 정확성을 비교하고자 하였다. 특히, 피험자의 수, 문항의 진단성 등의 다양한 검사 조건에서 기존 NPC 방법의 한계점을 극복하고 적용가능성을 높이기 위해 새롭게 제안된 GNPC 방법이 자료가 단순하거나 복잡한 형태의 인지진단모형에 부합하는 경우에 어떻게 기능하는지에 대해 파악하는 것이 본 연구의 목적이다. 연구 결과, 소규모 인원을 대상으로 수집된 자료가 단순한 인지진단모형에 부합하는 경우에는 비모수적 접근 방법 중 NPC 방법을 적용할 때 피험자 능력 추정의 정확성이 가장 높았다. 자료가 복잡한 인지진단모형에 부합하는 경우에는 GNPC 방법을 적용했을 때 피험자 능력 추정의 정확성이 가장 높았다. 즉, 모수적 접근 방법을 적용하기 어려운 소규모 검사 상황에서 비모수적 접근 방법이 유용한 대안이 될 수 있음을 확인할 수 있었다. 또한 소규모 표본에서도 문항이 진단성이 높을수록 피험자 능력 모수 추정의 정확성이 증가하는 것으로 나타났다.

The purpose of this study was to compare parametric and nonparametric approaches in terms of the accuracy of estimating the examinee’s attribute pattern for small sample cases. In particular, this study aimed to understand the properties of the newly proposed GNPC method under various test conditions such as number of examinees and item diagnosticity, when the data conform to a simple or complex cognitive diagnostic model. The main results are as follows. If the data collected for a small number of examinee conform to the simple cognitive diagnostic model, the accuracy of the examinee’s ability estimation was highest when the NPC method was applied among the nonparametric approaches. If the data conform to the complex cognitive diagnostic model, the examinee’s ability was more accurately estimated in GNPC method. In other words, it was confirmed that a nonparametric approach could be a useful alternative in small sample cases where it is difficulty to apply a parametric approach. Also, even in small sample cases, the higher the item diagnosticity, the higher the accuracy of the examinee’s ability estimation.