DETECT를 이용한 소표본 평가 자료의 차원 구조 규명

Dimensionality Structure Assessment for the Small Sample Test Data Using DETECT

  교육 평가 자료의 차원 구조 분석 도구 DETECT는 두 문항 사이의 조건부 공분산에 기초하여 개발되었으며, 차원이 다른 문항들의 군집 형태를 고려한다. DETECT는 자료에 존재하는 다차원성의 정도를 수치로 추정하고, 내재된 차원의 개수를 알아내며, 문항들을 차원이 같은 군집으로 묶는다. 또한 DETECT는 이분 (binary) 문향 자료는 물론 다분 (polytomously scored) 문항에도 적용되도록 확장되었다. 그러나 선행된 DETECT에 대한 연구는 대표본 자료에 국한되어 실제 평가 환경에서 만나는 비교적 작은 규모의 자료에 적용하기에 한계가 있었다. 따라서 본 연구는 소표본 자료의 차원 분석의 기준이 될 수 있는 준거를 마련하는 데 목적을 둔다. 즉, 문항수도 크지 않고 평가 학생수도 충분하지 않은 경우에 적용시킬 수 있는 기준을 탐색하고자 한다. 모의실험과 실제 자료 분석 결과 20 문항 이하의 작은 규모의 평가일 때 평가 대상 학생수가 200명 정도이면 DETECT를 이용하여 신뢰할 만한 결과를 얻을 수 있는 것으로 나타났다. 그리고 정확한 군집을 복원하는 비율도 매우 크게 나타나 DETECT의 좋은 성능을 보여준다. 또한 소표본에서도 DETECT 값에 따라 자료의 다차원 정도를 대표본의 경우와 거의 같은 기준으로 판단할 수 있음을 밝혔다. 그러나 무엇보다 DETECT만이 갖는 차별성이라면 다차원성의 정도를 수치화할 수 있다는 점일 것이다. 만일 현장에서 크고 작은 규모의 평가 자료를 다루는 경우 DETECT를 활용한다면 보다 심도있는 자료 분석이 될 것이라 판단된다.

  Multidimensionality detecting procedure DETECT, based on conditional covariances between items, is using item clustering distinctive dimensionally. It numerates the amount of multidimensionality in the data, finds the number of dimensions of the data, and classifies items according to their dimension. Although DETECT has been developed for the binary items, it is extended to deal with polytomous item data. Simulation study using DETECT, however, has been performed only for the large sample data, which is moderate length test with large number of examinees. It necessitates to have a benchmark for the both small number of items and small number of examinees case when we employ DETECT for the dimensionality assessment. Simulation study shows that for a test having less than 20 items 200 examinees supply enough information on obtaining reliable results. Moreover the recovery rates of correct item clusters are high. On top of other findings, it is very promising that DETECT still summarizes well degrees of lack of unidimensionality in the data. The same categories on magnitude of DETECT are useful to reveal the amount of multidimensionality as in the large sample data cases. Real data study also provides very meaningful results, making DETECT a strong dimensionality assessment tool for the test data analysis.