고정문항모수 추정방법에서의 능력모수 순위변화 탐색

The examination of ability parameter ranking changes due to scale transformation using Fixed Item Parameter Calibration(FIPC)

본 연구는 여러 기준검사에 맞추어 척도변환을 실시할 때 변환검사에 응시한 피험자의 순위변화 여부와 정도 그리고 기준검사의 통계적 속성과의 관련성을 파악하는 것을 목적으로 한다. 이를 위하여, 변환검사의 고유문항은 변별도, 난이도, 추측도를 각각 LogN(0, 0.5²), N(0, 1), U(0.05, 0.3)의 분포에서 추출하였으며, 기준검사의 경우 고유문항의 평균 변별도 '0.5', '0', '-0.5'와 평균 난이도 '0', '0.5'를 교차시켜 6가지 검사 상황을 가정하였다. 또한 30개 문항(고유문항 24, 가교문항 6)에 대한 1,500명(N(0, 1))의 응답자료를 생성하였다. 각 기준검사에 맞추어 척도변환을 실시한 결과, 6번의 척도변환에서 모두 동일한 순위가 관찰된 피험자는 0.9%에 불과하였으며, 약 80%의 피험자는 모두 불일치하거나 2개의 검사에서만 일치하는 순위를 보였다. 백분위 변화 범위는 '1이상~2미만'이 50%로 가장 많았다. 또한 기준검사 간 순위변화 정도는 통계적 속성에 따라 달랐는데, 낮은 변별도의 검사들과 문항모수 차이가 큰 검사들 사이에는 낮은 상관계수와 낮은 일치율을, 높은 변별도의 검사들 사이에서는 높은 상관계수와 높은 일치율이 나타났다. 여러 기준검사에 맞추어 척도변환을 실시할 때마다 피험자의 순위가 매번 달라지는 것을 보여준다. 이를 통해, 기준검사 선정에 있어 합리적 근거가 필요하며, 기준검사 문항이 높은 변별도를 가질 것과 척도변환 대상 검사들의 문항모수가 일정한 수준을 유지해야함을 알 수 있다.

The purpose of this study is to demonstrate whether there are changes in a subject's ranks of ability parameter estimation when scale transformation for various old form having different statistical property. For this, true parameters(Discriminant, Difficulty, Guessing) of new form was sampled using LogN(0, 0.52), N(0, 1), U(0.05, 0.3) distributions, separately. And the six old form tests are generated by crossing the conditions that three mean discriminant '0.5', '0', '-0.5' and two mean difficulty '0', '0.5'. The response data for 30 items(unique items 24, common items 6) were generated using N(0, 1) distribution and the sample size was 1,500. The results show that the examinee who has same rankings for 6th scale transformation was only 0.9%. The 80% of examinee has entirely different 6 rankings from each other or has only 2 of same. The most high ratio(50%) of ranking changes range was 'above 1 ~ under 2'. Between the test having low discriminant parameter and the test having large distinction in item parameter shows low correlation and agreement ratio. However, between the test having high discriminant parameter shows high correlation and agreement ratio. By these result, the fact that selection the old form needs reliable and theoretical reasons become known.