다분문항반응모형을 적용한 검사문항척도의 타당화 방법

The Validation Method of the test item scale applying Polytomous IRT: Based in the GRM, GPCM, and the DIF detection

본 연구는 검사 도구를 타당화하는 측정학적 방법으로서 다분 문항반응모형 적용 문항분석 방법과 차별기능문항 분석방법을 제안하려는 목적이 있다. 이를 위해 다분 문항반응모형의 유형 중 등급반응모형과 일반화 부분채점모형을 적용하여 문항모수 추정과 응답 범주 경계 추정 결과를 비교하였다. 또한 문항반응모형의 기본 가정인 일차원성 가정 위배 상황에서의 원인 규명 방안을 일반화 부분채점모형을 적용한 차별기능문항의 탐색을 통해 제시하였다. 연구 자료는 A 대학 전체 재학생 366명의 자기관리 역량진단 척도응답 결과이고, 분석 프로그램은 PARSCALE 3.0 버전이다. 연구 결과, 등급반응모형에서는 문항 응답 범주의 등간성 정도를, 일반화 부분채점모형에서는 범주의 응답확률과 동의 수준이 높은 범주를 문항별로 확인하였다. 또 확인적 요인분석결과를 통해 일차원성 위배원인은 차별기능문항 탐색으로 확인하였다. 그 결과 자기관리 역량과 다른 차원인 성별 요인의 개입으로, 학생의 역량 수준이 성별 집단 소속에 따라 다르게 나타나는 문항들을 확인할 수 있었다. 본 연구는 대학의 교육 성과관리 중 하나인 진단도구의 질 관리에서, 측정학적 방법을 이용한 평가 문항 검토 절차를 제안하였다. 이와 같은 측정학적 분석 결과를 통해 문항에 대한 모니터링을 할 수 있으며, 향후 역량에 따른 교육과정의 개편이나 비교과 프로그램의 수정 보완 시 신뢰할 수 있는 근거로 문항 분석 결과의 활용 가능성을 제안하고자 하였다.

The purpose of this study was for suggestion that test item validation with polytomous IRT and Differential Item Functioning(DIF) as the measurement. For this, the graded response model(GRM) and the generalized partial credit model(GPCM) which are the polytomous IRT were applied. With these, the item estimates and category threshold were compared. Also the DIF with GPCM was suggested for solution of the determining the cause when the unidimensionality-which is the one of the basic principle for IRT analysis-were threaten. 396 of the A college students participated on self-management item scale, and the PARSCALE 3.0 were used on this study. By the results, each response category threshold has consistent interval in analysis with GRM. In analysis with GPCM shows the item which has different agreement degrees by gender grouping. The results of the confirmatory factor analysis, the source of the unidimensionality-threaten was assessed with DIF detection. Finally, the gender group membership was revealed as the another dimension, the degree of the competency was differentiated by the gender factor. Because the more educations of core competency for learners are required, the measurement of accuracy for college students is important ever than before. This study proposed a procedure for reviewing evaluation items using a measurement method in quality management of test item scale, one of the educational performance management of the college. Through these measurement analysis results, the test item can be monitored, and the possibility of using the item analysis results as a reliable basis for reorganization of the curriculum or revision and supplementation of educational programs forward was presented.