Item Parameter Drift 분석을 통한 진로성숙도 척도의 종단적 측정불변성 검증

Testing Longitudinal Measurement Invariance of a Career Maturity Scale Through an Item Parameter Drift Analysis

본 연구는 시간의 흐름에 따른 문항 특성의 변화를 의미하는 Item Parameter Drift(IPD) 분석을 통해 중학생 진로성숙도의 종단적 측정불변성을 검증하는 데 그 목적이 있다. 분석에는 대구교육종단연구(DELS) 중학교 1학년 패널의 3개년 반복 측정 자료를 사용하였다. 다분문항으로 측정된 진로성숙도 척도는 등급반응모형을 기반으로 하는 우도비 검정방법을 이용하여, 1-2차년도와 2-3차년도로 나누어 분석을 실시하였다. 분석 결과, 1-2차년도에서 3개(1번, 2번, 10번), 2-3차년도에서 4개(1번, 2번, 6번, 8번)의 문항이 IPD가 나타나는 것으로 파악되었다. 이 중 특히 꾸준한 IPD가 나타난 1번, 2번 문항은 자기이해 문항으로, 중학생의 학년이 올라갈수록 자기이해 평균점수는 점점 감소하지만 범주 난이도 모수도 함께 낮아지는 것으로 나타났다. 진로성숙도 평균점수 변화를 확인한 결과, IPD 문항이 진로성숙도 평균점수의 감소폭을 크게 만드는 원인으로 작용한 것으로 나타났다. 이는 측정불변성을 사전에 검증하지 않고 IPD가 나타나는 문항을 사용하였을 경우 측정하고자 하는 구인의 변화 추정에 큰 차이가 발생할 수 있음을 시사한다.

The purpose of this study is to examine longitudinal measurement invariance of a career maturity scale for middle school students through an item parameter drift (IPD) analysis. Data obtained from the middle school panel participating in the Daegu Education Longitudinal Study (DELS) for 3 years were analyzed. Career maturity was measured with polytomous items, and IPD items were detected for the first and the second grade and for the second and the third grade using the likelihood ratio test based on the graded response model. As a result of the IPD analysis, it was found that IPD was detected for 3 items (items 1, 2, and 10) between the first and the second grade and for 4 items (items 1, 2, 6, and 8) between the second and the third grade. Among them, items 1 and 2, which were consecutively flagged as IPD, are self-understanding questions, and the average score of self-understanding items gradually decreased although the step parameters of those items became smaller. As a result, it was found that the IPD items caused a large decrease in the average item scores of career maturity. This suggests that if the IPD items are used without testing longitudinal measurement invariance, the difference may look larger than what it actually is.