교육 및 심리검사의 구인 타당도 검증을 위한 완전-정보 문항 요인분석의 적용

The Application of Full-information Item Factor Analysis to Assess Construct Validity of An Educational And Psychological Test

  교육 및 심리검사의 구인 타당도(construct validity)를 경험적으로 검증하기 위해 흔히 사용되는 문항 간의 적률상관행렬에 기반을 둔 선형적 요인분석은 범주형 자료로서의 각 문항 변수를 연속 변수로 본다거나 충족되기 어려운 정규성을 가정하는 등의 문제점을 가지고 있다. 사분상관계수(tetrachoric correlation coefficient)를 기본 자료로 사용하는 요인분석은 이보다 이론적으로 적합한 방법이기는 하지만, 구인타당도 검증에 있어서 실행상의 문제점이 발생할 수도 있는 것으로 알려져 있다. 이 논문에서는 이러한 문제점들로부터 자유롭기 때문에 보다 나은 구인 타당도 검증이 가능하리라고 기대되는, 완전-정보 문항  요인분석 (FIFA: full-information item factor analysis) 방법을 소개하고 앞의 방법들과 비교하여 그 차이점을 분석한다. 또한, FIFA와 수리적으로 동일한 방법론인 다차원 문항반응이론(MIRT: multidimensional item response theory) 모형을 함께 소개하고 그 관계를 설명한 후에, 상호보완적인 이용을 예시한다. 수학 성취도 측정을 위한 실제 검사 자료를 이용하여 1) 적률상관계수를 사용한 요인분석, 2) 사분상관계수를 사용한 요인분석, 그리고 3) FIFA를 적용했을 때 그 결과상의 차이점을 비교한 후, 같은 자료에 대하여 FIFA와 MIRT 모형을 통하여 구인을 확인해 나가는 과정을 제시하였다. 마지막으로, 세 방법론 간의 비교를 위한 간단한 시뮬레이션 연구를 실시하여 적률상관행렬을 이용한 요인분석의 문제점을 확인하였다.

  Even though exploratory linear factor analysis using a product moment correlation matrix is commonly applied to assess construct validity of an educational and psychological test, this method is not appropriate for item-level data having categorical response format because traditional factor analysis assumes continuous ratings and normality. The use of tetrachoric correlations may be a theoretically better alternative, but it is known that it may have some practical problems and does not necessarily provide satisfactory improvement in results. This study introduces full-information item factor analysis which is known to be free from such problems and compares its performance in assessing construct validity with those of other factor analysis methods. In addition, a multidimensional item response theory model which is mathematically identical to full-information item factor analysis is also described, and its complementary use is illustrated with a real dataset from a mathematical achievement test. Finally, through a simple simulation study, the three factory analysis methods are compared and a problem of the use of product moment correlation matrix is identified.