혼합척도에서의 표현효과 탐지와 통제 방안: 제약된 요인혼합모형(CFMM)의 적용

Detecting Wording Effects in Self-Report Measures: Application of Constrained Factor Mixture Modeling

긍정형과 부정형 문항이 혼합된 척도에서는 응답자가 문항의 표현 방식에 따라 반응하는 체계적인 편향이 발생할 수 있으며, 이를 표현효과(Wording Effect)라고 한다. 표현효과는 연구 결과의 신뢰도와 타당도를 저해하는 요인으로 연구자들은 이를 통제하기 위해 전통적 요인분석 모형을 활용해 왔다. 하지만 요인분석 모형은 모집단 동질성을 가정하고 모집단 전체에 대해 표현효과를 설명한다는 점에서 제한적이다. 이에 본 연구에서는 모집단 이질성에 기반한 제약된 요인혼합모형(CFMM)을 활용하여 표현효과를 통제하는 두 가지 방안인 Arias 모형과 Steinmann 모형을 소개하고 그 유용성을 검증하고자 한다. 분석에는 긍정문항 5개, 부정문항 5개로 구성된 Rosenberg(1965)의 자아존중감 척도에 응답한 5,271명의 자료가 활용됐다. 분석결과 첫째, 긍정문항과 부정문항에 이질적으로 반응하는 표현효과 반응집단을 확인했고, 그들의 인구통계학적 특성을 파악했다. 둘째, 표현효과 반응집단을 제거한 이후 척도의 타당도와 신뢰도가 향상되었으며 잠재집단 간 타우동형 제약을 부여한 Arias 모형에 비해 보다 느슨한 제약을 지닌 Steinmann 모형이 더 나은 결과를 나타냈다. 마지막으로 본 연구를 논의하고 추후 연구를 위한 제언을 추가하였다.

Wording effect refers to the systematic bias that occurs when respondents answer questionnaires based on item phrasing rather than content in scales with mixed positive and negative items. Since wording effects compromise research reliability and validity, researchers have traditionally employed factor analysis models to control for them. However, traditional factor analysis models are limited by their assumption of population homogeneity and their explanation of wording effects for the entire population. To address these issues, this study introduces and evaluates two control methods based on Constrained Factor Mixture Modeling (CFMM), which incorporates population heterogeneity. These approaches model wording effect response groups by differentially constraining parameter estimates such as factor loadings for positive and negative items across latent classes. The analysis examines Rosenberg's (1965) Self-Esteem Scale, comprising five positive and five negative items, using data collected from 5,271 respondents who participated in an online survey on “Social Development of MZ Generation in the COVID-19 Era.” The results first identified latent subgroups that respond heterogeneously to positive and negative items and determined their demographic characteristics. Second, the study compared the performance of two constrained factor mixture model approaches for identifying these wording effect response groups and verified their utility in terms of reliability and validity, with the more complex Steinmann model yielding better results than the Arias model. Finally, the practical implication of the results were discussed.