설문자료 내 불성실 응답 탐지를 위한 다중허들 접근법과 잠재계층 모형 비교

A comparison of multiple-hurdle approach and latent class modeling approach for detecting insufficient effort responding in the survey data

자기보고식 설문자료에서 다양한 양상으로 나타나는 불성실 응답은 분석 결과의 타당성을 저해하거나 연구 결과에 편향을 야기할 수 있는 중요한 요소이므로, 자료 분석 시 불성실 응답을 보인 사례들을 탐지하여 그 영향력을 제외하는 것은 분석 결과의 타당성을 확보하는 데 있어서 매우 중요하다. 이에 본 연구에서는 자료 내의 불성실 응답 탐지를 위한 주요한 두 접근법인 다중허들 접근법과 잠재계층 모형의 불성실 응답 탐지 성능을 비교하였다. 먼저 표본크기, 불성실 응답자의 비율과 불성실 응답 문항 비율 등의 조건 하에서 두 접근법의 정확성을 비교하기 위한 모의실험 연구를 수행하였다. 또한 대학생들을 대상으로 수집된 실제 온라인 설문자료 분석의 맥락에서 두 접근법을 적용하여 불성실 응답을 제외한 자료 분석을 실시한 결과를 비교함으로써 보다 합리적인 불성실 응답 탐지에 대한 방법론적 시사점에 대해 논의하고자 하였다. 본 연구의 주요 결과를 요약하면 다음과 같다. 첫째, 모의실험 분석 결과 다중허들 접근법은 대체로 잠재계층 모형에 비해 자료 내의 불성실 응답을 과도하게 탐지하는 반면, 잠재계층 모형은 어느 정도 불성실 응답을 정확히 탐지하는 동시에 표본의 손실이 비교적 적은 것으로 나타났다. 둘째, 실제자료 분석에서는 두 접근법을 적용하여 각각 수행한 통계 분석의 모형 적합도는 대체로 유사하였으나, 다중허들 접근법을 적용한 경우에는 표본의 손실이 과도한 경향이 있는 것으로 나타났다. 본 연구의 결과를 바탕으로 설문자료 내 불성실 응답의 탐지에서 다중허들 접근법과 잠재계층 모형의 유용성과 한계에 대해 논의하였다.

Insufficient effort responding(IER) is commonly observed in self-report survey data. Since the presence of the IER can threaten the validity of the study by leading to potential bias for analysis results, it is an essential procedure to detect and treat the IER before the main statistical analyses are conducted. The purpose of this study is to explore the accuracy of the two most widely used methods for detecting the IER: the multiple-hurdle approach and the latent class modeling approach. The accuracy of the two methods were compared using simulation study considering various factors such as sample size, proportion of the examinees with IER, and the proportion of the IER items. The main results of this study are as follows. First, the findings in the simulation study showed that the multiple-hurdle approach tended to detect the IER excessively, resulting in the loss of sample size. The latent class modeling approach tended to detect the IER with reasonably high level of accuracy and had an advantage to preserve the sample size. Second, the real data analysis with the datasets that removed the IER cases with each of the two approaches showed slightly higher level of model-data fit for the latent class modeling approach and the loss of sample size was more serious in the multiple-hurdle approach. Based on the results, the advantages and limitations of the two approaches were discussed.