본 연구는 국가 간 응답 양식의 차이를 탐색하고, 하나의 통계 모형 안에서 주요 관심 구인과 응답 양식을 각각의 잠재변인으로 측정함으로써 관심 구인 간의 관계가 어떻게 달라지는지를 비교하는 것에 목적이 있다. 이를 위하여 리커트 4점 척도 문항을 통해 측정된 관심구인에 대한 국가 간 비교연구에서 국가 간(between-country), 국가 내(within-country) 극단 응답 양식(ERS)의 차이를 동시에 측정할 수 있는 다층 문항반응나무모형(ML-IRTree: Multilevel item response tree model)을 제안하였다. 본 연구에서 제안한 다층 문항반응나무모형의 적용 가능성 탐색을 위하여 PISA 2015 자료 가운데 과학 교과의 성취동기와 흥미에 대한 35개 국가의 응답 자료를 활용하였다. 연구 결과에 따르면, ERS의 국가 간 차이가 존재하였으며 다층 문항반응모형을 통해 ERS와 동시에 추정된 과학에 대한 태도 및 동기 구인 간 관계는 응답 값의 단순 합으로 계산된 구인 간 관계와 다소 차이가 있었다. 또한 측정된 ERS 수준은 과학 관련 구인(성취동기 및 흥미) 및 수준(국가 간 또는 국가 내)에 따라 큰 차이가 있음을 확인하였다. 이로써 리커트 척도를 통해 측정되는 구인의 국가 간 비교연구에서 응답 양식 측정의 필요성에 대한 경험적 증거를 제시하였다.
The present study aims to detect the variability of response styles across countries and examine the impact of measuring response styles on the association between substantive constructs and response styles or educational outcomes. To simultaneously measure extreme response style (ERS) in a four Likert-type rating scale at the within- and between- country levels, we proposed a multilevel item response tree model (ML-IRTree). The empirical study was illustrated with the motivation and attitude scales related to the performance and learning experience of a science subject in a total of 35 countries of PISA 2015. The results of the study showed that including ERS in the ML-IRTree produced the moderate change of the relationship between substantive constructs compared to simple sum score analysis. As not in line with previous findings (Ju & Falk, 2019; Lu & Bolt, 2015), the large relationship between substantive constructs and ERS was captured. In addition, the paradoxical finding with respect to the association between substantive constructs and the achievement scores was observed at between-country level. The study s empirical evidence motivates researchers to be aware of the existence of response styles in cross-national studies.
Ⅰ. Introduction
Ⅱ. Multilevel Item Response Tree Model
Ⅲ. Method
Ⅳ. Results
Ⅴ. Discussion