자기보고식 핵심역량 측정에서 응답양식의 탐색 및 효과

Response Style Analysis in the Self-report Measures of Core Competencies using Multidimensional Nominal Response Model (MNRM) and Item Response Tree Model (IRTree)

본 연구는 평정형 척도를 활용한 자기보고식 핵심역량 검사에서 다차원 명명반응모형(Multidimensional Nominal Response Model: MNRM) 및 문항반응나무모형(Item Response Tree: IRTree)을 활용하여 응답양식(response style)을 측정하였다. 구체적으로 국내 핵심역량 검사에서 대표적으로 사용되고 있는 5점 리커르트식 척도에서 양극단에 있는 범주를 선호하는 극단응답양식(Extreme Response Style: ERS)과 중간범주를 선호하는 중간응답양식(Midpoint Response Style: MRS)에 초점을 두어 탐색하였다. 한국교육종단연구2013의 대규모 학생 역량조사 자료를 활용하여 분석한 결과는 다음과 같다. 첫째, MNRM과 IRTree 모두에서 응답양식을 통제하지 않은 모형에 비해 응답양식을 통제한 모형의 적합도가 보다 양호하였다. 둘째, ERS나 MRS 중 1개의 응답양식만 통제하였을 때보다 ERS 및 MRS를 동시에 통제하였을 때 모형의 적합도가 더 양호하였다. 셋째, MNRM과 IRTree 중 본 자료에는 MNRM에 기반한 응답양식 탐색 모형의 수행능력이 더 양호한 것으로 나타났다. 넷째, 응답양식을 통제한 후 핵심역량 간 상관계수의 강도는 축소되는 경향을 보였다. 이러한 연구결과에 기반하여 신뢰롭고 타당한 핵심역량 측정을 위한 시사점을 도출하였다.

This study aims to investigate response style in students’ competencies assessment with rating scale. Response style was examined by using two item response theory (IRT) frameworks: multidimensional nominal response model (MNRM) and item response tree model (IRTree) using empirical data sets of students’ competencies from Korean Educational Longitudinal Survey (KELS: 2013) 4th (8th graders). The findings are as follows. First, the models that control for response styles generally showed a better fit than the model that do not take response styles into account. Second, among the models that account for response styles, the models with both ERS and MRS fitted better than the models with either ERS or MRS. Third, as a result of using the two IRT frameworks such as MNRM and IRTree to examine students’ response style in competency assessment, MNRM showed a better fit than IRTree and it also had good discriminant validity between the competency trait and response styles. Forth, the correlations between ten sub-scales of key competencies decreased when response style was considered. Finally, theoretical and applied implications for future research were discussed.