수업전문성 측정도구(ICALT)의 문항별 신뢰도 및 타당도에 관한 연구

On the reliability and validity of ICALT(International Comparative Analysis of Learning and Teaching) classroom observation tool

본 연구는 Van de Grift(2007)의 ICALT 도구가 한국적 상황에서 수업전문성을 측정하는 도구로 적용 가능한가를 확인하는 데 연구목적을 두고 진행되었다. ICALT 수업전문성 관찰도구는 6개의 교사의 수업행동 도메인과 1개의 학생의 수업참여도 도메인을 구성하는 총 35개의 문항으로 구성되어 있다. 본 연구에서 사용된 자료는 2014, 2016, 2017년에 진행된 총 855개의 초등 및 중등 수업관찰이며, 주요 연구 결과는 다음과 같다. 첫째, ICALT의 요인구조와 각 문항이 한국 교사의 수업전문성을 측정하기에 적합한지를 분석하고자 확인적 요인분석을 실행한 바, 모델 적합도를 나타내는 추정치의 값이 RMR 037, RMSEA .057, IFI .921, TLI .912, CFI .921 등 모두 통계적으로 유의한 것으로 검증되었다. 둘째, 모델 적합도를 떨어뜨리는 문항을 찾아 도구의 신뢰도와 타당도를 높일 수 있는 방법을 찾기 위해 탐색적 요인분석을 하였다. ‘전체(중등+초등)’ 집단과 ‘중등’ 집단은 4개 요인, ‘초등’ 집단은 3개 요인이 추출되었고, 문항별 용어 번역의 적합성을 개선함으로써 관찰도구의 문화 간 타당도를 높일 수 있을 것으로 판단되었다.

This article is a report of the study which aimed to investigate how to improve the ICALT classroom observation tool of teaching behavior by analysing the model fitness together with reliability and validity of individual 32 items under 6 domains. Total 855 classroom observation data collected for three years, 2015,2016 and 2017, were used, and the observation was conducted by trained master teachers with over 20 years of teaching experience. Major findings are: First, confirmatory factor analysis showed the ICALT tool has a good level of model fitness for every item under respective domain: major parameters are verified statistically meaningful, RMR 037, RMSEA .057, IFI .921, TLI .912, CFI .921. Second, exploratory factor analysis was done to identify latent factors and examine how they are compatible with six ICALT domains. For the mixed group of elementary and secondary teachers and the separate secondary teachers showed four factor grouping, while the separate elementary three. Such this variation within factors are found to get better reliability and validity of each items by translating the original English and Dutch words into more relevant Korean and local.