어린이용 이야기 쓰기 그림 검사의 동형 확인

The Confirmation of Equivalence of Two Picture Series for Children's Story Writing: 'Pizza' and 'Amusement Park'

반복시험에서 성적을 비교할 경우 측정 동등성이 전제조건으로 충족되어야한다. 이의 중요성에도 불구하고 영어쓰기 평가에서 검사의 동등성 및 동형성을 다룬 연구는 부족하며, 그림기반의 쓰기검사에 관해서는 더욱 그러하다. 본 연구는 '피자'와 '놀이동산'이라고 이름 지어진 두 개의 어린이용 이야기쓰기 그림 시리즈를 개발하고 이들의 동형 신뢰도를 검정하였다. 이 검정을 위해 두 그림을 초등학생들에게 무작위로 배분하여, 피자 집단과 놀이동산 집단으로 구성하였다. 학생들은 주어진 그림에 의거하여 영어로 이야기를 지어 쓰도록 지시되었다. 작문데이터는 Coh-Metrix 코퍼스 프로그램과 인간채점, 그리고 MANCOVA를 사용하여 분석되었다. 두 그림 집단이 기존쓰기능력에서 같도록 통제하고 다섯 개의 쓰기 영역(어휘 다양성, 접속어, 단어 수, 문법, 내용 영역)에서 검정한 결과, 그림 차이로 인해 두 집단의 평균들이 달라지지는 않았으며, 이들 변수의 분산과 공분산 또한 두 집단 간에 유의미한 차이가 없었다. 이 결과는 전체 집단을 초급, 중급, 고급 수준별로 나누어 조사해 보아도 일관성 있게 나타났다. 그러므로 이 두 그림 시리즈는 변별도, 난이도, 그리고 변수들 간의 상관관계에 있어 동형 검사로 확인되었다. 이에 종단 쓰기수행 평가도구로 활용되도록 추천된다.

This paper investigated the equivalent form reliability of two picture series, entitled 'pizza' and 'amusement park,' which were developed and have been introduced for the first time to writing education and assessment. The picture series were designed a priori to be equivalent for use in repeated testing. They were administered to elementary school students (N = 68), using a simultaneous random distribution of the picture series, and the students were required to write a story based on the series they were assigned. The stories were analyzed with the Coh-Metrix corpus program, human scoring, and MANCOVA. The findings are as follows. The two series were verified as being equivalent test forms, producing the same test results; they both had the same level of difficulty as well as the same discriminating power. These results held true across different ability groups (basic, intermediate, and advanced levels), indicating consistency of the findings across the ability groups. Therefore, the two series are confirmed as feasible alternate forms and recommended for use in repeated testing to assess changes in writing ability.