다국면 라쉬 모형을 적용한 논술문 평가 사례 보고

Case Study on the Evaluating the Essay Writing Ability applying the Multi Facets Rasch Model

본고에서는 다국면 라쉬 모형을 이용하여 고등학생의 논술문 쓰기 능력 평가 준거로 통용되던 기존의 ‘내용, 조직, 표현’ 범주의 타당도를 확인하였다. 그 결과 평가의 효율성을 높이려면 문항 난이도가 유사한 것으로 판명난 내용 및 조직 관련 준거들을 포괄하여 각각 ‘내용’과 ‘조직’의 성취 수준을 측정하는 한 문항씩으로 통합할 수 있음을 확인하였다. 그리고 고등학교 저학년의 논술문 쓰기 능력에 대한 분석적 평가 총점은 표현(.83**), 조직(.80**), 내용(.74**) 관련 지식과 유의미한 상관이 있음을 확인하였다. 로짓 단위로 표준화된 쓰기 능력과 가장 높은 상관을 보인 ‘표현’ 능력 중에는, 논술문 장르에 적절한 어휘와 문형 구사 능력(14c) 수준이 가장 고르게 분포되어 있음과, 통사적 지식(14b)과 기계적 오류(14a) 관련 지식이 부족함을 확인하였다.

This study confirmed the validities of the rubric organized with 3 large categories: content, structure, style which is made for evaluating the high school students essay writing ability through the FACETS program based on the Multi Facets Rasch Model. The category of the style has the highest correlation(.83**) with the total score indicating the quality of each essay. Therefore we divided the category of the style into 3 sub-categories: mechanics(14a), syntactics(14b), registered expression(14c). As the result, the 64 high school students generally have the registered expression knowledge, but they feel difficulty to recall the proper syntactic knowledge and the correct mechanic knowledge into their essay writing process. We can propose the followings. First, combining several standards for evaluating the various ability concerned with content producing is not bad. These content categories have the similar logit difficulty. By the same reason, a standard is enough to evaluate the abilities of the proper structuring. And finally the style knowledge concerned with the general essay writing ability can be properly classified by the 3 subcategories; mechanics, syntactics, registered expression.