Fictional Narratives Assessment: Social Validation Study

배경 및 목적: 본 연구에서는 학령기 아동이 산출한 허구적 이야기에 대한 일반인과 교사 언어재활사의 주관적 평가 기준을 파악하고자 하였다. 방법: 일반인, 교사, 언어재활사에게 아동의 이야기를 듣고 평가하도록 하였다. ‘좋은 이야기’로 평가 일치가 이루어진 이야기에 대해서 특징을 주관적으로 기술하도록 한 뒤 피험자 집단별로 비교 분석하였다. ‘좋은 이야기’와 ‘부족한 이야기’의 C-unit 수와 이야기문법 점수를 비교하였다. 마지막으로, 피험자들에게 이야기 평가에 있어서 5가지 범주 20개 항목에 대하여 중요도를 7점 척도로 표기하도록 하였다. 결과: 첫째 아동의 이야기의 50%에 대해서 ‘좋은 이야기’와 ‘부족한 이야기’로 평가가 일치하였다. 둘째, 피험자들은 평가 기준에 대해 통일성, 이야기문법 구조, 창의력과 상상력 및 말 관련 요소 순으로 기술하였다. 셋째, ‘좋은 이야기’는 ‘부족한 이야기’에 비하여 C-unit의 수가 많고 이야기문법 점수가 높았다. 넷째, 피험자는 연구자가 제시한 이야기 5가지 평가항목 중에서 이야기문법 범주 항목의 중요도를 가장 높게 평가하고 구문을 낮게 평정하였다. 논의 및 결론: 일반인 교사 언어재활사 모두 이야기를 평가할 때 텍스트 수준에서의 이야기 내용과 형식이 갖추어진 이야기를 ‘좋은 이야기’로 평가하였다. 일반인과 교사의 이야기 평가 기준은 대체로 일치하였으며 통일성, 이야기문법과 관련된 요소 이외에도 이야기의 창의력과 상상력에 대한 평가도 중요하게 간주하였다.

Objectives: This study explored the social validation of narrative assessment. Methods: A total of 60 laypersons, teachers, and speech language pathologists (SLPs) used interval scaling to rate the quality of narratives produced by 16 third-grade children. They were asked to write their subjective criteria about what contributes to narrative quality evaluation. They also completed a 20-item questionnaire. They assigned a number from a 7-point scale to indicate the extent to which 20 items influenced their quality ratings. The 20 items related to either vocabulary, story grammar, syntax, fluency, or sparkle. ‘Good narratives’ and ‘poor narratives’ were compared on dimensions of the number of C-units and story grammar analysis. Results: Agreement among laypersons, teachers and SLPs was found for a subset of ‘good narratives’ and ‘poor narratives’, which constituted 50% of the total narratives. ‘Good narratives’ have more C-units and story grammar elements than ‘poor narratives’. The responses to questions about ‘good narrative quality’ fell into 12 categories based on similarity of content. Coherence, story grammar, Creativity & Imagination, and characteristics concerning speech were ranked high by all listener groups. Relative to these aspects, grammar was ranked low. Conclusion: The judgements of the overall narrative quality were related to textual-level dimensions of form and content but had little relation to sentential-level dimensions. Laypersons and teachers generally agreed on the criteria for evaluating narratives. They paid more attention to creativity and imagination than SLPs.