수준별 피드백 프롬프트 기반 생성형 AI 영어 말하기 학습 챗봇 개발 및 효과성 검증

Developing a Generative AI-Based English Speaking Chatbot with Level-Specific Feedback: Effects on Speaking Performance and Anxiety

본 연구는 성인 학습자의 영어 말하기 능력 향상과 말하기 불안 감소를 지원하기 위해, 수준별 피드백을 제공하는 생성형 AI 기반 영어 말하기 학습 챗봇을 개발하고 그 효과를 탐색적으로 검증하였다. 챗봇은 평가모드와 대화모드를 결합한 프롬프트 구조를 통해 학습자의 말하기 수준을 자동으로 진단하고, 진단 결과에 기반하여 학습자 수준에 맞는 피드백을 제공하도록 설계되었다. 실험은 국내 대학(원)생 19명을 대상으로 2주간 진행되었으며, 단일집단 사전-사후 설계를 활용하여 효과를 분석하였다. 사전 말하기 점수 기준으로 초급·중급·고급 그룹을 구분한 결과, 모든 수준 집단에서 말하기 능력이 통계적으로 유의하게 향상되었으며, 말하기 불안은 초급 학습자 집단에서만 통계적으로 유의한 감소가 나타났다. 대화 분석에서는 챗봇이 수준별 피드백을 일관되게 제공한 반면, 학습자의 피드백에 대한 즉각적인 반응률은 낮게 나타났다. 이러한 결과는 챗봇 기반 반복 말하기 연습과 자동화된 수준별 피드백이 성인 학습자의 영어 말하기 학습을 지원할 수 있는 잠재력을 지님을 시사하며, 생성형 AI 기반 말하기 학습 도구의 교육적 활용에 대한 기초적 근거를 제공한다.

This study developed and examined the effectiveness of a generative AI–based English speaking learning support chatbot designed to enhance adult learners’ speaking proficiency and reduce speaking anxiety through level-specific feedback. The chatbot employed a prompt structure combining an evaluation mode and a conversation mode, enabling it to automatically assess learners’ speaking proficiency and provide feedback tailored to their proficiency levels. The experiment involved 19 Korean undergraduate and graduate students who used the chatbot over a two-week period, employing a single-group pretest–posttest design. Based on pretest speaking scores, participants were categorized into novice, intermediate, and advanced groups. The results showed that all three proficiency groups demonstrated statistically significant improvements in speaking proficiency, while a statistically significant reduction in speaking anxiety was observed only in the novice group. Discourse analysis indicated that the chatbot consistently delivered level-specific feedback, although learners’ immediate response rates to the feedback were relatively low. These findings suggest that chatbot-based repetitive speaking practice combined with automated level-specific feedback can effectively support adult learners’ speaking development and highlight the potential of future generative AI–based chatbots in educational settings.