논증적 글쓰기 교육에서 AI 챗봇 피드백 활용과 학습자 수용 양상 연구 - GPTs 기반 맞춤형 피드백 챗봇 개발 및 교육 효과 분석을 중심으로

A Study on the use of AI Chatbot feedback in argumentative writing education and learner acceptance patterns － Focusing on the development of GPTs-based customized feedback Chatbots and analysis of educational effects

본 연구는 AI 리터러시의 핵심 역량인 정보 탐색, 비판적 분석, 문제 해결 능력을 대학 글쓰기 교육에 적용하기 위한 실천 방안을 모색하기 위해 ChatGPT 기반의 논증적 글쓰기 피드백 AI 챗봇을 설계 및 운영하고 학습자의 인식을 구체적으로 분석하였다. 세 단계로 진행된 연구는 첫째, ‘내용-조직-표현’의 평가 준거에 따라 학습자의 글을 평가할 평가 준거를 설정하고 둘째, 설정한 평가 준거를 근거로 학습자들의 보고서를 평가하고 구체적인 수정 및 보완 방향을 제시하는 AI 챗봇을 개발하였다. 셋째, 연구참여자들에게 AI 챗봇을 활용하여 보고서를 2회 작성하게 한 후, AI 챗봇 피드백에 대한 인식을 조사하였다. 실험에 참여한 연구참여자 50명은 보고서 초안과 AI 챗봇 피드백을 반영한 수정본을 작성하였으며, 세 명의 전문가가 평가 준거에 따라 보고서의 질 변화를 분석하였다. 보고서 작성에 AI 챗봇을 활용한 연구참여자들은 챗봇 피드백이 기존 대면 피드백보다 체계적이고 객관적이며, 수정 방향 제시에 실질적으로 도움이 된다고 인식하고 있었다. 특히 문장 표현력 개선, 논리적 연결성 강화, 근거 제시의 명확화 등에서 높은 효과가 있는 것으로 생각했다. 또한 챗봇이 제공한 세분화된 평가 기준은 학습자의 메타인지와 자기조절 학습을 촉진하였으며, 반복적 질문과 피드백 과정을 통해 학습자는 글의 약점을 인식하고 수정 방향을 설정하는 역량을 강화하는데 데체적으로 긍정적인 기여를 한 것으로 보인다. 이를 통해 본 연구는 ChatGPT-4o 기반 AI 챗봇이 논증적 글쓰기 교육에서 유의미한 피드백 도구로 기능할 수 있음을 실증적으로 확인하였으며, 챗봇 피드백이 학습자의 자기주도적 글쓰기 역량을 향상시키는 데 효과적이며, 대면 피드백과의 보완적 활용 가능성도 제시되었다.

In this study, we designed and operated an argumentative writing feedback AI chatbot based on ChatGPT and analyzed learners’ perceptions in detail in order to explore practical ways to apply the core competencies of AI literacy - information seeking, critical analysis, and problem solving - to university writing education. The study was conducted in three stages: first, we set the evaluation criteria to evaluate learners’ writing based on the evaluation criteria of ‘content, organization, and expression’; second, we developed an AI chatbot that evaluates learners’ reports based on the evaluation criteria and provides specific directions for revision and supplementation. Third, we asked participants to write two reports using the AI chatbot and investigated their perceptions of the AI chatbot’s feedback. The 50 participants in the experiment wrote a draft report and a revised version that incorporated the AI chatbot feedback, and three experts analyzed the changes in the quality of the report according to the evaluation criteria. Participants who used the AI chatbot for report writing perceived that the chatbot feedback was more systematic and objective than traditional face-to-face feedback, and that it was more effective in providing direction for revision, especially in improving sentence expression, strengthening logical connections, and clarifying evidence. In addition, the detailed evaluation criteria provided by the chatbot promoted learners' metacognition and self-regulated learning, and the iterative questioning and feedback process made a significant positive contribution to strengthening learners’ ability to recognize weaknesses in their writing and set direction for revision. This study empirically confirmed that an AI chatbot based on ChatGPT-4o can function as a meaningful feedback tool in argumentative writing education, and suggested that chatbot feedback is effective in improving learners’ self-directed writing skills and can be complementary to face-to-face feedback.