AI 기반 피드백의 교육적 활용 가능성 탐색

Exploring the Educational Applications of AI-Based Feedback: Focusing on the Beginner Learner Corpus

본 연구는 객관적이고 효율적인 피드백을 제공하기 위하여 한국어 교실 환경에서 자연어 처리 기술을 활용한 자동 피드백 시스템의 활용 가능성을 탐색하고자 하였다. AI 기반 자동 피드백의 효용성을 검증하기 위하여 초급 한국어 학습자 말뭉치를 대상으로 인간 작업자의 교정과 생성형 인공지능인 GPT4를 기반으로 한 교정을 비교하였다. 연구 결과, 인간 작업자와 GPT-4의 일치율은 1급에서 85.71%, 2급에서 84.07%로 일치도가 매우 높게 나타났다. 문법에 대한 교정은 평균적으로 61%, 어휘 오류는 39%를 차지하였으며 체언, 용언, 수식언 등 다양한 품사에 대한 교정 또한 인간과 GPT4가 유사한 비율로 수행한 것으로 나타났다. 그러나 문맥 이해가 필요한 오류의 경우 GPT4는 적절한 교정을 수행하지 못하는 한계점이 있었다. 이러한 한계에도 불구하고 AI 기반 피드백 시스템은 교육 환경에서 효과적인 보조 도구로 활용될 수 있을 것이다. 교사는 부담을 줄이며 글의 내용이나 구조에 더 집중할 수 있고, 학습자는 실시간으로 개인화된 피드백을 받으며 자기 검토를 통해 언어 능력을 향상시킬 수 있다. 본 연구는 AI 기반 교육 도구 개발을 위한 기초 자료로서 의의가 있으며, AI 기반 피드백 시스템이 지속적으로 개선될 수 있도록 교사와의 협력을 통한 통합적 접근 방식에 대한 검토가 필요한 시점이다.

This study examines the potential of utilizing natural language processing technology to provide objective and efficient feedback in Korean language classrooms through an automated feedback system. To validate the effectiveness of AI-based automated feedback, the study compared corrections made by human annotators with those generated by the AI model, GPT4, using a corpus of beginner Korean language learners. The results indicated high concordance rates between human and GPT4 corrections, with Level 1 accuracy at 85.71% and Level 2 accuracy at 84.07%. Corrections primarily focused on grammatical corrections, averaging 61%, while lexical corrections comprised about 39%. Corrections across various parts of speech, including nouns, verbs, and adjectives, were performed at similar rates by both humans and GPT4. However, GPT4 showed limitations in appropriately correcting errors that required contextual understanding. Despite these limitations, the AI-based feedback system can be an effective supplementary tool in educational settings. Teachers can reduce their workload and focus more on content and structural feedback, while learners benefit from real-time, personalized feedback that encourages self-review and improves language proficiency. This study underscores the importance of AI-based educational tools and emphasizes the need for an integrated approach involving teacher collaboration to continually enhance the AI-based feedback system.