ChatGTP API 활용 인공지능 논･서술형 자동채점 프로그램 개발 실행연구

Action Research on the Development Program of ChatGPT Automated Scoring Method Program for Essay Evaluation

연구목적: 인공지능 기술이 급격히 발달하면서 교육 분야에 인공지능을 적용하는 논의가 이어지고 있다. 본 연구는 인공지능을 활용하여 정답이 없는 논･서술형 문항을 자동채점 하는 프로그램을 개발하고, 그 개발 과정을 기록 및 해석하기 위해 수행되었다. 연구방법: 연구자와 실천가가 일체화 되는 참여적 실행연구 방법을 활용하였으며, OpenAI가 주최하는 해커톤 대회에 참여하여 전문가들의 피드백을 받으며 프로그램 프로토타입을 개발하였다. 연구결과: 교사가 설정한 루브릭에 따라 논･서술형 답안을 채점하고 평가 점수 및 평가 의견을 제공하는 ｢평가하는 AI(v1.0)｣을 개발하였다. 또한 해커톤 대회 동안 전문가들의 코멘트를 반영하여 개인별 특성을 가진 AI평가교사를 생성하여 교차 채점이 가능한 ｢평가하는 AI(v2.0)｣를 개발하였다. 논의 및 결론: 본 실행연구를 통하여 인공지능이 평가 루브릭을 이해하고 평가 루브릭을 반영하여 채점할 수 있다는 점, 학교 교사와 유사한 특성의 AI평가교사를 설계할 수 있다는 점, 다수의 AI평가교사를 생성하고 교차 채점을 진행함으로써 오류를 줄일 수 있다는 점, AI평가교사의 채점자 내 신뢰도가 높다는 점 등을 논의하였다. 아울러, 대규모 논･서술형 평가 상황에서 AI의 딥러닝 구동 방식을 활용하여 대량의 답안을 먼저 AI에게 학습시킨 후 본 평가를 진행하는 실행연구, 교사가 수업에서 AI 자동채점 프로그램을 활용하는 수업 실행연구, 질적 자료를 코딩하는 프로토타입 개발 실행연구 등의 후속 연구를 제언하였다.

Purpose: With the rapid development of AI technology, discussions on applying AI in the field of education are ongoing. This research aims to develop a program utilizing AI for the automatic scoring of essay-type items without definite answers. Method: The research was the participatory action research method, which integrates researchers and practitioners. Participation in OpenAI-sponsored Hackathon competitions allowed for continuous improvement of the program prototype based on feedback from experts. Results: ｢Evaluative AI(v1.0)｣ was developed, capable of generating assessment scores and comments for essay-type answers according to user-defined rubrics. Additionally, ｢Evaluative AI(v2.0)｣ was developed to reflect experts’ comments at the Hackathon competition, creating ‘AI evaluation teachers’ with individual characteristics, and comparing scores with human scorers. Conclusion: Through the research, several possibilities were proposed: the ability of AI to understand evaluation rubrics and score by reflecting them, the ability to design ‘AI evaluation teachers’ similar to school teachers, the high intra-rater reliability of ‘AI evaluation teacher’; and the reduction of errors through cross-evaluating by multiple ‘AI evaluation teachers’. In addition, a couple of suggestions for the future action research were proposed: research that first train AI a large number of essay-type answers before conducting main essay evaluations, research exploring how teachers utilize AI automatic scoring programs in class, and research for developing the program prototype for coding qualitative data.