온라인 평가 전략 상담 챗봇 개발 및 사용성 평가

Development of an Online Assessment Strategy Consultation Chatbot and Usability Test

온라인 수업이 확대되고 있는 시점에서 온라인 교수자는 온라인 학습자를 효과적으로 평가하기 위해 온라인 수업 환경에 적합한 평가 전략을 활용하여야 한다. 이에 본 연구는 온라인 교수자들이 온라인 평가 전략을 습득하기 위한 학습 도구로 온라인 평가 전략 상담 챗봇을 개발하고자 하였다. 이 연구는 설계·개발 연구 방법(Richey & Klein, 2012)을 활용하여 온라인 교수자가 온라인 평가에 관한 질문을 하면 질문의 의도를 파악하여 적절한 온라인 평가 전략을 알려주는 대화형 챗봇을 개발하였다. 온라인 평가 이슈 사항과 온라인 평가 전략을 도출하기 위하여 문헌 검토를 실시하였고, 전문가에게 전략의 타당성을 확인받았다. 도출된 온라인 평가 전략을 활용하여 챗봇 프로토타입을 개발하였으며, 대학 교수자와 예비교사를 대상으로 사용성 평가를 실시하여 프로토타입의 주요 장점과 개선점을 파악하였다. 대학 교수자와 예비교사 모두 전반적으로 프로토타입을 긍정적으로 인식하였으며, 사용성 평가에서 확인된 개선점을 반영하여 챗봇을 보완하였다. 본 연구에서 개발된 챗봇은 온라인 교수자가 온라인 평가에 대한 궁금증이나 문제점을 즉각적이고 자율적으로 해결할 수 있도록 돕고, 궁극적으로 온라인 교수자가 온라인 수업을 성공적으로 운영하는 데 기여할 수 있을 것이다. 이러한 연구의 결과를 바탕으로 교육용 챗봇의 활용 가능성과 향후 교육용 챗봇의 개발을 위한 시사점을 제언하였다.

In the era where online education is expanding, for effectively assessing online learners in online courses, online instructors should apply assessment strategies that fit for online environments. In this study, we developed a chatbot to help online instructors use assessment strategies for effective online teaching. Specifically, we adopted the design and development research procedure suggested by Richey and Klein (2012), in order to develop a conversational chatbot. The chatbot was intended to inform online instructors of assessment strategies by classifying instructors’ questions into pre-determined intent. To obtain reliable data for training the chatbot, we first conducted an extensive review of literature and derived online assessment strategies aligned with a range of online instructional contexts. The strategies were then validated by a group of experts. A prototype of the chatbot was developed by using the identified strategies, then an usability test was conducted on university instructors and pre-service teachers to collect users’ opinions and improvement points. Overall, both university instructors and pre-service teachers positively evaluated the prototype. The chatbot was finally developed by incorporating the participants’ feedback obtained from the usability test. The chatbot developed in this study is expected to support online instructors to handle various assessment issues in online learning environments, which will, in turn, improve online learning environments. Based on our findings, we discussed the implications of this study for further research and practice.