한국어 논·서술 답안 자동채점 프로그램 PASTA-I 개발

The development study of an automated scoring program for Korean essays, PASTA-I

본 연구에서는 학교 현장의 논·서술 평가의 채점 부담과 채점의 객관성 및 일관성의 문제를 해결하기 위해 논·서술 답안 자동채점 프로그램인 PASTA-I을 개발하였다. PASTA-I은 한국지능정보사회진흥원에서 공개한 ‘에세이 글 평가 데이터’ 중 3개 주제에 대한 데이터를 기반으로 채점 모델을 구축하였다. 채점은 총 10개의 세부 채점 영역에 대해서 채점 영역별로 3점 만점으로 채점이 이루어졌으며, 이에 따라 본 연구에서도 10개의 채점 영역별로 채점이 이루어지도록 자동채점 모델을 구현하였다. 채점모델 구현에 사용한 알고리즘은 ELECTRA 모델을 기반으로 한국어 데이터를 학습시킨 electra-kor-base를 사용하였으며, ‘나의 위인전, ‘영화/독서 감상문’, ‘본인의 성격 장단점’ 등 3가지 주제에 대해 평가용 데이터를 이용하여 자동채점 모델의 성능을 검증한 결과 거의 모든 영역에서 .7이상의 정확도를 보였다.

In this study, we developed PASTA-I, an automated scoring program for Korean essays, to solve the problems of scoring burden and objectivity and consistency of scoring. PASTA-I builds a scoring model based on data on three topics from the ‘Essay Writing Evaluation Data’ released by the National Information society Agency(NIA) The scoring was done with 3 points scale across 10 scoring areas, and accordingly, the automated scoring model was implemented in this study so that scoring was done for each of the 10 scoring areas. The algorithm used to implement the scoring model was electra-kor-base, which was trained on Korean data based on the ELECTRA model, and the performance of the automated scoring model was verified using testing data set on three topics, including ‘The biography’, ‘Movie/reading review,’ and ‘My personality strengths and weaknesses,’ and the results showed an accuracy of .7 or higher in almost all areas.