생성형 인공지능의 수학적 성능 및 추론 과정 분석: 대학수학능력시험을 중심으로

Analysis of mathematical performance and reasoning process of generative AI: focusing on the college scholastic ability test

본 연구는 수학교육에서 생성형 인공지능(o1-preview)의 활용 가능성을 탐색하기 위하여, 수학적 성능 및 추론 과정을 분석하였다. 특히, 생성형 인공지능의 추론 과정을 심층적으로 분석한 독창적인 연구로, 문제 해결에서 나타나는 구체적인 단계와 특성을 도출하였다. 2022~2024학년도 대학수학능력시험 수학 문제를 대상으로 o1-preview의 답변 정확성과 추론 단계의 특징을 검토한 결과, 2점 및 3점 문항에서 높은 정확도를 보였고, 일부 4점 고난도 문항도 성공적으로 해결하였다. 추론 과정에서는 ‘분석’과 ‘계획/실행’ 단계를 통해 대부분 정답을 도출했으며, ‘탐색’과 ‘검증’ 단계가 포함될 경우 특히 높은 정확도를 보였다. 이는 o1-preview는 수학교육에서 활용 가능한 유용한 공학 도구임을 시사하며, 실질적인 적용 가능성을 보여준다. 그러나 문제 풀이 과정에서 ‘탐색’과 ‘검증’ 단계가 충분히 수행되지 않을 경우 수학적 오답을 생성한다는 한계를 확인하였으며, 이를 해결하기 위해 교사의 지도와 생성형 인공지능 활용 프롬프트 설계가 중요함을 강조하였다. 본 연구는 실제 교육 현장에서의 생성형 인공지능 활용 가능성을 구체적으로 평가하며, 추후 다양한 교육 환경에서의 효과적인 사용 방안을 모색하고자 하였다.

This study analyzes the mathematical performance and reasoning processes of the generative AI model o1-preview to explore its potential application in mathematics education. In particular, this research uniquely delves into the reasoning processes of generative AI, identifying specific stages and characteristics that emerge during problem-solving. Using math problems from the Korean College Scholastic Ability Test (2022-2024), the study examined the model's response accuracy and the characteristics of its reasoning steps. The findings reveal that o1-preview demonstrated high accuracy in 2-point and 3-point questions and successfully solved some challenging 4-point questions. During the reasoning process, the model predominantly derived correct answers through the ‘analysis’ and ‘planning/execution’ stages, with particularly high accuracy observed when the ‘exploration’ and ‘verification’ stages were included. This study suggests that o1-preview could serve as a valuable computational tool in mathematics education, highlighting its potential for practical application. However, the study also identified limitations in the model's performance, particularly when ‘exploration’ and ‘verification’ stages were insufficiently executed. To address these issues, the importance of teacher guidance and well-designed prompts for utilizing generative AI in problem-solving is emphasized. This research evaluates the practical applicability of generative AI in real educational settings and aims to explore effective usage strategies for diverse educational environments in the future.