대규모 언어모델(LLM) 기반 AI 댓글 탐지: 제21대 한국 대통령 선거 사례 연구

A Case Study on AI Comment Detection Based on Large Language Models: The 21st Korean Presidential Election

본 연구는 온라인 정치 뉴스 댓글 공간에서 대규모 언어모델(LLM) 기반의 생성형 인공지능(AI) 댓글이 개입하는 현상을 탐지하고 그 사회적 함의를 분석한다. 이를 위해 2022년 제20대 대통령 선거 기간 동안 수집된 네이버 뉴스 댓글 데이터를 활용, Google Gemini 2.5 Flash와 OpenAI GPT-4를 이용해 생성한 AI 댓글과 인간 댓글을 구분하는 분류 모델을 구축하였다. 모델 학습에는 한국어에 특화된 사전학습 언어모델인 KOELECTRA와 KCELECTRA를 활용했으며, 특히 KCELECTRA 모델은 99% 이상의 높은 정확도를 기록했다. 이 모델을 2025년 제21대 대통령 선거 댓글 데이터에 적용한 결과, 전체 댓글 중 약 1.46%~3.80%가 AI 댓글로 분류되었다. 이는 실제 선거 여론 공간에 AI 기반의 인위적 개입이 존재했음을 시사하며, 탐지된 수치는 최소치로 해석할 필요가 있다. 본 연구는 대선이라는 특정 정치적 맥락 속 LLM 기반의 AI 개입을 실증적으로 분석한 최초의 연구라는 점에서 학술적 의의가 있으며, 향후 공정한 여론 환경 조성을 위한 지속적인 모니터링 및 탐지 기술의 고도화 필요성을 강조한다.

This study investigates the potential intervention of AI-generated comments in online political news discussions and examines their implications for democratic discourse. Using comment data collected from the 20th Korean presidential election (2022), we built a classification model to distinguish between human-written and AI-generated comments. AI-generated comments were produced using Google Gemini 2.5 Flash and OpenAI GPT-4, and Korean-specific pretrained language models such as KoELECTRA and KcELECTRA were employed for training. Experimental results show that the KcELECTRA model achieved an accuracy of over 99%. Applying the trained model to comment data from the 21st presidential election (2025) revealed that approximately 1.46% to 3.80% of the comments were classified as AI-generated. This finding indicates that artificial intervention using generative AI was present in the electoral discourse, though the detected rate likely represents a minimum estimate. As one of the first empirical studies to analyze AI intervention in the context of a national election, this work underscores the importance of advancing detection techniques and continuous monitoring to safeguard fair and transparent public opinion formation in the era of generative AI.