한국어 하이브리드 텍스트의 인간-AI 작성 경계 탐지: CrossEncoder 기반 직접 학습 접근법

Detecting Human-AI Boundaries in Korean Hybrid Texts: A CrossEncoder-based Direct Learning Approach

최근 ChatGPT와 같은 생성형 인공지능의 급속한 발전은 텍스트 생성 방식에 근본적인 변화를 가져왔다. 특히 인간과 AI가 협업하여 작성하는 하이브리드 텍스트가 증가함에 따라, 기존의 단순한 이진 분류 접근법의 한계가 드러나고 문장 단위의 경계 탐지 기술 필요성이 부각되고 있다. 본 연구는 한국어 자기소개서에서 인간이 작성한 부분과 AI가 생성한 부분 간의 경계를 자동으로 탐지하는 문제를 다룬다. 이를 위해 기존의 Triplet Loss 기반 간접 학습 방식의 구조적 한계를 분석하고, 분포 기반 Adaptive Threshold 전략을 결합한 CrossEncoder 기반 직접 경계 탐지 모델을 제안한다. 실험은 9,047건의 한국어 하이브리드 자기소개서로 새롭게 구축된 데이터셋을 활용하여 수행되었다. 제안하는 CrossEncoder 모델은 Fixed Top-K 기준에서 F1-score 0.597을 달성하여 Triplet Loss 대비 약 27% 향상된 성능을 보였다. 또한 Adaptive Threshold 방식을 도입했을 때 전반적으로 탐지 정밀도와 실용성이 크게 개선되었으며, 영어 데이터셋에서는 CrossEncoder가 가장 높은 성능(0.736)을 기록하였다. 다만 한국어 데이터셋에서는 Adaptive Threshold 적용 시 TriBERT가 CrossEncoder보다 근소하게 우세한 결과를 보였다. 이러한 결과는 CrossEncoder 접근이 한국어 환경에서 경계 탐지에 효과적임을 보여주는 동시에, Adaptive Threshold 방식이 모델 구조와 무관하게 성능 향상에 기여한다는 점을 시사한다.

The rapid advancement of generative artificial intelligence, exemplified by systems such as ChatGPT, has fundamentally transformed the way text is produced. With the increasing prevalence of hybrid texts collaboratively authored by humans and AI, the limitations of traditional binary classification approaches have become evident, underscoring the need for sentence-level boundary detection techniques. This study addresses the problem of automatically detecting boundaries between human-written and AI-generated segments in Korean personal statements. We first analyze the structural limitations of the existing Triplet Loss-based indirect learning method and then propose a CrossEncoder-based direct boundary detection model combined with a distribution-based Adaptive Threshold strategy. Experiments were conducted on a newly constructed dataset of 9,047 Korean hybrid personal statements. Under the Fixed Top-K evaluation, the proposed CrossEncoder model achieved an F1-score of 0.597, representing a 27% improvement over the Triplet Loss baseline. Moreover, the introduction of Adaptive Thresholding substantially improved detection precision and overall practicality across both models, with CrossEncoder attaining the highest performance (0.736) on the English dataset. However, on the Korean dataset, TriBERT slightly outperformed CrossEncoder when Adaptive Thresholding was applied. These findings demonstrate that while CrossEncoder provides an effective approach for boundary detection in Korean hybrid texts, Adaptive Thresholding itself serves as a robust enhancement mechanism regardless of model choice.