오버샘플링과 머신러닝을 활용한 불균형 다중클래스 분류 성능 비교 연구

Comparative Study on the Performance of Imbalanced Multi-Class Classification Using Oversampling and Machine Learning

이 연구는 교육 데이터의 다중 클래스 분류에서 소수 클래스의 예측 성능을 저하시키는 데이터 불균형 문제를 해결하고자 6가지 오버샘플링 기법(RandomOverSampler, SMOTE, BorderlineSMOTE, ADASYN, SMOTE+ENN, SMOTE+Tomek)과 8가지 머신러닝 알고리즘(CatBoost, XGBoost, LightGBM, RandomForest, ExtraTrees, LogisticRegression, SVM, KNN)을 조합한 총 48개의 분류 모델의 성능을 비교 분석하였다. 다문화청소년패널조사(MAPS) 데이터를 사용하여 진로 역량 수준에 따라 집단을 분류한 결과, RandomOverSampler 기법을 적용한 CatBoost 모델이 Accuracy, Macro F1, Macro Recall, MMCC 등 주요 평가지표에서 가장 뛰어난 성능을 나타냈다. 이 최적 모델을 기반으로 SHAP 지수, 순열 특성 중요도, 불순도 기반 중요도를 각각 활용하여 상위 10%(18개) 변수를 추출했으며, 세 방법에서 공통으로 선정된 7개의 핵심 변수를 대상으로 예측 기여도와 비선형적 관계를 시각적으로 분석하였다. 분석 결과, 자아존중감, 진로 태도 결정성, 상급학교 진학 준비도, 또래 관계와 같은 개인적·관계적 요인이 다문화청소년의 진로 역량 유형을 예측하는 가장 중요한 변수임이 확인되었다. 본 연구는 데이터 기반의 취약계층 조기 선별과 맞춤형 진로 지원 시스템 구축을 위한 방법론적 토대를 제시한다는 점에서 의의가 있다.

This study aimed to address the data imbalance problem, which often deteriorates the prediction performance of minority classes in multi-class classification using educational data. To this end, the performance of 48 classification models combining six oversampling techniques (RandomOverSampler, SMOTE, BorderlineSMOTE, ADASYN, SMOTE+ENN, SMOTE+Tomek) and eight machine learning algorithms (CatBoost, XGBoost, LightGBM, RandomForest, ExtraTrees, LogisticRegression, SVM, KNN) was compared. Using data from the Multicultural Adolescents Panel Study (MAPS), adolescents were classified into groups based on their career competency levels. The results revealed that the CatBoost model combined with RandomOverSampler achieved the highest performance across key evaluation metrics, including Accuracy, Macro F1, Macro Recall, and MMCC. Based on this optimal model, the top 10% (18 variables) of important predictors were extracted using SHAP, permutation importance, and impurity-based importance methods, and a visual analysis of predictive contributions and nonlinear relationships for seven core variables commonly identified across all three approaches was conducted. The findings indicated that individual psychological and behavioral factors—such as self-esteem, career decision-making attitudes, preparedness for higher education, and peer relationships—were the most influential predictors of career competency types. This study provides a methodological foundation for early identification of vulnerable groups and the development of tailored career support systems.