트랜스포머 모델을 활용한 직무 추천 모델 개발에 관한 연구

A Study of Developing a Job Recommendation Model Using Transformer Models

제4차 산업혁명을 통한 급속한 기술의 발전에 따라 산업생태계의 변화에 따라 새로이 생겨나는 직종과 영원히 사라진 직종이 수시로 나타나고 있다. 이러한 사회의 변화는 경력자 중심의 취업 시장을 형성하고 있으며 본인의 전공과 다른 직무를 수행하는 사례가 늘어나고 있다. 또한 청년 구직자의 경우 본인의 전공과 산업에서 요구하는 직무의 차이로 취업을 포기하는 경우가 늘고 있다. 이에 본 연구에서는 구직자의 이력서를 기반으로 한 직무 추천 모델들을 작성하고, 모델을 성능을 확인하며, 추천된 직무의 활용도를 높이는 방안을 제안하는 것이 목적이다. 이를 위하여 2차례의 실험을 하였으며 1차 실험은 트랜스포머를 적용한 직무 추천 모델에 이력서 데이터를 52개의 특징(Feature)으로 구성한 학습 데이터셋과 하이퍼파라미터 설정을 사용하여 성능을 평가하였다. 2차 실험은 1차 실험에서 사용한 52개 특징에서 결측치가 30% 이상인 특징을 삭제한 34개 특징으로 구성된 학습 데이터셋과 파인튜닝 기법을 적용한 딥러닝 모델의 성능을 평가하였다. 트랜스포머 모델의 에포크 값의 상승은 큰 의미가 있다. 본 연구를 통해 학습 데이터의 최적화 및 파인튜닝을 적용한 딥러닝 모델 설계는 직무 추천 모델의 성능 향상에 큰 영향을 미치는 것으로 확인되었다. 본 연구 결과에 따른 에포크 값의 상승률을 보았을 때 향후 트랜스포머 모델에 양질의 이력서 데이터를 적용하여 추가적인 모델 학습을 진행한다면, 전공 기반의 취업 준비생과 경력 구직자의 커리어 기반 직무 추천 모델 성능이 더욱 향상될 것으로 기대한다.

With the rapid technological advancements brought about by the Fourth Industrial Revolution, the industrial ecosystem is undergoing changes with new professions emerging and existing ones disappearing at an unprecedented rate. This societal shift is leading to an employment market dominated by professionals with experience, with an increasing number of individuals working in roles unrelated to their major. Additionally, the discrepancy between one's major and the job requirements demanded by industries is leading to a rising number of young job seekers abandoning their job search. In light of this, the purpose of this study is to develop job recommendation models based on job seekers' resumes, evaluate the performance of these models, and propose ways to enhance the applicability of the recommended jobs. To achieve this, two experiments were conducted. The first experiment evaluated the performance of a job recommendation model that applied the Transformer architecture, using a training dataset composed of resumes with 52 features and set hyperparameters. The second experiment evaluated the performance of a deep learning model, which applied fine-tuning techniques on a training dataset constructed from 34 features after removing any feature with more than 30% missing values from the original 52 features used in the first experiment. The increase in the epoch value of the Transformer model has significant implications. This research demonstrates that the optimization of training data and the application of fine-tuning in deep learning model design significantly impact the performance improvement of job recommendation models. Given the rate of increase in epoch values observed in this study, it is expected that applying high-quality resume data to the Transformer model for additional model training in the future will further enhance the performance of career-based job recommendation models for both students preparing for employment based on their major and for experienced job seekers.