Swin-V2 기반 음식 이미지 분류 및 기초대사량 연계 식단 추천 시스템

Food Image Classification and BMR-Aware Diet Recommendation System Based on Swin-V2

현대인의 식생활에서 초가공식품과 고열량 식품 섭취가 증가하면서 비만 및 대사성 질환이 확산되고 있으며, 이에 따라 개인이 섭취한 음식의 종류와 영양 성분을 자동으로 기록·관리하는 기술의 필요성이 커지고 있다. 본 연구는 음식 이미지를 입력으로 받아 해당 음식의 종류를 분류하는 Swin-V2 기반 딥러닝 모델과 기초대사량(Basal Metabolic Rate, BMR) 기반 식단 추천 모듈을 구성하고, 이를 연계한 모바일 애플리케이션 구조를 제안한다. 실험에는 Food-101 데이터셋 101개 클래스 중 실제 일상 식단에서 자주 등장하는 10개 클래스를 선정하여 클래스당 1,000장씩을 사용하였으며, 연산 자원과 학습 시간의 제약으로 전체 클래스를 직접 평가하지 못했다는 한계가 있다. 제안 모델은 ImageNet 사전학습 가중치를 사용한 Swin-V2-Tiny를 전층 미세조정한 것으로, Swin-V1과 여러 CNN 기반 모델과 비교했을 때 Top-1 정확도 0.926, macro F1-Score 0.926으로 모든 비교 모델보다 우수한 성능을 보였다. 또한 자동 음식 인식 및 식단 추천을 통합한 프로토타입 시스템을 제안한다. 향후 Food-101 전체 클래스 및 자가 촬영 이미지로 데이터 범위를 확장하고 음식 분량 추정 및 모델 경량화를 통해 상용 서비스에 적합한 통합 식단 관리 시스템으로 발전시키고자 한다.

In modern diets, increasing consumption of ultra-processed and high-calorie foods is accelerating obesity and metabolic disorders, highlighting the need for technologies that automatically record and manage food types and nutritional intake. This study proposes a mobile application architecture that integrates a Swin-V2-based deep learning model for food image classification with a basal metabolic rate (BMR)-based meal recommendation module. Experiments use 10,000 images from 10 frequently consumed classes selected from the 101-class Food-101 dataset, with the limitation that computational and time constraints prevented evaluation on all classes. The proposed Swin-V2-Tiny model, fine-tuned from ImageNet pre-trained weights, achieves a Top-1 accuracy of 0.926 and a macro F1-Score of 0.926, outperforming Swin-V1 and several CNN-based baselines. The prototype system shows that automatic food recognition and diet recommendation can be effectively combined, and future work will extend the dataset, incorporate portion-size estimation, and apply model compression to build an integrated diet-management system suitable for real-world services.