가시성을 표시한 사과 검출 데이터셋과 적응형 히트맵 회귀를 이용한 딥러닝 검출

Apple detection dataset with visibility and deep learning detectionusing adaptive heatmap regression

과실 수확 분야에서 다양한 계절성과 수확 비용 상승 등으로 자동 로봇 수확에 대한 관심이 증가하고 있다. 빛의 변화, 바람에 의한 진동, 나뭇잎 및 가지 겹침 등 복잡한 과수원 환경에서 정확한 사과 검출은 어려운 문제이다. 본 논문에서는 로봇 자동 사과 수확에 유리한 데이터셋과 적응형 히트맵 회귀 모델을 소개한다. 사과 데이터셋은 사과 위치뿐만 아니라 가시성을 같이 레이블링하였다. 가시성에 따라 가우시안 모양을 조절하는 적응형 히트맵 회귀 모델을 사용하여 사과 중심점을 검출하는 방법을 제안한다. 실험 결과 MAP@K가 K=5와 K=10일 때 0.9809, 0.9801로 사과 수확 로봇에 응용 가능한 성능을 나타내었다.

In the fruit harvesting field, interest in automatic robot harvesting is increasing due to various seasonality and rising harvesting costs. Accurate apple detection is a difficult problem in complex orchard environments with changes in light, vibrations caused by wind, and occlusion of leaves and branches. In this paper, we introduce a dataset and an adaptive heatmap regression model that are advantageous for robot automatic apple harvesting. The apple dataset was labeled with not only the apple location but also the visibility. We propose a method to detect the center point of an apple using an adaptive heatmap regression model that adjusts the Gaussian shape according to visibility. The experimental results showed that the performance of the proposed method was applicable to apple harvesting robots, with MAP@K of 0.9809 and 0.9801 when K=5 and K=10, respectively.