YOLOv5 및 다항 회귀 모델을 활용한사과나무의 착과량 예측 방법 = Estimation of fruit number of apple tree based on YOLOv5 and regression model

국문 초록 (Abstract)

본 논문은 딥러닝 기반 객체 탐지 모델과 다항 회귀모델을 이용하여 사과나무에 열린 사과의 개수를 예측할 수 있는 새로운 알고리즘을 제안한다. 사과나무에 열린 사과의 개수를 측정하면 사과 생산량을 예측할 수 있고, 농산물 재해 보험금 산정을 위한 손실을평가하는 데에도 활용할 수 있다. 사과 착과량 측정을 위해 사과나무의 앞면과 뒷면을 촬영하였다. 촬영된 사진에서 사과를 식별하여 라벨링한 데이터 세트를 구축하였고, 이 데이터 세트를 활용하여 1단계 객체 탐지 방식의 CNN 모델을 학습시켰다. 그런데 사과나무에서 사과가 나뭇잎, 가지 등으로 가려진 경우 영상에 포착되지 않아 영상 인식 기반의 딥러닝 모델이 해당 사과를 인식하거나추론하는 것이 어렵다. 이 문제를 해결하기 위해, 우리는 두 단계로 이루어진 추론 과정을 제안한다. 첫 번째 단계에서는 영상 기반딥러닝 모델을 사용하여 사과나무의 양쪽에서 촬영한 사진에서 각각의 사과 개수를 측정한다. 두 번째 단계에서는 딥러닝 모델로 측정한 사과 개수의 합을 독립변수로, 사람이 실제로 과수원을 방문하여 카운트한 사과 개수를 종속변수로 설정하여 다항 회귀 분석을수행한다. 본 논문에서 제안하는 2단계 추론 시스템의 성능 평가 결과, 각 사과나무에서 사과 개수를 측정하는 평균 정확도가90.98%로 나타났다. 따라서 제안된 방법은 수작업으로 사과의 개수를 측정하는 데 드는 시간과 비용을 크게 절감할 수 있다. 또한,이 방법은 딥러닝 기반 착과량 예측의 새로운 기반 기술로 관련 분야에서 널리 활용될 수 있을 것이다.

다국어 초록 (Multilingual Abstract)

In this paper, we propose a novel algorithm for predicting the number of apples on an apple tree using a deeplearning-based object detection model and a polynomial regression model. Measuring the number of apples on anapple tree can be used to predict apple yield and to assess losses for determining agricultural disaster insurancepayouts. To measure apple fruit load, we photographed the front and back sides of apple trees. We manuallylabeled the apples in the captured images to construct a dataset, which was then used to train a one-stage objectdetection CNN model. However, when apples on an apple tree are obscured by leaves, branches, or other parts ofthe tree, they may not be captured in images. Consequently, it becomes difficult for image recognition-based deeplearning models to detect or infer the presence of these apples. To address this issue, we propose a two-stageinference process. In the first stage, we utilize an image-based deep learning model to count the number of applesin photos taken from both sides of the apple tree. In the second stage, we conduct a polynomial regression analysis,using the total apple count from the deep learning model as the independent variable, and the actual number ofapples manually counted during an on-site visit to the orchard as the dependent variable. The performanceevaluation of the two-stage inference system proposed in this paper showed an average accuracy of 90.98% incounting the number of apples on each apple tree. Therefore, the proposed method can significantly reduce thetime and cost associated with manually counting apples. Furthermore, this approach has the potential to be widelyadopted as a new foundational technology for fruit load estimation in related fields using deep learning.

참고문헌 (Reference)

• 1 Joseph Redmon, "You Only Look Once : Unified, Real-Time Object Detection" 779-788, 2016
• 2 Bochkovskiy, Alexey, "Yolov4: Optimal speed and accuracy of object detection"
• 3 Wang, Chien-Yao, "YOLOv7 : Trainable bag-of-freebies sets new state-of-the-art for realtime object detectors" 7464-7475, 2023
• 4 LIU, Wei, "Ssd: Single shot multibox detector" Springer International Publishing (Part I 14) : 21-37, 2016
• 5 Ross Girshick, "Rich feature hierarchies for accurate object detection and semantic segmentation" 580-587, 2014
• 6 Kaiming He, "Mask R-CNN" 2961-2969, 2017
• 7 Shaoqing Ren, "Faster R-CNN : Towards Real-Time Object Detection with Region Proposal Networks" 28 : 2015
• 8 Ross Girshick, "Fast R-CNN" 1440-1448, 2015
• 9 Yıldırım, Şahin, "Deep learning based apples counting for yield forecast using proposed flying robotic system" 23 (23): 6171-, 2023
• 10 "Comprehensive Guide to Ultralytics YOLOv5"