Blueberry flow and mass estimation from harvester conveyor videos via foundation-model-assisted labeling and vision-based sensing

尽管劳动力成本上升且劳动力短缺日益加剧，但鲜食蓝莓生产中机器采收的采用仍受到果实瘀伤率高和落地果实损失严重等问题的限制。机器设置对果实品质和采收性能有很大影响，但目前仍依赖操作人员经验进行手动配置，且没有实时性能反馈。针对这些局限，本文提出了一种传感概念验证方法，通过估计采收机传送带上方RGB-D图像中蓝莓与绿果的逐像素比例以及体积流量，来分析通过采收机的果实流。我们开发了一种自动标注流程，将领域特定的YOLOv8小块检测器与基于SAM2的掩膜生成相结合，从商业跨行蓝莓采收作业期间采集的无标注图像中生成逼真的大规模蓝莓数据集。与在较小规模人工标注图像数据集上训练的基线SegFormer模型相比，我们经过微调的SegFormer——在大规模自动生成数据集上训练和验证——取得了更优性能，绿果IoU从0.377提升至0.817，召回率从0.414提升至0.911。在同一数据集上训练和评估的场景级YOLOv8-l检测模型，对蓝莓和绿果分别达到0.966和0.898的mAP(50-95)。两个模型的性能还通过在验证图像人工标注子集上的独立评估得到进一步确认。我们还比较了在五次机器设置试验中预测采收产量的两种方法：使用RGB-D传感器的基于深度的方法和使用仅RGB图像的基于检测的方法，相对于这些试验中来自称重传感器的真实测量值，分别达到R² = 0.989和R² = 0.894。为支持未来研究，我们公开了数据集和模型。