Adapting SAM3 for 3D fruit counting with cross-view contrastive learning and Hough voting

果实检测与三维定位已被证明对精准农业应用至关重要，如产量估算和机器人采摘任务。然而，真实农业环境常伴随高密度果实、强烈遮挡和光照变化，导致果实检测与定位的准确性面临挑战。尽管已有专门用于果实计数的二维方法，但在密集遮挡情况下，这些方法易因投影效应而合并相邻果实，从而限制其有效性。基于此，本文探讨了结合视觉基础模型适配与基于三维高斯的场景表示的果实三维检测与定位问题。具体而言，我们采用低秩适配（Low-Rank Adaptation）来利用SAM3生成不同作物和光照条件下的高质量实例掩码。同时，为解决伪标签噪声问题，我们采用带不确定性加权的跨视角对比学习，以增强三维特征表示。此外，我们在三维高斯空间中设计了一种霍夫投票（Hough Voting）流程，以整合被遮挡果实的多视角证据，随后通过聚类估计果实数量及其三维位置。所提方法已在包含数千个果实的合成果园场景、真实苹果园数据集以及温室甜椒场景中进行了广泛测试。实验结果表明，在密集遮挡情况下性能显著提升，李子和芒果的F1分数分别达到0.971和0.977。同时，与FruitNeRF相比，我们的方法在三维实例分割上实现了超过两倍的提升。更值得注意的是，适配权重和后处理设置可从开放田野苹果园迁移至温室甜椒场景，其中仅需更改SAM3文本提示，而三维高斯表示仍针对每个新场景进行优化。