An integrated instance segmentation and deep feature fusion model for robust leaf species classification in natural environments

引言 由于亮度变化、背景杂乱以及叶片重叠等因素，在自然环境中识别叶片片段和物种是一项困难的过程，当使用实验室扫描而非野外应用时，准确率会下降20-40%。方法 本研究提出了一个统一的深度学习框架，包括基于Mask R-CNN（掩码区域卷积神经网络）的实例分割和深度特征融合，以克服这一问题。通过Detectron2和包含ResNet-50与VGG-16的过度流提取器，结合其他描述性方法，提取了多个叶片，提供了6，148维的联合表示。分类器根据三种方法进行训练：基线、PSO（粒子群优化）和网格搜索。结果 掩码融合系统在保留重要植物学特征的同时消除了背景噪声，实现了平均交并比为0.752、检测精度为98.39%、[email protected]为0.8291。经PSO技术增强的ResNet-50模型在基于ResNet-50的其他技术中表现最佳（准确率90%，F1分数0.9002），而网格搜索技术在ResNet-50加传统特征等特定技术中显示出略高的结果（F1分数=0.9135），这意味着该方法的效率取决于特征类型，而非某种技术是否优于其他技术。讨论 比较和消融数据分析证明了实例分割与多模态融合相结合的有效性，尤其是在易遮挡条件下。该系统为智能农业和生物多样性监测提供了可扩展的应用，同时是弥合自动化环境智能差距的良好范例。