Hybrid local–global vision transformer framework for robust plant disease detection in precision agriculture

方法

局部CNN提取纹理+Transformer自注意力+双向交叉注意力融合，Plan

发现

平均验证准确率95.15%，最佳96.28%，可视化显示模型聚焦病斑区域。

机会点

可探索田间复杂背景下的鲁棒性、多作物多病害泛化及轻量化边缘部署。

正确识别植物病害对可持续农业生产率以及国家和全球粮食安全具有重要影响。尽管传统卷积神经网络在利用图像检测病害方面取得了巨大成功，但其感受野本质上受到限制，进而限制了对长程依赖关系进行建模的能力。然而，视觉Transformer能够捕捉全局关系，但往往无法保留细粒度的局部纹理信息，而这些信息对于区分病害引起的细微症状可能至关重要。为缓解这些问题，我们提出了ViT-LGFNet，一种混合局部-全局融合视觉Transformer，它结合了局部卷积特征提取与全局自注意力编码。所提出的架构由以下模块构建：用于学习精细纹理的局部CNN Stem模块，随后是用于建模上下文特征的Transformer编码器模块。我们提出了一种双交叉注意力融合模块，在局部和全局token之间进行双向信息交换，以增强混合表示的判别能力。PlantVillage数据集结果表明，ViT-LGFNet在多次运行中的平均验证准确率为95.15% ± 0.74，最佳情况性能为96.28%。我们放置了Grad-CAM和Attention Rollout图用于可视化目的，表明该模型能够准确关注图像中受病害影响的部位。所提出的模型为植物病害识别提供了可靠且可解释的基准，并显示出在智慧农业系统和基于AI的作物健康监测应用中的潜力。