A multimodal deep learning for rice crop health monitoring using vegetation index feature selection

作物健康监测对于维持农业生产力、保障稳定生产至关重要，尤其是在面临气候变异性、资源约束和空间异质性挑战的主要作物产区。传统方法难以有效整合多源遥感（RS）数据中的空间异质性和环境变异性。为解决这一问题，本研究探索了卫星影像在天气条件变化影响下借助植被指数（VIs）监测水稻作物健康的作用。研究在印度北方邦戈勒克布尔的稻田中，于三个水稻生长季（2023—2025年）获取了多时相Sentinel-1和Sentinel-2卫星数据。在本研究中，我们提出了一种基于互信息（MI）的监督式特征选择框架，采用Otsu自适应阈值法筛选对水稻作物健康具有强判别能力的植被指数。为确保数据完整性，通过两阶段清洗流程系统性地剔除了受云污染的观测数据。此外，我们提出了一种多模态深度学习（DL）框架，该框架融合了Swin Transformer（Swin-T）主干网络用于从植被指数影像中提取空间特征，以及多层感知机（MLP）用于气象变量的结构化数值建模。所提框架在独立留出测试集上达到了94.05%的准确率，在10折交叉验证下平均准确率为\(92.12 \pm 5.28\)%，持续优于竞争的混合深度学习基线模型。这些结果表明，将基于Transformer的空间表征与环境信息相结合，为水稻作物健康分类提供了一种高效方法。所提框架可通过纳入更多植被指数模态和多样化气候条件，扩展至多区域作物监测。