A multimodal context-aware AI recommender for smart farming

发展中国家地区的农业生产力受植物病害和虫害侵染的显著影响，因此早期检测和及时干预对于提高作物产量和保障粮食安全至关重要。本研究提出了一种多模态情境感知AI推荐框架，该框架整合了玉米叶片图像分析与环境条件，以支持智能农业决策。该框架将基于深度学习的图像分类模型与天气变量（包括温度、湿度、降雨量和太阳辐射）相结合，通过多模态融合模型进行玉米病害诊断。基于预测的作物状况，情境感知推荐引擎将基于规则的农艺知识与Qwen2.5:7B大语言模型相结合，为农民生成可靠且可操作的自然语言建议。生成的建议随后通过Llama 3.1:8B在基于大语言模型的盲评框架中进行评估。实验使用来自YEESI Lab数据集的玉米叶片图像和来自NASA POWER数据库的61天环境数据集，该数据集获取自坦桑尼亚莫罗戈罗的地理坐标。研究考虑了三种玉米状况：健康植株、蚜虫侵染和玉米条纹病毒（maize streak virus）感染。基于图像的模型达到了91%的准确率，而基于天气的模型由于病害类别之间环境特征重叠而表现较低。所提出的多模态融合模型达到了94%的分类准确率，证明了整合视觉与环境信息进行病害诊断的有效性。推荐引擎在五个质量维度——安全性、技术准确性、相关性、可操作性和清晰度——上获得了4.80/5.00的总体评估分数，表明生成的建议在农艺上一致、具有情境感知能力且可操作。所提出的框架提供了一种端到端的AI驱动决策支持解决方案，将多模态病害诊断与情境感知推荐相结合，服务于精准农业。