MangoVQA: A Multi-Answer Visual Question Answering System for Grading SNI-Aligned Mango Quality using Deep Learning and Text Processing
Nidaul Hasanati · Taufik Djatna · Imas Sukaesih Sitanggang 等 4 人
提出首个多答案芒果质量分级VQA框架MangoVQA，对齐印尼SNI标准。
YOLOv11n检测+HSV规则引擎，468张图生成17764问答对。
全局多答案micro-F1达0.846，远超EMQA基线62.91%。
可扩展至其他农产品标准分级，并探索多答案VQA在农业可解释决策中的应用。
首个面向SNI芒果分级的多答案VQA框架，方法新颖、数据规模可观，对农产品智能质检有参考价值，但属细分领域学术成果，公共影响有限。
视觉问答（Visual Question Answering, VQA）是一项结合计算机视觉与语言理解的多模态人工智能任务，旨在针对视觉内容回答基于文本的问题。尽管VQA发展迅速，但现有方法大多假设单一正确答案，而现实世界中的图像往往同时需要多个有效答案。本研究提出MangoVQA，据我们所知，这是首个面向芒果质量分级、与SNI 3164:2024标准对齐的多答案VQA框架。与端到端学习融合的VQA模型不同，MangoVQA将感知与推理分离，把基于YOLOv11n的神经感知与确定性的、基于规则的问题解释相结合。每个答案均以检测到的芒果实例为依据，从而支持可追溯的多答案响应，而非不透明的预测。YOLOv11n检测器定位果实并识别四个质量等级（特级、一级、二级和拒收），而透视引擎（Perspective Engine）通过校准的HSV分析提取颜色和缺陷属性。这些事实填充到结构化答案表示中，并通过预定义的意图和槽位进行查询。从468张标注图像中，该流程生成了17,764个问答对，涵盖22种问题类型、两个推理层次和两种语言。22.85%的问题需要多答案响应，采用基于集合的精确率、召回率、F1分数和子集精确匹配进行评分。评估在全局开放式问题上达到0.919的准确率，在局部开放式问题上达到0.937，在全局多答案问题上达到0.846的微观F1，超过了EMQA（唯一先前的多答案VQA基线）在不同数据集上报告的62.91% F1。在实践层面，MangoVQA为小农户、合作社、需要SNI合规证据的出口商以及芒果消费者提供可审计的决策支持；在理论层面，将视觉感知与文本解释和推理解耦，为端到端多模态融合提供了一种可行且可解释的替代方案。