Knowledge Distillation for Hybrid CNN–Vision Transformer Architectures: A Systematic Review
Muhammad Adam · Abdullahi Ishaq · Suleiman Ibrahim 等 4 人
系统综述2015-2026年混合CNN-ViT架构的知识蒸馏方法，按迁移方向、知识类型和应用领域分类
综述70余篇文献，按迁移方向、知识类型、应用领域三轴组织并对比。
识别出异构特征对齐理论缺失、评估协议碎片化等六大开放挑战并提出研究议程。
农业领域混合模型蒸馏研究稀缺，可探索面向边缘设备的轻量化作物识别与表型分析。
属计算机视觉通用方法综述，仅在遥感、农业等应用域被顺带提及，与三农及农业信息化主题无实质关联，不建议进入每日精选。
将卷积神经网络（CNN）与视觉Transformer（ViT）相结合的混合架构已成为计算机视觉中的主流设计范式，它将卷积的局部归纳偏置与自注意力的全局关系推理能力结合在一起。这种双重优势伴随着计算成本，常常使混合模型难以部署于边缘和移动设备，从而推动了越来越多的工作，或直接压缩混合CNN-ViT模型，或将其异构知识迁移到不同架构家族的轻量级学生模型中。从混合模型中进行蒸馏或将其蒸馏到混合模型中，从根本上比在架构同质的网络之间进行蒸馏更为困难，因为这需要协调两种性质不同的内部表示：空间局部的卷积特征图和全局关系的注意力权重。本综述综合了2015年至2026年间发表的七十余项针对该问题的研究。文献沿三个维度进行组织：跨架构知识迁移的方向（CNN到混合、混合到CNN、混合到混合，以及混合家族内的ViT到ViT）、所迁移知识的类型（基于响应、基于特征、基于注意力和基于关系），以及应用领域（通用视觉、医学影像、遥感、目标检测与自动驾驶、农业，以及动作识别或机器人学）。文中提供了代表性方法的比较综合表，并指出了六个持续存在的开放挑战：缺乏异构特征对齐的统一理论、多组件损失中超参数敏感性未经检验、领域碎片化且不可比较的评估协议、在物理边缘硬件上验证稀缺、与互补压缩技术的整合较浅，以及对负面或边界结果报告不足。针对这些空白，提出了具体的研究议程。本综述旨在为设计混合视觉架构蒸馏流程的研究人员提供方向，并整合目前分散于互不关联的领域特定孤岛中的文献。