Dual-branch multimodal scale-interaction transformer for semi-supervised HSI-SAR classification

方法

双流卷积编码器、跨模态特征分离、尺度交互Transformer与图引导伪标签半监

发现

在三个数据集上优于现有方法，有效缓解跨模态干扰与伪标签误差累积。

机会点

可将该半监督多模态框架迁移到作物分类与长势监测，探索少样本下的跨模态伪标签可靠性评估。

深度学习显著推动了高光谱图像（HSI）与合成孔径雷达（SAR）联合分类的发展，取得了颇具前景的地物覆盖制图性能。然而，现有大多数方法严重依赖密集的像素级标注，而在实际多模态遥感应用中获取此类标注成本高昂且耗时。本文提出了一种新颖的半监督框架，称为双分支多模态尺度交互Transformer（DMSIT），用于标注样本有限条件下的HSI-SAR联合分类。具体而言，所提出的DMSIT首先采用双流卷积编码器，并结合跨模态特征分离（CMFS）模块。CMFS模块显式地将模态共享的分类特征与样本特定的私有表示解耦，从而有效减少跨模态特征干扰。随后，分离出的共享特征被转换为标记序列，并由多模态尺度交互Transformer（MSIT）处理。通过执行尺度感知注意力，MSIT捕获全局跨模态依赖关系并自适应地整合互补的多模态特征，从而弥补局部卷积有限感受野的不足。此外，为利用无标注数据，我们引入了一种图引导伪标签（GGPL）策略。通过利用图拓扑邻近性而非孤立的预测置信度，GGPL选择可靠的伪标签，有效缓解类别不平衡并抑制误差累积。在三个数据集上的大量实验表明，与若干最先进方法相比，所提出的DMSIT具有有效性和优越性。