这周我们从两篇高光谱图像修复论文和一篇3D场景多模态对比学习论文出发，为你提供知识服务。一是使用可训练的光谱-空间稀疏编码模型进行高光谱图像修复，二是基于深度即插即用（PnP）先验实现高光谱图像修复，三是提出了一种简单且有效的2D图像和3D点云无监督预训练策略。

1

一种用于高光谱图像修复的可训练光谱-空间稀疏编码模型

Inria, Univ. Grenoble Alpes

NeurIPS 2021

第一篇论文发表在2021年国际顶级学术会议NeurIPS上，提出了一个可解释的机器学习模型，该模型可以被视为深度学习和传统方法之间的混合方法，深度学习可以通过有监督的数据端到端地学习参数，传统方法则依赖于图像先验信息。

代码链接：https://github.com/inria-thoth/T3SC

具体来说，这篇论文提出了一个新的具有两层结构的可训练光谱-空间稀疏编码模型，第一层将每个像素的光谱分解为学习字典中几个元素的稀疏线性组合，生成每个像素线性光谱分解的形式，其中字典元素可以被视为场景中存在的光谱响应的基本元素。第二层以第一层的输出为基础，表示为一个二维特征图，并在字典上稀疏地编码块，以便考虑小感受野内像素之间的空间关系。

为什么要采用两层结构呢，目的是为不同的高光谱图像传感器提供一个共享结构，这涉及到不同光谱反映着不同的波段数量。在具体的解决方法中，第一层学习与传感器对应的字典，第二层中的字典具备跨模态共享。这样允许同时对多个高光谱图像进行训练，第一层将输入数据映射到公共空间，然后再由第二层处理数据。

下图是模型示意图，可以看出第一层进行特定传感器的光谱分解，而第二层对光谱和空间信息进行编码。

2

用于高光谱图像修复的深度即插即用先验信息

北京理工大学

Neurocomputing、2022.1.14

第二篇论文发表在期刊Neurocomputing上，作者来自北京理工大学付莹老师团队，利用即插即用框架和深度HSI去噪器，以统一的方法解决多个HSI恢复问题。

代码链接：https://github.com/ying-fu/DPHSIR

即插即用（PnP）框架，已经被高效用于普通图像恢复，因为它能够利用优化方法的灵活性和数据驱动的先验知识，用深度学习的正则化器取代传统的手工正则化器。

普通图像只有空间信息，而高光谱图像拥有丰富的光谱信息，直接将普通图像的深度学习去噪器（比如FFDNet）应用到高光谱图像，将会忽视重要的空间-光谱相关性和光谱域的全局相关性。

此外，作为各种图像恢复任务的通用解决方案，PnP方法通常需要不同的去噪强度，实现在不同的设置下都能获得理想的性能，因此PnP去噪器最好能够处理大范围不同水平的噪声，目前大多数现有HSI去噪算法都没有考虑到这一点。

这篇论文首先使用交替方向乘子法（ADMM），将传统的优化目标分解为两个独立的子问题，一个子问题可直接获取近似解，另一个子问题与图像先验信息相关，可使用分离的去噪器求解。

接下来，提出了一个深度HSI去噪器：门控循环卷积神经网络（GRCNN），采用门控循环卷积块作为基本构造块来挖掘HSI丰富的光谱相关性，并通过残差编解码结构进一步增强其有效性。此外，使用一个额外的噪声水平映射来帮助训练一个能够处理大范围不同水平噪声的鲁棒去噪器。

下图是网络结构图，第一个和最后一个是两个双向门控循环卷积（GRConv）单元，Down和Up表示下采样和上采样GRConv单元，ResBlock是由残差连接的GRConv单元组成。

3

用于室外多模态数据的对比学习预训练策略

哈工大&中科大&商汤&港中文&清华

AAAI 2022

最后，介绍一篇发表在2022年AAAI上的论文，提出了一种简单而有效的多模态对比学习方法SimIPU，利用2D图像和3D点云，学习 Spatial-Aware 的视觉表征，用以提升模型在 3D 相关下游任务的性能，包括基于前融合的 3D 目标检测、单目 3D 目标检测和单目深度估计。

代码链接：https://github.com/zhyever/SimIPU

SimIPU主要由两个模块构成，分别是模态内空间感知模块和模态间特征交互模块，其中模态内空间感知模块使用点云特征提取器学习Spatial-Aware特征，模态间特征交互模块将点云特征提取器学习到的空间感知能力传递到图像特征提取器。

这两个模块由模态内对比学习损失和模态间对比学习损失共同监督，以端到端的形式进行训练。

下图是SimIPU的框架图，公众号《商汤绝影SenseAuto》对这篇论文进行详细解读，感兴趣的朋友可前往学习。

高光谱图像修复往期解读

097 | 预训练+微调方式如何高效实现高光谱图像去噪？（TGRS 2021）

059 | 高光谱图像修复：自适应秩和结构稀疏修正（IEEE Trans on Cybernetics 2021）

049 | 即插即用深度去噪器实现图像修复：降模糊、超分辨率、去马赛克（TPAMI 2021）

033 | 利用低秩先验的非局部超块算法实现高光谱图像修复（TIP 2021）

如有侵权，请联系本站删除！