导言：

开源土地覆盖产品(LCPs)对于许多科学研究领域都是必不可少的。但在应用到特定领域时，存在精度低、分辨率低、及时性差等不足。因此，本文开发了一种新的两阶段弱监督语义分割框架WESUP-LCP，以提高LCPs的分辨率，而无需任何人工标记成本。第一阶段核心为一个样本迁移模块，它从低分辨率LCPs中传输准确且具有代表性的训练样本。第二步，利用迁移标签生成的部分标记对弱监督学习网络进行训练，并在训练过程中通过动态标签传播生成伪标签。结果表明，该方法具有明显优于其他方法的优点，证明了WESUP-LCP在提高LCP分辨率方面的适用性。相关作品已经整理并发表在ISPRS Journal of Photogrammetry and Remote Sensing 。

1. 研究背景

1.1 应用需求

准确的土地覆盖地图是环境和气候研究的基础，对于了解陆地表面的人为、生物地理和生态多样性至关重要。研究最多的类别包括农田、森林、草地、水体和人工表面。具有更精确边界和详细信息的高分辨率土地覆盖图可用于分析城市热岛效应、碳储量、森林覆盖等。因此，对高精度的高分辨率土地覆盖图的需求变得迫切。随着遥感(RS)技术的快速发展，RS图像的空间分辨率不断提高，但通过人工收集标签进行重分类是一项繁琐的工作。一些开源全球土地覆盖产品(LCP)包含大量有关土地覆盖的有用信息。因此，利用开源的LCP和高分辨率的图像来生成更高分辨率的LCP已成为一个具有现实意义的有前途的方向。

1.2 技术难点

土地覆盖和土地利用产品具有中等分辨率(10-30 m)或粗分辨率(250-10 km)。与高分辨率图像相比，这些LCP缺乏详细信息(图1)。

高分辨率研究通常需要精细的表面物体边界，如建筑物和道路。然而，这些LCP的精度往往较低，应用于特定地区时，不能反映实际的土地覆盖分布。此外，静态LCP不能满足某些研究的实时性需求。幸运的是，尽管它们不能直接用于特定领域的研究，但它们可以用来探索有价值的信息。

图1.高分辨率和低分辨率LCP的比较:(a)来自Sentinel-2图像的高分辨率图像(组成:R-Red波段，G-Green波段，b - blue波段)，(b)来自GlobeLand30的低分辨率LCP (30 m分辨率)，(c)来自WorldCover 2020产品的高分辨率LCP (10 m分辨率)。

过去的研究成功地将现有LCP的样本转移到土地覆盖分类中。然而，由于天气条件(雾霾、多云和多雾)，收集大尺度光学图像是不方便和具有挑战性的。此外，由于不变像素的数量有限，变化检测的不确定性，这些方法是否能保证所选样本的鲁棒性和准确性仍是未知数。因此，必须制定一种通用而有效的方法，从现有的LCP中转移样本，以生成当前的土地覆盖图。

1.3 技术背景

最近，深度学习(DL)技术在RS中发挥着越来越重要的作用。在土地覆盖分类方面，深度学习方法优于传统的机器学习(ML)技术。弱监督(WS)学习使用有限的、有噪声的或不准确标记的数据来训练模型参数。与全监督学习相比，WS学习可以利用弱注释有效地训练模型，大幅降低注释成本。因此，针对LCP应用于特定领域时的上述不足，本文开发了一种集成的弱监督语义分割框架(WESUP-LCP)来提高LCP的分辨率，且不需要任何标记成本。

2. 研究方法

本文提出的WS框架能够在现有LCP和高分辨率图像的基础上实时高效地生成高分辨率LCP。如图2所示，WESUP-LCP的总体工作流程分为两个阶段:样本迁移和WS学习模块。

图2.WESUP-LCP地表覆被制图流程图分为两个阶段:(a)第一阶段:样本传输模块;(b)第二阶段:WS学习模块。

2.1 样品迁移模块

当直接将低分辨率LCP应用于高分辨率图像的语义分割时，由于尺度效应和固有误差导致了不一致性。本研究开发了一种新的模块，用于从低分辨率LCP中探索有价值的样本(图3)。该模块的优点是，在土地覆盖测绘任务中，即使没有相关的高分辨率标签，也可以有效地对高分辨率图像进行分类。

图3.现有低分辨率LCP样品传输模块的工作流程。

1）生成初始种子点

生成初始种子点的示意图如图3(A)所示。确定样品的大致位置是从现有LCP转移样品的基础。本研究使用了一种高效的基于图的图像分割算法，基于RGB图像生成超像素以识别同质区域。接下来，将每个超像素视为一个独立的对象，然后通过骨架算法生成每个超像素的形态线。然后，沿骨架线每隔100米随机创建点。最后，建立一个10 m的随机点缓冲区域生成样本点。

2）LCP优化

LCP优化的完整原理图如图3(b)所示。由于低分辨率产品与高分辨率图像相比存在固有误差和尺度不一致，本文对低分辨率LCP进行了预处理，以提高其初始精度。具体来说，本文没有考虑土地覆盖分类产品的误差，而是直接将其上采样到目标分辨率，然后将重新采样的地图作为对应于高分辨率RS图像的语义标签，训练基于超像素的语义分割网络。由于训练标签不准确，最初的分类仍然存在错误。本研究还通过设置近似阈值来优化语义分割结果。

3）过滤不准确的样本点

滤波不准确样本点的总体示意图如图3(c)所示。本文根据优化结果为每个样本点分配标签。值得一提的是，即使优化后，由于阈值的不确定性，优化结果中仍然存在一些无法排除的错误分类像素。因此，本文建立了三个原则（稳定性、均匀性、合理性）来过滤低置信度的点，以确保保留的样本点尽可能准确。

4）超像素标签生成

采用基于像素的方法使用点标签训练DL网络，由于样本量极小，很难达到分割效果。因此，本研究利用给定点标签生成初始标签，将原始图像动态分割为超像素(图3(d))，降低了过拟合的风险，节省了存储空间，提高了计算速度。

2.2 WS学习模块

1）WS网络

本文采用弱监督学习框架（WESUP）进行土地覆盖分类。WESUP 可以充分利用来自不同卷积层的特征图，包括局部特征和抽象语义，在分割任务中表现良好。如图4所示，该网络具有三个功能模块：主干卷积神经网络、多层感知器和分类器。在ImageNet上预训练的VGG-16 网络被选为WESUP 的主干。

图4.本研究中使用的 WS 学习网络架构。

2）深度动态标签传播

即使本文使用超像素标签来训练网络，标签信息的不足仍然会导致上下文语义信息的丢失，降低训练模型的性能。克服这个问题的一种实用方法是采用深度动态标签传播，它可以使用超像素亲和度度量来预测具有动态层次特征的未标记超像素的标签（图5）。此外，动态和数据自适应标签传播可以改进分割结果，因为用于计算亲和矩阵的特征在整个训练阶段不断学习和更新。

图5.深度动态标签传播的图示。

2.3 联合损失

本文的损失包括完全损失和 WS 损失。如果最初进行深度动态标签传播，这可能会导致训练期间的错误传播，因为模型在早期训练阶段不具备稳定的预测像素的能力。解决此问题的一种方法涉及使用时间相关的控制比例因子来有效平衡损失。当模型具有特定的预测能力时，可以在特定的时期添加 WS 损失。联合损失可以表示为：

3. 实验结果

3.1 与开源LCP比较

本文的分类结果与三个公共 LCP（FROM-GLC10、WorldCover 和 Esri Land Cover）的分类结果之间的 OA 和 Kappa 值相似性如表1所示。

表1.WESUP-LCP 与 FROM-GLC10、WorldCover 和 Esri LCP 实现的分类之间的相似性

分析表明本文的结果与当前发布的LCP高度相似，尤其是 WorldCover产品。WESUP-LCP 在三个产品的公共区域之间的两个研究区域中实现的分类具有超过 0.8 的 OA 和 Kappa。研究区域的比较如图6所示。WESUP-LCP 成功地区分了草地和农田，尽管草地和农田在 RS 图像上的光谱对应和纹理特征相似（图6（a））。此外，WESUP-LCP结果中的建筑物边界相对准确，道路结果令人满意（图6（b）-（e））。WESUP-LCP 准确地识别了水体的边界（图6（f））。与 DL 方法制作的 Esri LCP 相比，本文的结果具有足够详细和准确的信息，这可以归因于在本文的 WS 学习中通过融合来自 VGG-16 主干不同阶段的特征，有效地使用了图像中的全局和局部信息网络。

图6.在研究区域 中使用 WESUP-LCP、FROM-GLC10、WorldCover 和 Esri Land Cover 实现的分类比较。

3.2 与其他方法的比较

基于其他方法和 WESUPLCP 的分类精度如表2所示。在这两个研究领域，本文的方法的精度均高于四种 DL 模型。本文的方法在识别各种土地覆盖类型和实现比四种模型更高的 UA 方面具有显着优势。

表2.Unet、PSPNet、SegNet、FCN8s、SVM、RF、CRGNet、WESUP-LCP在研究区域A和B的分类准确率

图7比较了其他算法和 WESUP-LCP 的分类。研究区域 中的 FCN8s、Unet、SegNet 和 PSPNet 的分类结果都缺乏详细信息。标签和图像之间的空间分辨率不匹配可能会限制具有广泛接受域或深度编码器-解码器结构的高级网络的有效性。与这些算法相比，本文的方法在准确的桥梁和道路信息以及准确的森林和农田边界方面取得了更好的结果，这是由于使用了更精确的点标签、噪声标签的容忍度以及 WESUP-LCP 强大的能力提取精细尺度的特征。因此，所提出的方法在多种土地覆盖类型中表现良好，精度高，证明了 WESUP-LCP 的优越性。

图7.在研究区域中使用 Unet、PSPnet、SegNet、FCN8s、SVM、RF、CRGNet 和 WESUP-LCP 实现的分类比较。

3.3 在公开数据集上的实验

2021 IEEE GRSS 数据融合竞赛公共数据集的实验结果如图8所示。与 CRGNet 实现的分类相比，可以发现本文的结果具有更详细的信息，道路和建筑物的边界和连通性准确。特别是，建筑物之间的森林在图 8（a）和（d）中得到了很好的区分，这归因于 WESUP-LCP 中不同上下文信息的融合。此外，在图8（b）和（c）中，由于点标签中的噪声，CRGNet 将大面积的森林或水域错误分类为湿地。WESUP-LCP对噪声标签具有一定的容忍度，使得错误的标签对训练过程的影响较小。因此，上述实验再次证明了WESUP-LCP对较高分辨率图像具有较强的细粒度特征检测能力，能够实现更大跨度的分辨率提升任务。

图8.在 2021 IEEE GRSS 数据融合竞赛中使用 Unet、PSPNet、SegNet、FCN8s、CRGNet 和 WESUP-LCP 在 Track MSD 的公共数据集上实现的分类比较。

4. 讨论

1）实验结果表明，本研究通过 WS 学习网络中的动态标签传播方法为未标记数据分配伪标签，使模型能够自动学习未标记数据的潜在信息，补偿丢失的语义信息，提高分类。

2）本文从优化结果中提取一些高置信度样本点，并使用深度动态标签传播为未标记数据分配伪标签。点标签在两个研究领域取得了突出的成绩。本文推测，与其他标签形式相比，使用点标签的模型在训练过程中受不正确或嘈杂标签的影响较小。上述分析表明 WESUP-LCP 实现了出色的分类，样品的质量比 WESUP-LCP的数量更重要。

3）WESUP-LCP 可以有效提高开源 LCP 的分辨率，精度高，不需要额外的标记成本。此外，WESUP-LCP 中的样本传输和 WS 学习模块都不需要大量的人工干预，参数设置简单，实施速度快。虽然 WESUP-LCP 在某些方面存在不足，但值得注意的是 WESUP-LCP 具有较高的时效性，可以帮助相关研究人员随时（无论向前或向后）快速获取世界上任何特定区域的高分辨率土地覆盖图。

5. 研究结论

本研究提出了一种新的WS学习框架，称为WESUP-LCP，以快速提高LCP的分辨率而无需额外的标记成本。WESUP-LCP包括两个模块：样本传输模块和WS学习模块。样本传输模块有效地从低分辨率LCP传输高置信样本，而WS学习模块用于使用置信样本对高分辨率图像进行语义分割。实验结果表明，WESUP-LCP在没有准确注释的情况下取得了令人满意的结果。此外，WESUP-LCP在2021年IEEEGRSS数据融合竞赛中在TrackMSD的公共数据集上表现良好，表明所提出的方法也适用于具有更大跨度和更高分辨率图像的分辨率增强任务。

综上所述，WESUP-LCP可以克服LCP在针对特定区域时精度低、分辨率低、时效性差的问题，有效地促进了历史数据的利用，对高分辨率研究具有重要意义。然而，WESUP-LCP也有一些局限性，例如转移样本时不可避免的错误以及它对当前LCP类别的限制。未来，本文将进一步提高WESUP-LCP中样本转移的准确率，探索新类别的分类方法。

6. 引文格式：

CHEN Y, ZHANG G, CUI H, et al. A novel weakly supervised semantic segmentation framework to improve the resolution of land cover product [J]. ISPRS J Photogramm Remote Sens, 2023, 196: 73-92.

转自：“科研圈内人”微信公众号

如有侵权，请联系本站删除！