融合多尺度特征的国产光学影像辐射异常分类检测

谭海,1, 张荣军,1,2, 樊文锋1, 张一帆1, 徐航1

1．自然资源部国土卫星遥感应用中心,北京 100048

2．辽宁工程技术大学测绘与地理科学学院,阜新 123000

摘 要：

0 引言

近年来,随着国家对遥感卫星的发展与应用日益重视,我国的航天遥感事业得到了跨越式飞速发展,民用、商用卫星数量、质量稳步提升,光学遥感影像的空间分辨率、时间分辨率和光谱分辨率得到了显著提高,光学遥感影像数据量得到了极大丰富[1??-4]。但随着光学遥感影像数据量的增长,也给光学影像传感器校正产品质量检验业务带来了新的挑战。

自然资源部国土卫星遥感应用中心是为自然资源调查、监测、评价、监管、执法提供卫星遥感数据、信息及产品、技术和业务支撑的单位,中心现有光学影像产品主要包括资源一号02C(ZY1-02C)、资源三号02(ZY3-02)、高分一号B/C/D(GF-1-B/C/D)等业务星,以及资源三号01(ZY3-01)、高分一号(GF-1)、高分二号(GF-2)等科研卫星的传感器校正产品,2020年全年光学遥感影像质量检验总数据量达到178万余景。目前对于光学卫星影像质量检查主要包括基础检查、几何精度检查、辐射异常检查等方面; 影像质量检查工作作为光学遥感数据应用的关键环节,对影像质量评价、影像数据分发与应用、影像数据库建设及数据质量提升等有着重要作用。辐射异常检查是影像传感器校正产品数据质量检验的重要内容,辐射异常检查结果是影像质量评价的重要参考指标。但目前国内光学影像辐射异常数据自动识别和分类技术尚不成熟,自动化识判水平较低。在实际的光学影像质检业务生产过程中严重依赖人工识判,需要花费大量的人力、物力,且在效率上无法满足对日益海量增长的光学遥感影像数据质检业务需求。

而目前国内、外对光学遥感辐射异常数据检测方法研究相对较少,大多数专家学者主要对光学遥感影像的辐射定标、校正问题以及光学遥感影像的大气校正进行了研究。许和鱼等[5]为了解决推扫型光学遥感器成像光学系统中线阵CCD探测器各像元响应不一致的问题,提出了一种基于太阳漫反射板星上相对辐射定标方法,利用实验室积分球定标数据作为参考标准,对星上太阳漫反射板定标数据进行平场校正; 得到各像元的相对定标系数之后,将相对定标系数应用于海洋、戈壁滩和云层3种不同地物目标场景进行实验分析。曹红业等[6]提出一种基于辐射传输模型的GF-2影像大气校正方法,该方法利用6S辐射传输模型,建立大气校正系数查找表,同时利用同步MODIS影像数据以及改进后的暗像元方法反演气溶胶光学厚度,确定大气校正系数,来消除GF-2影像大气分子和气溶胶等的吸收和散射的影响,实现GF-2影像数据的大气校正。

近年来随着人工智能、大数据、云计算等技术快速发展,作为机器学习重要分支之一的深度学习图像分类技术也取得了巨大突破。He等[7]提出了ResNet模型,解决了随着网络深度增加导致的网络退化的问题,通过深度网络可以提取到更丰富的信息,网络越深,提取到的不同层次的信息会越多,进而使分类模型达到了较高的分类精度; Simonyan等[8]基于AlexNet探究了卷积网络深度对网络性能的影响,提出了VGGNet模型,该模型使用较小的卷积核和较深的网络层次来提升深度学习的效果,通过反复堆叠3×3的小型卷积核和2×2的最大池化层,更有利于提取图像多层次特征,进而提高模型的分类精度。同时,随着深度学习图像分类方法的成熟,其在遥感影像检测和分类研究中也得到了广泛推广与应用[9???-13],在遥感影像的土地分类、目标检测、图像解译等方面都取得了相对较好的效果。

综上所述,本文提出了一种基于EfficientNet-B0模型[14]、融合多尺度特征的光学遥感影像辐射异常数据检测方法。首先,利用不同问题的辐射异常数据和正常数据进行分类模型训练; 然后,利用训练好的模型自动检测新输入的影像数据是否存在辐射问题,若存在辐射问题则进一步对问题进行分类,从而达到辐射异常数据检测分类的目的。

1 研究方法

1.1 遥感影像辐射异常数据分类

结合目前质量检验生产业务,光学遥感影像辐射异常数据主要可以分为5类,包括CCD拼接问题、乱码、抽头、图像缺失和偏色。

1)CCD拼接问题数据。CCD拼接问题呈现在遥感影像上主要为CCD片间拼接处的色调或亮度不连续,导致在同一景遥感影像不同的CCD片间呈现出不同的色调或亮度,尤其在含有沙漠、水域、冰雪覆盖区域的遥感影像上这种情况更为明显(图1)。在图1中,红色标注区域即为CCD拼接问题的区域,从图中可以清晰地看出存在拼接问题的接缝左右两侧呈现出不同的亮度。

图1 CCD拼接问题数据示例

2)乱码问题数据。乱码问题在遥感影像上主要表现为影像幅面部分区域出现像素光谱错乱,导致无法表达地表信息。具体如图2所示,图中红色标注区域即为出现乱码问题的区域。

图2 乱码问题数据示例

3)抽头问题数据。抽头问题在遥感影像中主要表现为整景或局部影像区域呈现出不规则细纹状,影像像素值无法表达覆盖区域地表信息,具体如图3所示。

图3 抽头问题数据示例

4)缺失问题数据。缺失问题主要表现为影像局部出现块状或带状区域,该区域影像信息缺失,某一波段或某几个波段的像素值完全无法表达地表信息,具体如图4所示。

图4 缺失问题数据示例

5)偏色问题数据。偏色问题主要表现为影像的某一个波段或几个波段的像素值偏大或偏小,导致在视觉上呈现出整体偏向于某一颜色,具体如图5所示。

图5 偏色问题数据示例

光学遥感影像辐射异常数据在色调特征、纹理特征、形状特征和空间关系特征等影像特征方面,与辐射正常的遥感影像均存在差异,并且不同问题的辐射异常数据在色调、纹理、形状以及空间关系的特征也存在较大差别。本文利用深度学习分类模型,对存在不同辐射异常问题的数据和正常的数据进行模型训练,充分学习、挖掘不同问题数据以及正常数据的特征,用参数的形式来描述每一种数据的特征,构建分类模型,从而判断输入数据是否是正常数据,若不正常则进一步对问题数据进行分类。

1.2 EfficientNet模型结构

EfficientNet是目前众多深度学习分类网络中精度相对较高的网络之一,在不同的行业和场景下进行了广泛的应用研究[15???-19]。对于分类网络,网络的深度、宽度和输入图像的空间分辨率是影响分类精度的关键因素,也是改进分类网络的重要思想指导。

本文选用EfficientNet-B0网络模型为主网络模型。EfficientNet-B0网络是EfficientNet的基准网络,通过固定φ=1,然后利用网格搜索找到满足式(1)的最优α,β,γ。EfficientNet-B0网络由16个移动倒置瓶颈卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成(图6)。从图6可以看出,EfficientNet-B0网络首先对输入尺寸为224×224的三通道图像,以32个核为3×3×3、步长为2×2的卷积核进行卷积运算,使图像向量维数升为32; 再依次进行一系列不同卷积核、步长的移动倒置瓶颈卷积运算(MBConv); 然后再次以1 280个核为1×1×320、步长为1×1的卷积核进行卷积运算; 最后在卷积运算的基础上进行全局平均池化和Softmax分类处理,得到输入图像的分类结果。

1.3 融合多尺度特征的分类检测模型

经过对大量辐射异常数据分析,发现在影像中存在辐射问题区域普遍较大,而EfficientNet-B0模型输入尺寸为224×224,难以获取原始影像中的辐射异常区域整体特征,从而会导致分类检测精度不高; 此外,经过EfficientNet-B0模型改进的EfficientNet-B7模型虽然能输入更大尺寸(600×600),但随着输入图像尺寸的增大,将导致模型中运算量增大、训练时间延长,所占用内存也会急剧增大。因此,本文设计了一种基于EfficientNet-B0网络模型、融合多尺度特征的分类检测网络,在EfficientNet-B0网络模型的基础上,引入了空洞空间卷积池化金字塔 [20],增大了卷积感受野,可以获取不同尺度的辐射异常特征,能有效联系辐射异常区域的上下文特征,较完整地提取出辐射异常特征,以达到提高分类检测精度的目的。改进后的网络如图7所示。在EfficientNet-B0网络模型的基础上,引入空洞空间卷积池化金字塔,能起到融合多尺度特征的作用。空洞空间卷积池化金字塔由有一个1×1的卷积层、3个3×3膨胀率不同的并行空洞卷积层以及一个全池化层组成,如图8为不同膨胀率的空洞卷积核。将空洞空间卷积池化结果进行通道拼接和1×1卷积处理,实现不同尺度的特征融合。最后将融合后的特征与EfficientNet-B0模型提取特征进行拼接和卷积等处理,实现融合多尺度特征的分类检测。

图7 改进后的EfficientNet-B0网络模型

图8 膨胀卷积的感受野大小

2 实验与结果分析评价

2.1 实验数据集及实验过程

本文从资源系列和高分系列遥感影像传感器校正产品数据中挑选了影像中存在CCD拼接问题、乱码、抽头、缺失、偏色问题的影像缩微图数据和正常影像缩微图数据,每类问题数据各3 000张; 将这些裁剪为224×224大小的训练和测试数据,再经过进一步挑选和图像旋转、镜像等方法进行图像扩充。经过处理后,CCD拼接问题数据10 015张,乱码问题数据9 864张,抽头问题数据9 478张,缺失问题数据9 217张,偏色问题数据9 768张,正常数据9 014张。采用3:1比例将数据分成训练集和验证集,其中训练数据集包括CCD拼接问题数据7 511张、乱码问题数据7 398张、抽头问题数据7 108张,缺失问题数据6 913张、偏色问题数据7 326张,正常数据6 761张; 验证数据集包括CCD拼接问题数据2 504张、乱码问题数据2 466张、抽头问题数据2 370张,缺失问题数据2 304张、偏色问题数据2 442张,正常数据2 253张。本文实验环境为Ubuntu18.04操作系统,显卡型号为NVIDIA Quadro P6000,显卡容量为24 GB。采用Pytorch深度学习框架,实验参数设置为: 学习率设置为0.000 1,迭代轮数设置为150。

2.2 评价指标

深度学习分类网络分类结果通常用以下4种情况来描述: True Positives (TP)为正样本,即被正确识别为正样本; True Negatives(TN)为负样本,即被正确识别为负样本; False Positives(FP)为假的正样本,即负样本被错误识别为正样本; False Negatives(FN)为假的负样本,即正样本被错误识别为负样本。

2.3 实验及对比分析

结合辐射异常数据特点,本文设计的基于EfficientNet-B0、融合多尺度特征的分类检测网络,运用膨胀卷积运算,将不同尺度的特征与EfficientNet-B0提取出来的特征进行融合处理,既利用了EfficientNet-B0运算量小、速度快、参数少的优点,同时融合了多尺度特征,有效提高了辐射异常数据的检测分类精度。辐射异常数据分类模型训练过程整体分类精度和损失值变化曲线,如图9所示。

图9 训练过程整体分类精度损失值变化曲线

结合图9可以看出,前10次模型整体分类精度上升速度较快,从大概0.80增至0.90附近,效果较为明显,同时在这个过程中,损失值也随之快速减小; 在之后的训练过程中,整体分类精度以较小的起伏幅度、波浪曲线式整体呈增长趋势提高,损失值变化曲线则以类似的趋势逐渐减小,说明训练出来的模型预测值不断逼近真值; 迭代至100次时,整体分类精度达到了0.963,之后分类精度一直稳定在0.96附近,损失值也同样趋于稳定状态,保持在0.13左右,说明训练达到了收敛状态。经过150次的训练,最终得到的整体分类精度和损失值分别为0.966和0.129。

为了客观评价本文设计网络模型的可靠性,引入了目前分类效果较好的ResNet,VGG16,GoogLeNet分类网络以及EfficientNet-B0模型进行实验对比分析。

针对同一测试数据,不同分类网络的分类结果评价见表1。从中可以看出,针对单一类别的检测分类,本文提出的分类模型对不同问题类型的数据分类检测精度均优于EfficientNet-B0模型、ResNet模型、VGG16模型和GoogLeNet模型。对于CCD拼接问题数据,其主要特征为多个CCD相机拍摄的影像拼接处两侧的地物光谱信息出现不连续,呈现出“线状”特征,相对于其他问题数据特征难以提取,过小的感受野会导致特征提取不完整,而VGG和ResNet分类模型重点加深了网络的深度,通过更深的网络来提取问题数据特征; GoogLeNet设计了Inception结构,采用了平均池化来代替全连接层,对CCD拼接问题数据特征的提取有了改善,分类精度相对于VGG和ResNet有所提高; EfficientNet综合平衡了网络的深度、宽度和输入图像的尺寸,可以更完整、详细地提取和表达CCD问题数据特征。乱码问题数据特征在影像中比较明显,各个检测分类方法相比较于其他问题数据的分类检测精度要高。

表1 不同模型对不同问题数据分类精度对比

表2中运用宏平均计算方法,对表1中的数据进一步计算了精确率、召回率和F1评价指标。从中可以看出,本文提出的分类模型的精确率、召回率及F1评价指标均优于其他几种分类模型。

表2 不同分类模型的综合性能对比

3 结论

本文针对光学影像传感器校正产品辐射异常检查过程中,存在数据量大、人工参与多、自动化水平低等问题,难以满足对日益增长、海量的光学影像传感器校正产品数据进行辐射异常检查的需求,提出了一种融合多尺度特征的辐射异常数据分类检测方法,可以有效提高辐射异常数据分类检测的自动化水平和生产效率。实验表明,本文提出的分类模型分类精度明显优于EfficientNet-B0模型、ResNet模型、VGG16模型和GoogLeNet模型,平均分类精度达到了96.6%,说明该模型在光学影像辐射异常数据分类检测中具有较好的分类检测效果,能满足实际生产需求。但由于光学遥感影像辐射异常情况复杂多样,对于个别类别的辐射异常影像的识别分类精度仍有提升的空间,以及如何高效地应用于实际业务生产是今后研究的重点。

（原文有删减）

参考文献

[1] 李德仁.论21世纪遥感与GIS的发展[J]. 武汉大学学报(信息科学版), 2003, 28(2):127-131.

[2] 梁晓珩, 梁秀娟, 柯蓓.我国遥感卫星系统发展进阶路径探讨[J]. 航天器环境工程, 2021, 38(1):100-105.

[3] 廖小罕.中国对地观测20年科技进步和发展[J]. 遥感学报, 2021, 25(1):267-275.

[4] 孙伟伟, 杨刚, 陈超, 等.

中国地球观测遥感卫星发展现状及文献分析

[J]. 遥感学报, 2020, 24(5):479-510.

[5] 许和鱼, 张黎明, 李鑫, 等.

基于太阳漫反射板线阵CCD相对辐射定标方法研究

[J]. 光学学报, 2020, 40(6):179-187.

[6] 曹红业, 张天棋.

基于辐射传输模型的高分二号影像大气校正方法研究

[J]. 红外技术, 2020, 42(6):534-541.

[7] He K, Zhang X, Ren S, et al.

Deep residual learning for image reco-gnition

[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016:770-778.

[8] Simonyan K, Zisserman A.

Very deep convolutional networks for large-scale image recognition

[C]// The 3rd International Conference on Learning Representations (ICLR2015), 2015:1-14.

[9] 胡杰, 张莹, 谢仕义.

国产遥感影像分类技术应用研究进展综述

[J]. 计算机工程与应用, 2021, 57(3):1-13.

[10] 周培诚, 程塨, 姚西文, 等.

高分辨率遥感影像解译中的机器学习范式

[J]. 遥感学报, 2021, 25(1):182-197.

[11] 谭琨, 王雪, 杜培军.

结合深度学习和半监督学习的遥感影像分类进展

[J]. 中国图象图形学报, 2019, 24(11):1823-1841.

[12] 王智敏, 谭海, 郭正胜, 等.

基于CNN的高分辨率遥感影像多级云检测

[J]. 测绘与空间地理息, 2020, 43(9):139-142,145,151.

[13] 蔡之灵, 翁谦, 叶少珍, 等.

基于Inception-V3模型的高分遥感影像场景分类

[J]. 国土资源遥感, 2020, 32(3):80-89.doi:10.6046/gtzyyg.2020.03.11.

[14] Tan M, Le Q V.

EfficientNet:Rethinking model scaling for convolutional neural networks

[C]// International Conference on Machine Learning.Long Beach, USA:ICML, 2019:6105-6114

[15] Tan M, Le Q V.

EfficientNet:Rethinking model scaling for convolutional neural networks

[C]// International Conference on Machine Learning.Long Beach, USA:ICML, 2019:6105-6114.

[16] 张敏, 赵雪青.

基于EfficientNets的织物疵点图像分类方法

[J]. 纺织高校基础科学学报, 2020, 33(4):64-70.

[17] 赵鹏菲, 黄丽佳.

一种基于EfficientNet与BiGRU的多角度SAR图像目标识别方法

[J]. 雷达学报, 2021, 10(6):895-904.

[18] Duong L T, Nguyen P T, Sipio C D, et al.

Automated fruit recognition using EfficientNet and MixNet

[J]. Computers and Electronics in Agriculture, 2020, 171:105326.

[19] 宝音图, 刘伟, 牛朝阳, 等.

联合集成学习与EfficientNet的光学遥感图像场景分类

[J]. 计算机工程, 2021, 47(10):226-235.

[20] Chen L C, Papandreou G, Kokkinos I, et al.

DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):834-848.

【引文格式】: 谭海, 张荣军, 樊文锋, 张一帆, 徐航. 融合多尺度特征的国产光学影像辐射异常分类检测[J]. 自然资源遥感, 2022, 34(4): 97-104.

【作者简介】：谭 海(1973-),男,博士,副研究员,研究方向为遥感影像处理与信息提取、卫星遥感产品质量检验技术。Email: tanh@lasac.cn。

【通信作者】：张荣军(1996-),男,硕士研究生,研究方向为遥感影像信息提取及三维建模。Email: 3081089943@qq.com。

【基金资助】:高分遥感测绘应用示范系统(二期)(42-Y30B04-9001-19/21)

转自：“测绘学术资讯”微信公众号

如有侵权，请联系本站删除！