耦合非局部自相似性与散度的SAR与光学影像融合

付昱凯1, 杨树文1,2,3, 闫恒1, 薛庆1, 洪卫丽1, 苏航1

1.兰州交通大学测绘与地理信息学院,兰州 730070

2.地理国情监测技术应用国家地方联合工程研究中心,兰州 730070

3.甘肃省地理国情监测工程实验室,兰州 730070

摘要:

SAR与光学影像的高质量融合应用是目前研究的热点问题之一,然而二者间辐射差异大、灰度相关性弱等问题,严重影响了融合质量。为此,该文提出一种耦合非局部自相似性与散度的SAR与光学影像融合算法。首先在频率域将影像分解,然后使用非局部方向熵和散度作为特征量分别指导低频和高频分量进行融合,最后将融合分量重建,得到兼具清晰结构特征和丰富光谱信息的融合影像。通过对比实验,证明所提算法在融合SAR与光学影像方面的有效性,及其在保持结构特征和减小光谱扭曲方面的优越性。

0 引言

SAR穿透力强,成像不受天时、天候的限制和影响,但SAR影像中光谱信息少。光学影像富含光谱信息,但在多云等地区成像易受限制[1]。因此,集成二者的优势能够有效提高遥感监测质量,图像融合是耦合二者优势的必要手段[2]。

文献分析表明,SAR与光学影像像素级融合方法可分为2类: 一类是基于空间域的融合方法,常见如调制法[3]; 另一类是基于频率域的融合方法,经典的方法有基于降采样小波变换[4]、脊波变换的融合[5]等。由于SAR和光学影像间存在较大的辐射差异,基于空间域的方法会损失大量纹理特征和光谱信息,而基于频率域的融合方法在频率域将图像分解到多个方向,不仅能够保留大量纹理特征,而且可以针对各方向分解系数的特点设计不同的融合策略,从而减少光谱扭曲。因此,基于频率域多分辨率分析是SAR和光学影像融合的主要方向。

基于频率域的融合方法在频率域计算融合系数时,注射权重是决定融合质量的关键。高文涛等[6]在计算注射权重时使用对应像元绝对值计算融合权重实现了SAR与光学影像的融合,该方法计算量小、易于实现,但由于只利用对应像元的像元值计算注射权重,而未考虑周围像元的影响,因此融合图像中会存在明显的光谱扭曲。为更好地将源图像的细节特征融入到新图像中,Anandhi等[7]引入最小似然比、最大边缘强度和局部梯度等特征量来描述像元的特征表达,该方法在一定程度上提高了融合质量; 在近期研究中,易维等[8]提出了非下采样轮廓波变化(nonsubsampled contourlet,NSCT)平均和平均NSCT这2种方法,该方法不受特定融合策略限制,能够减少光谱扭曲。然而,由于所有特征量都是基于图像矩形邻域计算的,未能充分考虑影像中各像元间的相似性及相似像元的影响,导致影像边缘处出现光谱扭曲和方块效应[9]。

综上所述,目前SAR与光学遥感影像融合面临的主要问题有: ①SAR与光学影像的成像机理不同与影像间的非线性辐射差异引起的严重的光谱扭曲; ②在频率域制定低、高频融合策略时,未考虑像元间的自相似性,抑制在影像边缘处出现光谱扭曲。鉴于此,本研究提出一种耦合非局部自相似性与散度的SAR与光学影像融合方法,充分利用影像像元间的自相似性和图像场中的散度信息,有效提高了SAR与光学影像的融合质量。

1 基础理论

1.1 HCS变换

HCS是Padwick C在文献[10]中提出的一种超球面色彩空间,并将其应用于WorldView-2影像的多光谱与全色影像融合中,实验证明HCS在影像融合中对源图像空间和光谱信息具有较高的保持度。相较于其他经典的色彩空间变换方法,如: IHS[11],HCS具有能够不受影像通道数限制地提取亮度分量和亮度分量更加清晰的优势,因此本文通过将影像转换到HCS色彩空间提取亮度分量,以期能够实现SAR与光学遥感影像的高质量融合。

1.2 NSCT变换

多分辨率分析方法的性能是影响融合质量的关键因素之一。常见的多分辨率分析方法都是采用降采样的方式获取图像的多尺度特征,但降采样的方式会造成信息损失和像元移位,导致融合结果中存在像元失真和轻微划痕等问题。对此本文采用NSCT的方法对影像进行多分辨率分析,并在NSCT变换的基础上,对影像的高频和低频子带的融合过程做出改进[12]。NSCT是在小波变换和轮廓波变换的基础上发展而来的,相比于降采样的分解方法,NSCT集合了多方向、多尺度、平移不变性等优势,NSCT变换方法的结构如图1所示。

2 本文融合方法

在基于频率域的多尺度影像融合过程中,描述影像低、高频子带像元特征显著度的特征量和对应的融合规则是决定融合影像质量的关键因素。故本文针对影像低、高频子带的特点,设计使用不同的特征量和融合规则对影像进行融合。

2.1 低频融合规则

低频是图像的近似,包含图像大部分能量和轮廓信息。在计算融合权重时,常采用规则的矩形邻域作为窗口,用局部窗口的统计特征作为特征量。此类方法考虑相邻像元间的影响,但未顾及像元间的相似性,这将导致融合结果中出现方块效应及边缘处的光谱扭曲。

为此,本文在设计低频子带融合策略时,在考虑相邻像素影响的同时,顾及像元间的相似性,引入非局部自相似性[13]的思想,设计非局部方向熵作为特征量辅助计算低频融合系数。

非局部方向熵是基于非局部自相似性对图像方向熵的扩展。图像方向熵是处在方向场中图像的局部邻域二维熵,能够反映图像局部邻域灰度的聚集特征和空间特征[14]。

2.2 高频融合规则

影像的高频子带中包含大量小尺度纹理和细节,需要应用对图像细节和边缘敏感的特征量。由此本文引入场论中的图像散度作为高频融合规则的特征量。图像散度场是对图像梯度场中像元聚散程度的描述,某一点的散度精确表述了该点在梯度场中的聚散程度,散度的值越大,则该点的发散程度越大,即该点处在图像边缘等结构特征上的可能越大[16]。因此,在高频融合中用散度描述特征的显著性,可以对源图像的结构特征具有较高的保持度。

2.3 融合流程

基于上述研究,依据提出的低、高频融合策略,得本文融合方法的主要步骤为: ①对多通道光学影像进行HCS变换,获取到光学影像的亮度分量I; ②参照I分量的灰度范围,对SAR分量的像元值进行调整,统一灰度范围; ③对I分量和SAR影像进行NSCT变换,获取各自的低频和高频分量; ④按照上文的融合规则分别计算高频和低频融合系数; ⑤对高频和低频的融合系数进行NSCT逆变换,获取融合后的亮度分量I'; ⑥用I'替换原始分量I,并进行HCS逆变换到原始色彩空间,得到融合结果。

本文设计的针对SAR与光学遥感影像的融合框架如图2所示。

图2 本文融合算法流程结构图

3 实验结果与分析

3.1 实验数据源

实验选用两组SAR与光学影像对算法性能进行测试。第一组为海南省万宁市的3通道谷歌影像和机载SAR影像,主要场景为农田; 第二组为河南省郑州市大暴雨期间的高分一号多光谱影像和高分三号影像,主要场景为城市,且有云层遮挡; 第三组为新疆伊犁的Landsat8假彩色合成(NIR,SWIR1,Red)影像和哨兵一号SAR影像,主要场景为山地和湖泊。影像详细信息如表1所示。

表1 实验数据信息

3.2 融合质量评价标准

为定量评价融合算法的性能,本研究引入SSIM、光谱映射(spectral angle mappig,SAM)、失真度(degree of distortion,DD)、均方根误差(root-me an-square error,RMSE)和相对无量纲全局误差(relative dimensionless global error in synthesis,ERGAS)[17??-20]作为客观评价指标对融合质量评价。其中SSIM用以表征结构特征保存完整度,其值越大,融合影像质量越高; SAM可以衡量融合结果的光谱扭曲程度,值越小则光谱扭曲越小; DD用以衡量融合影像相对于原始光学影像的光谱失真程度,DD越小,失真度越小,融合质量越高; RMSE可以衡量全局光谱失真,值越小则全局光谱失真越小; ERGAS可以反映影像整体光谱质量,融合影像的ERGAS值越小则融合影像的光谱质量越高。

3.3 对比实验

实验将本文算法与6种经典的融合方法进行对比。包括IHS[21],PCA[22],HCS[10]、基于小波分解和IHS变换的融合算法[23]、NSCT平均[8]及平均NSCT[8]融合方法。

3.3.1 主观评价

第一组实验的结果如图3所示,主要场景为农田,实验通过将机载SAR影像与天地图3通道影像融合,增强或补全天地图影像的结构特征。在结构特征完整度方面,除平均NSCT算法以外,其余方法均能够将SAR影像中的结构特征注射到融合影像中,其中IHS方法、HCS方法PCA方法以及本文算法融合结果中的结构特征更加清晰。在光谱保持度方面,IHS和HCS出现了较为严重的光谱扭曲,基于小波变换的方法和NSCT平均2种算法相较于原始光学影像都出现了整体光谱值降低的问题,PCA方法和平均NSCT方法在局部区域存在较大的光谱扭曲,相比之下,本文算法融合结果的光谱扭曲较小,光谱特征更贴近源影像。

第二组实验结果如图4所示,主要场景为城市,且由云层遮挡,实验通过将GF-3的SAR影像与GF-1B的多光谱影像融合,填补光学影像中被云层遮挡部分的结构信息,降低云层遮挡对光学影像目视解译的影响。在结构特征完整度方面,各算法皆能在光学影像中的云层遮挡处填补上SAR影像的结构特征,不同的是成分替换类的IHS,HCS以及PCA方法的融合结果中将云层完全去除,这是由算法原理所决定的,成分替换的方法直接使用无云层遮挡的SAR影像替换光学影像的亮度分量,因此基于成分替换的方法可以完全去除光学影像中的云层部分。在光谱保持度方面,基于成分替换的3种方法以及平均NSCT方法均出现明显的光谱扭曲,NSCT平均和基于小波变换的方法分别存在不同程度的全局光谱失真,而本文算法能够更加完整地保持源影像的光谱特征。

第三组实验结果如图5所示,主要场景为山地和湖泊,实验通过将Landsat8和哨兵一号SAR影像融合,将SAR影像中清晰的特征注射到光学影像,得到具有丰富的结构和光谱信息的融合影像。在结构特征完整度方面,各算法均能将实现特征注射,其中IHS和HCS方法的注射效果最完整、立体。其次,NSCT平均和本文方法效果相近,相较于其他方法结构特征保持的更为完整; 在光谱保持度方面,成分替换类的方法的融合结果中均存在较大的光谱扭曲。混合方法中,NSCT平均和基于小波变换的方法的效果相近,均存在全局光谱值降低的问题,平均NSCT和本文算法效果相近,光谱信息更加贴近原始影像。综合来看,实验三中,本文方法融合结果的综合质量最高。

3.3.2 客观评价

对几种方法的定量评价结果如表2所示,综合3组实验的指标评价结果来看,在结构特征保持度方面,IHS和HCS两方法的SSIM值最大,即结构特征保持度最高,本文方法的SSIM值次之,也具有较高的结构特征保持度。在光谱特征保持度方面,SAM,DD,RMSE和ERGAS从不同角度反映了融合影像的光谱扭曲程度。在3组实验中,IHS和HCS方法对应的各指标的结果值均远高于其他方法,即IHS和HCS方法的融合影像中存在极为严重的光谱扭曲。而本文方法在3组实验中的DD,RMSE和ERGAS指标值均为7个方法中最小,SAM值仅次于PCA方法。由此可知,本文方法在SAM,DD,RMSE和ERGAS这4个指标上的综合表现最优,即本文方法的融合影像中光谱扭曲最小,对光谱信息保持的完整度最高。综合3组实验的所有评价结果来看,相较于其他几种融合方法,本文方法的融合结果不仅保留了丰富的空间纹理特征,且光谱扭曲最小,证明了本文算法在SAR与光学遥感影像融合中的有效性与优越性。

表2 2组实验客观评价指标

4 结论

为了提高SAR与光学遥感影像融合的质量,减少光谱扭曲,本文在SAR与光学遥感影像融合过程进行了2方面的改进:

1)在计算注射权重时,在低频子带融合中,充分考虑影像中具有相似结构特征的像元间的影响,设计非局部方向熵作为特征量指导融合低频系数的选择; 在高频子带融合中,选用对图像边缘纹理敏感的散度作为特征量,指导融合高频系数的选择,减少了融合结果中,尤其是边缘处的光谱扭曲。

2)在决定使用SAR影像的高频或低频子带系数时,选用高频子带系数的邻域中值和低频子带的非局部均值作为融合系数替代单一像元值,对SAR影像中的噪声进行抑制同时减小了光谱扭曲。

实验证明,本文算法的融合结果光谱扭曲小、结构特征保全完整,应用在多源、多尺度、多场景的SAR与光学遥感影像融合中行之有效。

（原文有删减）

[本文引用: 1]

【作者简介】付昱凯(1996-),男,硕士研究生,主要研究方向为遥感图像处理与分析。Email: 736173353@qq.com。

【通讯作者】杨树文(1975-),男,博士,教授,博士生导师,主要从事遥感数字图像处理和遥感信息识别及提取方面的研究。Email: ysw040966@163.com。

【】国家自然科学基金项目“基于高分辨率卫星影像的彩钢板建筑与城市空间结构演变关系研究”(41761082);国家自然科学基金项目“西北重点城市彩钢板建筑群与产业园区时空关联关系”(42161069);国家自然科学基金项目“基于脉冲耦合神经网络的高光谱遥感图像融合方法研究”(41861055);及兰州交通大学优秀平台项目(201806)

【】付昱凯, 杨树文, 闫恒, 薛庆, 洪卫丽, 苏航. 耦合非局部自相似性与散度的SAR与光学影像融合[J]. 自然资源遥感, 2023, 35(1): 99-106.

转自：“测绘学术资讯”微信公众号

如有侵权，请联系本站删除！