耦合非局部自相似性与散度的SAR与光学影像融合
An SAR and optical image fusion algorithm coupling non-local self-similarity and divergence
通讯作者: 杨树文(1975-),男,博士,教授,博士生导师,主要从事遥感数字图像处理和遥感信息识别及提取方面的研究。Email:ysw040966@163.com。
责任编辑: 李瑜
收稿日期: 2021-11-30 修回日期: 2022-03-7
基金资助: |
|
Received: 2021-11-30 Revised: 2022-03-7
作者简介 About authors
付昱凯(1996-),男,硕士研究生,主要研究方向为遥感图像处理与分析。Email:
SAR与光学影像的高质量融合应用是目前研究的热点问题之一,然而二者间辐射差异大、灰度相关性弱等问题,严重影响了融合质量。为此,该文提出一种耦合非局部自相似性与散度的SAR与光学影像融合算法。首先在频率域将影像分解,然后使用非局部方向熵和散度作为特征量分别指导低频和高频分量进行融合,最后将融合分量重建,得到兼具清晰结构特征和丰富光谱信息的融合影像。通过对比实验,证明所提算法在融合SAR与光学影像方面的有效性,及其在保持结构特征和减小光谱扭曲方面的优越性。
关键词:
Currently, the high-quality fusion of SAR and optical images is a hot research topic. However, the significant radiation difference and weak gray correlation between SAR and optical images greatly reduce the fusion quality. In this regard, this study proposed a SAR and optical remote sensing image fusion algorithm that coupled non-local self-similarity and divergence. First, images were decomposed in the frequency domain. Then, the non-local directional entropy and divergence were used as characteristic parameters to guide the fusion of low- and high-frequency components, respectively. Finally, the fusion components were reconstructed to obtain fusion images with clear structural features and rich spectral information. The comparative experiments verified the effectiveness of the proposed algorithm in fusing SAR with optical images and its superiority in maintaining structural features and reducing spectral distortion.
Keywords:
本文引用格式
付昱凯, 杨树文, 闫恒, 薛庆, 洪卫丽, 苏航.
FU Yukai, YANG Shuwen, YAN Heng, XUE Qing, HONG Weili, SU Hang.
0 引言
基于频率域的融合方法在频率域计算融合系数时,注射权重是决定融合质量的关键。高文涛等[6]在计算注射权重时使用对应像元绝对值计算融合权重实现了SAR与光学影像的融合,该方法计算量小、易于实现,但由于只利用对应像元的像元值计算注射权重,而未考虑周围像元的影响,因此融合图像中会存在明显的光谱扭曲。为更好地将源图像的细节特征融入到新图像中,Anandhi等[7]引入最小似然比、最大边缘强度和局部梯度等特征量来描述像元的特征表达,该方法在一定程度上提高了融合质量; 在近期研究中,易维等[8]提出了非下采样轮廓波变化(nonsubsampled contourlet,NSCT)平均和平均NSCT这2种方法,该方法不受特定融合策略限制,能够减少光谱扭曲。然而,由于所有特征量都是基于图像矩形邻域计算的,未能充分考虑影像中各像元间的相似性及相似像元的影响,导致影像边缘处出现光谱扭曲和方块效应[9]。
综上所述,目前SAR与光学遥感影像融合面临的主要问题有: ①SAR与光学影像的成像机理不同与影像间的非线性辐射差异引起的严重的光谱扭曲; ②在频率域制定低、高频融合策略时,未考虑像元间的自相似性,抑制在影像边缘处出现光谱扭曲。鉴于此,本研究提出一种耦合非局部自相似性与散度的SAR与光学影像融合方法,充分利用影像像元间的自相似性和图像场中的散度信息,有效提高了SAR与光学影像的融合质量。
1 基础理论
1.1 HCS变换
1.2 NSCT变换
图1
2 本文融合方法
在基于频率域的多尺度影像融合过程中,描述影像低、高频子带像元特征显著度的特征量和对应的融合规则是决定融合影像质量的关键因素。故本文针对影像低、高频子带的特点,设计使用不同的特征量和融合规则对影像进行融合。
2.1 低频融合规则
低频是图像的近似,包含图像大部分能量和轮廓信息。在计算融合权重时,常采用规则的矩形邻域作为窗口,用局部窗口的统计特征作为特征量。此类方法考虑相邻像元间的影响,但未顾及像元间的相似性,这将导致融合结果中出现方块效应及边缘处的光谱扭曲。
为此,本文在设计低频子带融合策略时,在考虑相邻像素影响的同时,顾及像元间的相似性,引入非局部自相似性[13]的思想,设计非局部方向熵作为特征量辅助计算低频融合系数。
非局部方向熵是基于非局部自相似性对图像方向熵的扩展。图像方向熵是处在方向场中图像的局部邻域二维熵,能够反映图像局部邻域灰度的聚集特征和空间特征[14],计算方法为:
式中:
非局部方向熵在计算过程中,首先设定一个搜索窗口,然后通过在搜索窗口内滑动窗口,按照一定的相似性测度计算滑动窗口与中心窗口的相似性,并依据相似性确定权重,再以搜索窗口各像元方向熵的加权平均作为中心像元的非局部方向熵。考虑到像元间的结构相似性,本文计算非局部相似性时,设定的相似性测度为图像块间的结构相似性(structural similarity,SSIM)[15],计算方法为:
式中:
依据式(1)可计算搜索窗口
由式(1)—(4)可得图像
在使用非局部方向熵作为特征量计算低频子带融合系数时,首先计算光学影像亮度分量和SAR影像各低频子带像元对应的非局部方向熵,然后依据非局部方向熵最大规则选择用于融合的高频系数。同时为抑制噪声的表达,在使用SAR影像低频子带的系数时,使用搜索窗口所有像元的非局部均值代替。本文融合方法低频部分位置
式中:
2.2 高频融合规则
影像的高频子带中包含大量小尺度纹理和细节,需要应用对图像细节和边缘敏感的特征量。由此本文引入场论中的图像散度作为高频融合规则的特征量。图像散度场是对图像梯度场中像元聚散程度的描述,某一点的散度精确表述了该点在梯度场中的聚散程度,散度的值越大,则该点的发散程度越大,即该点处在图像边缘等结构特征上的可能越大[16]。因此,在高频融合中用散度描述特征的显著性,可以对源图像的结构特征具有较高的保持度。
单通道的图像是处在二维平面中的,以二维直角坐标空间为例,对于一个二维场
而对于一个二维矢量场的
由式(7)(8)可知,单通道图像散度的计算公式为:
在使用散度作为特征量计算高频融合系数时,首先计算光学影像亮度分量和SAR影像各高频子带像元对应的散度,然后再依据散度最大规则选择用于融合的高频系数。但由于SAR影像的高频子带中含有大量噪声,因此在使用SAR影像高频子带系数时选用邻域窗口的中值以抑制SAR影像中噪声的影响。本文融合方法高频部分融合像元计算公式为:
2.3 融合流程
基于上述研究,依据提出的低、高频融合策略,得本文融合方法的主要步骤为: ①对多通道光学影像进行HCS变换,获取到光学影像的亮度分量I; ②参照I分量的灰度范围,对SAR分量的像元值进行调整,统一灰度范围; ③对I分量和SAR影像进行NSCT变换,获取各自的低频和高频分量; ④按照上文的融合规则分别计算高频和低频融合系数; ⑤对高频和低频的融合系数进行NSCT逆变换,获取融合后的亮度分量I'; ⑥用I'替换原始分量I,并进行HCS逆变换到原始色彩空间,得到融合结果。
本文设计的针对SAR与光学遥感影像的融合框架如图2所示。
图2
3 实验结果与分析
3.1 实验数据源
实验选用两组SAR与光学影像对算法性能进行测试。第一组为海南省万宁市的3通道谷歌影像和机载SAR影像,主要场景为农田; 第二组为河南省郑州市大暴雨期间的高分一号多光谱影像和高分三号影像,主要场景为城市,且有云层遮挡; 第三组为新疆伊犁的Landsat8假彩色合成(NIR,SWIR1,Red)影像和哨兵一号SAR影像,主要场景为山地和湖泊。影像详细信息如表1所示。
表1 实验数据信息
Tab.1
实验 | 区域 | 场景 | 影像类型 | 尺寸 (像素×像素) | 分辨 率/m |
---|---|---|---|---|---|
实验1 | 海南 万宁市 | 农田 | 机载影像(SAR) | 378×404 | 0.25 |
谷歌影像(3通道) | 192×205 | 0.5 | |||
实验2 | 河南 郑州市 | 城市 | 高分三号 (SAR) | 1 159×1 211 | 3 |
高分一号 (多光谱) | 435×454 | 8 | |||
实验3 | 新疆 伊犁市 | 山地+湖泊 | 哨兵一号 (SAR) | 875×1 576 | 20 |
Landsat8(假 彩色3通道) | 583×1 051 | 30 |
3.2 融合质量评价标准
为定量评价融合算法的性能,本研究引入SSIM、光谱映射(spectral angle mappig,SAM)、失真度(degree of distortion,DD)、均方根误差(root-me an-square error,RMSE)和相对无量纲全局误差(relative dimensionless global error in synthesis,ERGAS)[17⇓⇓-20]作为客观评价指标对融合质量评价。其中SSIM用以表征结构特征保存完整度,其值越大,融合影像质量越高; SAM可以衡量融合结果的光谱扭曲程度,值越小则光谱扭曲越小; DD用以衡量融合影像相对于原始光学影像的光谱失真程度,DD越小,失真度越小,融合质量越高; RMSE可以衡量全局光谱失真,值越小则全局光谱失真越小; ERGAS可以反映影像整体光谱质量,融合影像的ERGAS值越小则融合影像的光谱质量越高。除SSIM外的其他4种评价指标的数学描述如式(11)-(14)所示:
式中:
3.3 对比实验
3.3.1 主观评价
图3
第二组实验结果如图4所示,主要场景为城市,且由云层遮挡,实验通过将GF-3的SAR影像与GF-1B的多光谱影像融合,填补光学影像中被云层遮挡部分的结构信息,降低云层遮挡对光学影像目视解译的影响。在结构特征完整度方面,各算法皆能在光学影像中的云层遮挡处填补上SAR影像的结构特征,不同的是成分替换类的IHS,HCS以及PCA方法的融合结果中将云层完全去除,这是由算法原理所决定的,成分替换的方法直接使用无云层遮挡的SAR影像替换光学影像的亮度分量,因此基于成分替换的方法可以完全去除光学影像中的云层部分。在光谱保持度方面,基于成分替换的3种方法以及平均NSCT方法均出现明显的光谱扭曲,NSCT平均和基于小波变换的方法分别存在不同程度的全局光谱失真,而本文算法能够更加完整地保持源影像的光谱特征。
图4
第三组实验结果如图5所示,主要场景为山地和湖泊,实验通过将Landsat8和哨兵一号SAR影像融合,将SAR影像中清晰的特征注射到光学影像,得到具有丰富的结构和光谱信息的融合影像。在结构特征完整度方面,各算法均能将实现特征注射,其中IHS和HCS方法的注射效果最完整、立体。其次,NSCT平均和本文方法效果相近,相较于其他方法结构特征保持的更为完整; 在光谱保持度方面,成分替换类的方法的融合结果中均存在较大的光谱扭曲。混合方法中,NSCT平均和基于小波变换的方法的效果相近,均存在全局光谱值降低的问题,平均NSCT和本文算法效果相近,光谱信息更加贴近原始影像。综合来看,实验三中,本文方法融合结果的综合质量最高。
图5
3.3.2 客观评价
对几种方法的定量评价结果如表2所示,综合3组实验的指标评价结果来看,在结构特征保持度方面,IHS和HCS两方法的SSIM值最大,即结构特征保持度最高,本文方法的SSIM值次之,也具有较高的结构特征保持度。在光谱特征保持度方面,SAM,DD,RMSE和ERGAS从不同角度反映了融合影像的光谱扭曲程度。在3组实验中,IHS和HCS方法对应的各指标的结果值均远高于其他方法,即IHS和HCS方法的融合影像中存在极为严重的光谱扭曲。而本文方法在3组实验中的DD,RMSE和ERGAS指标值均为7个方法中最小,SAM值仅次于PCA方法。由此可知,本文方法在SAM,DD,RMSE和ERGAS这4个指标上的综合表现最优,即本文方法的融合影像中光谱扭曲最小,对光谱信息保持的完整度最高。综合3组实验的所有评价结果来看,相较于其他几种融合方法,本文方法的融合结果不仅保留了丰富的空间纹理特征,且光谱扭曲最小,证明了本文算法在SAR与光学遥感影像融合中的有效性与优越性。
表2 2组实验客观评价指标
Tab.2
实验 组 | 融合方法 | SSIM↑ | SAM (°)↓ | DD(× 10-2)↓ | RMSE↓ | ERGAS (10-2)↓ |
---|---|---|---|---|---|---|
实 验 一 | IHS | 0.989 5 | 0.635 4 | 14.233 8 | 26.991 0 | 8.979 4 |
PCA | 0.449 9 | 0.003 5 | 5.940 5 | 13.701 5 | 7.862 4 | |
HCS | 0.908 3 | 0.668 6 | 13.239 6 | 25.321 2 | 8.415 0 | |
Wavelet-IHS | 0.682 0 | 0.188 3 | 7.098 1 | 13.507 7 | 4.489 4 | |
平均NSCT | 0.480 0 | 0.162 8 | 1.646 1 | 5.223 0 | 1.749 3 | |
NSCT平均 | 0.628 9 | 0.056 3 | 3.913 0 | 7.648 6 | 2.585 0 | |
本文算法 | 0.729 8 | 0.041 1 | 1.457 1 | 3.532 9 | 1.238 4 | |
实 验 二 | IHS | 0.973 3 | 1.054 0 | 21.344 4 | 47.639 7 | 15.477 8 |
PCA | 0.400 8 | 0.050 5 | 19.038 5 | 42.555 9 | 25.060 3 | |
HCS | 0.968 8 | 1.027 9 | 21.305 0 | 47.618 7 | 15.488 6 | |
Wavelet-IHS | 0.526 4 | 0.289 2 | 10.682 4 | 23.854 3 | 6.862 1 | |
平均NSCT | 0.352 7 | 0.418 6 | 8.085 0 | 25.089 3 | 7.668 2 | |
NSCT平均 | 0.472 3 | 0.368 8 | 6.997 7 | 15.800 9 | 5.061 3 | |
本文算法 | 0.672 2 | 0.109 9 | 1.779 7 | 3.852 9 | 1.232 6 | |
实 验 三 | IHS | 0.998 9 | 5.732 0 | 41.886 9 | 48.666 9 | 46.672 7 |
PCA | 0.665 3 | 0.018 2 | 33.972 9 | 41.683 4 | 57.306 0 | |
HCS | 0.989 5 | 5.679 3 | 42.464 5 | 49.058 4 | 47.048 8 | |
Wavelet-IHS | 0.617 8 | 2.415 3 | 21.682 1 | 24.993 8 | 23.970 3 | |
平均NSCT | 0.389 6 | 0.064 7 | 8.600 4 | 15.922 6 | 16.336 1 | |
NSCT平均 | 0.637 9 | 0.509 2 | 13.193 3 | 19.610 9 | 19.237 5 | |
本文算法 | 0.622 9 | 0.481 0 | 5.463 6 | 10.775 7 | 11.708 9 |
4 结论
为了提高SAR与光学遥感影像融合的质量,减少光谱扭曲,本文在SAR与光学遥感影像融合过程进行了2方面的改进:
1)在计算注射权重时,在低频子带融合中,充分考虑影像中具有相似结构特征的像元间的影响,设计非局部方向熵作为特征量指导融合低频系数的选择; 在高频子带融合中,选用对图像边缘纹理敏感的散度作为特征量,指导融合高频系数的选择,减少了融合结果中,尤其是边缘处的光谱扭曲。
2)在决定使用SAR影像的高频或低频子带系数时,选用高频子带系数的邻域中值和低频子带的非局部均值作为融合系数替代单一像元值,对SAR影像中的噪声进行抑制同时减小了光谱扭曲。
实验证明,本文算法的融合结果光谱扭曲小、结构特征保全完整,应用在多源、多尺度、多场景的SAR与光学遥感影像融合中行之有效。
参考文献
基于深度学习的SAR辅助下光学遥感图像去云方法
[J].
SAR-assisted optical remote sensing image cloud removal method based on deep learning
[J].
基于ARSIS策略的SAR影像与多光谱遥感小波融合
[J].
Multi-spectral and SAR wavelet fusion based on ARSIS strategy
[J].
SAR与可见光图像融合算法的研究
[J].
Research on data fusion algorithm of SAR and optical images
[J].
小波的SAR和光学图像融合方法比较研究
[J].
Comparative study on wavelet-based SAR and optical image fusion methods
[J].
基于脊波变换的SAR与可见光图像融合研究
[J].
Is Ridgelet transform better than wavelet transform in SAR and optical image fusion
[J].
基于纹理的雷达与多光谱遥感数据小波融合研究
[J].
Fusion algorithm research based on texture for SAR and multispectral images with wavelet transform
[J].
An algorithm for multi-sensor image fusion using maximum a posteriori and nonsubsampled contourlet transform
[J].DOI:10.1016/j.compeleceng.2017.04.002 URL [本文引用: 1]
基于NSCT变换的高分三号SAR与光学图像融合
[J].
Fusion of GF-3 SAR and optical images based on the nonsubsampled contourlet transform
[J].
一种多光谱遥感影像与航拍影像融合算法
[J].
A fusion algorithm of multispectral remote sensing image and aerial image
[J].
WorldView-2 pan-sharpening
[C]//
Comparative analysis of different fusion rules for SAR and multispectral image fusion based on NSCT and IHS transform
[C]//
Nonsubsampled contourlet transform-based conditional random field for SAR images segmentation
[J].DOI:10.1016/j.sigpro.2020.107623 URL [本文引用: 1]
NLM与比率图像的多时相SAR图像去噪方法
[J].
A multi-temporal SAR image denoising method based on NLM and ratio image
[J].
基于时空立方体的人群异常行为检测与定位
[J].
Abnormal crowd behavior detection and location based on spatial-temporal cube
[J].
Kulkarni,Priti P.Rege,Pixel level fusion techniques for SAR and optical images:A review
[J].
基于散度的不同焦点图像融合方法
[J].
Divergence-based multifocuses image fusion
[J].
一种国产高分卫星遥感影像变分融合方法
[J].
A variational fusion method for remote sensing images of China’s domestic high-resolution satellites
[J].
Fusion of hyperspectral and multispectral images based on a Bayesian nonparametric approach
[J].DOI:10.1109/JSTARS.4609443 URL [本文引用: 1]
An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing
[J].
An improved pulse-coupled neural network model for pan sharpening
[J].
A new look at HIS like image fusion methods
[J].DOI:10.1016/S1566-2535(01)00036-7 URL [本文引用: 1]
Comparison of three different methods to merge multiresolution and multispectral data:Landsat TM and SPOT panchromatic
[J].
A wavelet and HIS integration method to fuse high resolution sar with moderate resolution multispectral images
[J].
/
〈 |
|
〉 |
