自然资源遥感, 2024, 36(3): 146-153 doi: 10.6046/zrzyyg.2023133

技术方法

高频域多深度空洞网络的遥感图像全色锐化算法

郭彭浩,1, 邱建林2, 赵淑男3

1.南通理工学院计算机与信息工程学院,南通 226001

2.南通大学信息科学技术学院,南通 226001

3.北方夜视科技(南京)研究院有限公司,南京 211100

A pansharpening algorithm for remote sensing images based on high-frequency domain and multi-depth dilated network

GUO Penghao,1, QIU Jianlin2, ZHAO Shunan3

1. School of Computer and Information Engineering, Nantong Institute of Technology, Nantong 226001, China

2. School of Information Science and Technology, Nantong University, Nantong 226001, China

3. North Night Vision Science and Technology (Nanjing) Research Institute Co., Ltd., Nanjing 211100, China

责任编辑: 张仙

收稿日期: 2023-05-16   修回日期: 2023-10-11  

基金资助: 国家自然科学基金青年项目“基于非参数层次贝叶斯景深估计模型的水下降质图像质量提升研究”(61701245)
南通市科技局项目“基于变分优化和生成对抗网络的遥感图像Pansharpening融合方法研究”(JCZ2022097)
“基于学生兴趣模型的个性化推荐方法的研究”(JCZ21096)

Received: 2023-05-16   Revised: 2023-10-11  

作者简介 About authors

郭彭浩(1995-),男,硕士, 助教,研究方向为计算机视觉、遥感图像处理、人工智能。Email: pajiju820@163.com。

摘要

遥感图像全色锐化是提取多光谱图像的光谱信息和全色图像的结构信息,将其融合成高分辨率多光谱遥感图像的过程。然而,高分辨率多光谱图像会存在光谱或结构信息的缺失问题。为了优化这一问题,该文提出一种基于多深度神经网络的遥感图像全色锐化算法,该算法有结构保护和光谱保护2个模块。结构保护模块使用滤波操作,提取全色图像和多光谱图像的高频信息,然后采用多深度神经网络提取图像的多尺度信息,从而提高模型的空间信息提取能力,减小过拟合的风险; 光谱保护模块通过跳跃连接将上采样的多光谱图像与结构保护模块相连接,以保护图像的光谱信息。为了验证新模型的有效性,在相同实验条件下,将所提方法与多种遥感图像全色锐化算法进行比较,并从主观视觉效果和客观评价2个方面进行评估。实验结果表明,所提方法能够改善当前算法存在的结构信息缺失现象,更好地保护多光谱图像的光谱信息以及全色图像的结构信息。

关键词： 遥感图像全色锐化; 多深度网络; 多尺度学习; 跳跃连接; 空谱融合

Abstract

The pansharpening of remote sensing images is a process that extracts the spectral information of multispectral images and the structural information of panchromatic images and then fuse the information to form high-resolution multispectral remote sensing images, which, however, suffer a lack of spectral or structural information. To mitigate this problem, this study proposed a pansharpening algorithm for remote sensing images based on a multi-depth neural network. This algorithm includes a structural protection module and a spectral protection module. The structural protection module extracts the high-frequency information of panchromatic and multispectral images through filtering and then extracts the multi-scale information of the images using a multi-depth neural network. The purpose is to improve the spatial information extraction ability of the model and to reduce the risk of overfitting. The spectral protection module connects the upsampled multispectral images with the structural protection module through a skip connection. To validate the effectiveness of the new algorithm, this study, under consistent experimental conditions, compared the new algorithm with multiple pansharpening algorithms for remote sensing images and assessed these algorithms from the angles of subjective visual effects and objective evaluation. The results indicate that the algorithm proposed in this study can effectively protect the spectral information of multispectral images and the structural information of panchromatic images in solving the lack of structural information in current algorithms for image fusion.

Keywords： remote sensing pansharpening; multi-depth network; multi-scale learning; skip connection; spatial and spectral fusion

PDF (5310KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

郭彭浩, 邱建林, 赵淑男. 高频域多深度空洞网络的遥感图像全色锐化算法[J]. 自然资源遥感, 2024, 36(3): 146-153 doi:10.6046/zrzyyg.2023133

GUO Penghao, QIU Jianlin, ZHAO Shunan. A pansharpening algorithm for remote sensing images based on high-frequency domain and multi-depth dilated network[J]. Remote Sensing for Land & Resources, 2024, 36(3): 146-153 doi:10.6046/zrzyyg.2023133

0 引言

随着航天技术的不断进步,成像卫星陆续发射,获取的卫星图像也越来越多。遥感图像数据可以分为2大类: 高光谱信息低空间信息的多光谱(multi-spectral, MS)图像和高空间信息低光谱信息的全色(panchromatic, PAN)图像。由于硬件基础的限制,成像卫星无法直接获取高光谱信息和高空间信息(multi-spectral with high-spatial resolution, HRMS)遥感图像。为此,研究人员采用全色锐化方法,将MS图像中的高光谱信息与PAN图像中的高空间信息进行融合,得到HRMS图像,为后续的识别与检测提供基础。

近年来,研究人员提出大量的遥感图像全色锐化算法,这些算法可以分为4类: 分量替换法(component substitution, CS),多分辨率分析法(multi-resolution analysis, MRA),变分优化法(variational optimization, VO)和基于深度学习(deep learning, DL)算法。CS算法的核心思想是利用MS图像和PAN图像的联系,提取PAN图像的高频部分,然后将高频部分注入到上采样的MS图像中,获得最终的融合图像HRMS。常用的CS算法有强度-色彩-饱和度转换(intensity-hue-saturation transformations,IHS) [1]和施密特正交化方法(Gram-Schmidt,GS)[2]等,这类算法获得的融合图像结构信息比较完整,但是会损失一些光谱信息。与CS算法不同,MRA算法使用滤波器或者滤波算子提取PAN图像的高频信息,然后将这些信息注入上采样的MS图像中,获取融合图像HRMS。如抽取或非抽取小波变换[3]和拉普拉斯金字塔法[4]等,这类算法可以避免一些光谱失真,但是在滤波过程中会损失一些结构信息。VO算法是基于变分模型的方法,这类模型包含光谱保真项、结构保真项和先验项。 Ballester 等[5]提出第一个VO算法,该算法假设融合图像所有通道的结构信息与PAN相同,获取的融合图像有很好的光谱表现,但是很难建立一个精确的模糊核,融合图像的结构保护项表现较差,容易产生边缘模糊。为了提高边缘细节,Fang 等[6]基于引导滤波函数构建变分模型的结构保护项,该算法在保护图像的边缘细节同时最小化融合图像的光谱失真; Fu等[7]采用局部梯度约束的方法提升模型的结构提取能力。这类算法基于合理的假设,构建线性模型获取融合图像,难以平衡融合图像的光谱质量和空间结构质量,同时VO需要迭代,融合图像所需时间较长。为了克服线性模型的局限性,大量研究人员尝试使用非线性的DL网络获取遥感融合图像。Masi等[8]首次将卷积神经网络(convolutional neural network,CNN)用于遥感图像全色锐化的网络模型PNN,但是该模型只有3层卷积,不能学习到深层的图像信息,在此基础上出现了越来越多的DL算法。

针对以上算法中存在的问题,本文结合VO算法和DL算法提出了一种新的多尺度端到端的遥感图像全色锐化算法。针对DL算法泛化性较弱提出具有光谱保护和结构保护的多深度神经网络算法,减小网络的深度,防止网络模型过拟合,提高模型泛化性能; 使用高频滤波得到结构保护模块的输入信息,减小网络中的冗余信息,提高运算效率,增加模型的泛化能力; 使用卷积层对PAN升维,与MS图像进行残差,增加图像不同通道间的联系,提高模型结构提取能力; 针对DL算法光谱信息失真问题使用残差结构将光谱信息与结构保护模块输出结合,减少光谱信息丢失,提高算法的光谱保护能力。

1 研究方法

1.1 基于VO的遥感全色锐化算法

本文用yP和yMS分别表示输入的PAN和MS图像,融合后的HRMS图像用x表示。VO算法将遥感图像全色锐化问题看成一个优化问题,主要包括能量函数的构造和优化求解2部分。根据理想融合图像与退化观测值之间的观测模型来构建能量函数,它们之间的关系表示为:

x=f1(x,yMS)+f2(x,yP)+f3(x)

式中: f1和f2分别为约束融合图像光谱信息的光谱保护项和结构保护项; f3为保护融合图像边缘信息的先验项。一些变分算法[9-10]假设MS图像和HRMS图像有相同的光谱信息,其光谱保护项f1表示为:

f1x,yMS=k*x−yupM

式中: yupM为上采样的MS图像; k为模糊核[10]; *为卷积符号。变分算法普遍假设PAN图像和HRMS图像有相同的结构信息,例如P+XS算法在图像域保护结构信息,它的结构保护项为:

${{f}_{2}}\left( x,{{y}_{\text{P}}} \right)=\left\| \overset{N}{\mathop{\underset{b=1}{\mathop \sum }\,}}\,{{x}_{b}}-{{y}_{P}} \right\|$,

式中: xb为融合图像的第b个通道; N为融合图像的最大通道数。有些算法[11-12]从梯度域保护融合图像的结构信息,也取得不错的效果。大部分变分算法的f3都是采用的全变分正则化,基本表达式为f3=x1。

VO算法的优化求解采用迭代优化算法,如分割Bregman迭代算法[13]、乘法器交替方向法算法[14]等。迭代优化算法可以更加准确地重构融合图像,但是需要花费大量时间。

1.2 基于神经网络的遥感全色锐化算法

近年来,CNN已成为遥感图像全色锐化最有效的工具之一。主要思路为: 设计一个网络模型,把MS图像和PAN图像作为网络输入,以端到端方式从数据中学习特征信息,最终获取HRMS图像。公式为:

l=fyMS,yP;θ−x

式中: f()为一个深度神经网络; θ为网络参数; l为误差值。一些研究人员提出数十层的深度全色锐化网络,这些网络的性能得到很大的提高[15]。同时,其他研究人员从MS和PAN图像中分别探索2个分支网络,用于特征提取[16]。近年来,遥感图像全锐化的研究新趋势是将经典方法与深度神经网络相结合,以提高基于深度学习的方法的可解释性。例如,Liu等[17]提出一种自适应权重网络,用于整合不同经典方法的优点,它克服CS和MRA算法的缺点,并且在基于深度学习的方法上表现更优; Hu等[18]提出动态多尺度网络模型,利用动态滤波器对输入遥感图像进行自适应调整,可以较好地提取图像的结构信息,但是融合图像的光谱信息容易失真。

2 基于高频域多深度网络模型的全色锐化算法

2.1 网络结构

神经网络具备强大的非线性能力,能够从大量数据中提取特征信息。PAN和MS图像中的结构信息较多,且存在一定的冗余,MS图像中有丰富的光谱信息。为了充分利用神经网络和遥感图像的特点,本文将在网络模型中引入光谱保护项和结构保护项,具体架构如图1所示,图1中,Conv为卷积层,BN为归一化层,ReLU为激活函数层,UP为高频域输入模块,MDS为多深度多尺度模块(multi-depth and multi-scale block)。表达式为:

l=fyupM,yP;θ+yupM−x2。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   网络模型

Fig.1   Workflow of the proposed method


本文在光谱保护项和结构保护项这2方面做了改进:

1)光谱保护项。为了保护光谱信息,本文将MS图像上采样到与HRMS图像大小相同,使用一个跳跃连接,将它链接到结构保护项的输出,与式(2)方法相比,本文没有使用模糊核,将HRMS图像退化,而是强制HRMS图像和MS图像共享光谱信息,利用深度网络自动纠正HRMS图像和MS图像的差异。

2)结构保护项。1.1节中介绍,很多VO算法假设HRMS图像的结构信息在PAN图像中可以获取,忽略MS图像中的一些结构信息,本文的结构保护项采用一个高频域多尺度残差网络,获取融合图像的结构信息。

2.2 高频域输入模块

大部分DL算法直接将上采样的MS图像和PAN图像作为网络的输入。有些算法在输入网络之前对它们进行预处理,如梯度处理[11],滤波处理[19]。预处理后的图像拥有少量光谱信息,同时输入网络的图像结构信息更加明显,有助于网络参数的训练。

如图2所示,本文使用高斯滤波对输入图像进行预处理,得到高频域的PAN图像和MS图像,然后将PAN图像进行升维操作和MS图像一起输入多尺度模块。与BDSD[20]算法相似,采用升维操作,可以计算PAN图像和MS图像通道间的相关系数,从而使多尺度网络能够提取更加丰富的结构信息。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   高频域输入模块

Fig.2   High-frequency domain input module


表达式为:

UP(yupM,yP)=R(ω1⊗(sum(ω0⊗H(yP),H(yupM)))+b1)

式中: UP为高频域输入; R()为激活函数; sum为残差函数; H()为高斯滤波; ω0和ω1分别为第一层和第二层卷积的权重;b1为偏置; ⊗为卷积操作。

2.3 MDS模块

本文网络模型采用MDS模块来提取图像的结构信息,多深度模块减小网络模型的深度,有效避免过拟合的风险,同时可以提高模型的泛化性能。多尺度模块还可以提取多个位置的结构信息,增加网络的细节提取能力。MDS模块的表达式为:

F11l=R(η1l⊗F0l+v1l)F12l=R(η2l⊗F11l+v2l)F21l=R(η3l⊗F0l+v3l)F22l=R(η4l⊗F21l+v4l)Fl=sum(sum(F12l,F22l),F0l)

式中: F0为模块的输入网络层; F1,F2分别为扩张卷积层; Fl为MDS模块的输出,l=1,2,…,L; L为MDS的模块个数; η和v为权重和偏置。如图3所示,该模块由空洞卷积层[19,21]、归一化层[22]、激活函数层[23]和残差学习[24]组成。图中,DF为扩张因子; BN为归一化层。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   MDS模块结构

Fig.3   MDS block of network


1)空洞卷积层。本文采用不同感受野的卷积核提取图像多尺度信息,传统卷积层中,通过采用不同大小卷积核来实现网络的多尺度提取,在同一个网络中采用不同大小的卷积核,可能会提高网络的计算负担,不同卷积核的网络层之间不能进行残差操作。本文用空洞卷积层实现网络的多尺度结构,它可以不改变卷积核大小,有效地提高卷积层的感受野,实现多尺度提取信息的目的,也不会增加网络的复杂度和计算负担,可以实现不同层之间的残差。空洞卷积层通过改变扩张因子的大小改变感受野,DF=1表示常规卷积层,DF=2表示一个5×5的卷积层。

2)归一化层。随着卷积层数的增加,计算负担增加,网络收敛需要更多的运行时间,归一化层旨在减少训练的收敛时间。归一化层可以通过层输入的固定均值和方差来减少内部协变量偏移,以加速训练,减少训练时间; 同时归一化层通过减少梯度对参数大小或其初始值的依赖,提高网络的泛化能力。

3)残差学习。随着卷积层数的增加,CNN可以实现更复杂的非线性映射,并且会导致训练精度变差。为了克服这个问题,残差学习被提出来引入一个相等的快速连接来解决梯度消失的问题。 残差学习在图像任务中具有突出的表现[25]。

4)激活函数层。激活函数可增加神经网络模型的非线性能力。本文使用的激活函数是ReLU函数。

3 实验与分析

3.1 实验设置

本文使用QuickBird(QB)卫星图像作为数据集,QB卫星中PAN图像空间分辨率为0.6 m; MS图像包括红光、绿光、蓝光和近红外波段,其空间分辨率为2.4 m。由于原始卫星数据中不存在网络训练需要的参考图像,本文遵循Wald协议建立训练数据集,具体过程如下: 对MS图像和PAN图像进行下采样操作,将原始的MS图像作为参考图像,下采样后的PAN图像作为网络的输入图像,下采样的比例是MS图像和PAN图像的空间分配率之比,同时在下采样之前使用一个高斯滤波器减少信息混叠。本文网络输入时,输入图像尺寸是一样的,所以下采样后的MS图像使用双三次插值法进行上采样。本文用于网络训练的数据集图像大小为32像元×32像元,用于实验测试的图像大小为200像元×200像元。实验中显示的是融合图像红绿蓝3通道的结果图。

本次实验数据集为6万多组数据其中10%为测试数据,一共迭代150个周期(大约20多万次),网络的训练数据批量输入块为32,的测试数据批量输入块为16。权重衰减为0.000 01,动量设置为0.9。最初的学习率设置为0.1,迭代次数每增加总迭代次数的1/10次学习率就更新为0.5倍。本次网络训练是在windows系统中的caffe框架下进行,使用GPU加速,网络模型的测试是在MATLAB2018a基础上使用caffe软件实现的。本次实验处理器为 Intel Core i7-8700 CPU @3.20 GHz,16 GB内存,显卡为NVIDIA GeForce GTX 1080 Ti。

3.2 实验结果与分析

为了验证本文方法的有效性,选取多个对比算法,包括3个CS法(IHS[1],BDSD[26],PRACS[20]),2个MRA(MTF-GLP[27],Indusion[28]),2个DL算法(PNN[8],DMDP[19]),1个VO算法(GND[11])。为了客观地评价试验结果,实验采用5个有参考评价指标评价模拟实验结果,它们分别是: 通用图像质量指数(universal image quality index,Q),Q的4波段扩展(4 band extension of Q,Q4),相关系数(spacial correlation coefficient, SCC),光谱角映射(spectral angle mapper,SAM)和相对无量纲全局误差(erreur relative globale adimensionnelle de synthèse,ERGAS),其中SAM和ERGAS理想值为0,Q,SCC和Q4的理想值为1。在真实情况下,使用3个无参考评价指标: 量化空间失真Ds,量化光谱失真Dλ和无参照指标(quality with no-reference index,QNR),其中Ds和Dλ理想值为0,QNR理想值为1。

3.2.1 模拟图像实验

模拟数据集由100组遥感图像构成,图4为在QB模拟数集的主观测试结果,表1是有参考评价指标的平均结果,其中加粗的表示对比算法中的最优结果,加下划线的表示第二优结果。如图4所示,IHS和PRACS的融合图像在光谱变换时LRMS图像的光谱信息丢失,导致严重的光谱失真; MTF-GLP,Indusion和DMDP在变化域提取图像的结构信息,但是滤波器不能准确地过滤PAN图像和LRMS图像的重叠的结构信息,导致融合图像过增,同时牺牲了图像的光谱信息; PNN网络层过浅,在卷积时容易忽略一下信息,融合图像产生严重的光谱失真; BDSD的融合系数不够合理,导致融合图像丢失一些光谱信息; GND和本文方法都有不错的表现,但是GND的融合图像光谱有些失真,本文方法的光谱信息更接近于参考图像。从表1也可以看出,在测试数据集上,本文方法的指标优于其他对比算法。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   模拟数据融合结果

Fig.4   Comparisons of reduce scale experiment


表1   模拟数据集客观评价指标

Tab.1  Quality metircs of reduce scale dataset

算法QSCCQ4SAMERGAS
IHS0.834 60.910 60.806 83.549 13.241 0
BDSD0.922 80.940 70.910 72.822 52.206 3
PRACS0.919 50.935 30.911 52.927 92.217 6
MTF-GLP0.914 80.934 80.906 62.815 72.322 0
Indusion0.841 90.879 70.829 03.274 93.494 2
PNN0.922 90.945 60.880 73.197 02.221 6
DMDP0.911 20.924 30.887 82.661 32.395 2
GND0.936 10.954 90.918 42.277 01.916 1
本文算法0.945 50.961 50.932 52.175 21.743 9
理想值11100

新窗口打开| 下载CSV


3.2.2 真实图像实验

真实数据集由50组遥感图像组成,图5是一组在QB真实数集的主观测试结果,表2是无参考评价指标的平均结果,其中加粗的表示对比算法中的最优结果,加下划线的表示第二优结果。如图5所示,IHS,PRACS和PNN的融合结果空间信息保护的相对完好,但是与LRMS图像相比,它们的光谱信息存在比较严重的失真; MTF-GLP和Indusion的融合结果光谱相对完整,它们的边缘细节,如白色厂房的边缘信息存在较多的伪影; DMDP和GND同样存在结构细节丢失问题; BDSD和本文方法空间信息和光谱信息的保护结果都很好,但是BDSD的融合图像光谱表现比本文方法略差。从表2也可以看出,在测试数据集上,本文方法的指标优于其他对比算法。

图5-1

新窗口打开| 下载原图ZIP| 生成PPT

图5-1   真实数据融合结果

Fig.5-1   Comparisons of original-scale experiment


图5-2

新窗口打开| 下载原图ZIP| 生成PPT

图5-2   真实数据融合结果

Fig.5-2   Comparisons of original-scale experiment


表2   真实数据集客观评价指标

Tab.2  Quality metircs of original scale dataset

算法DsDλQNR
IHS0.141 60.255 30.639 6
BDSD0.065 40.179 90.767 1
PRACS0.087 90.228 20.713 9
MTF-GLP0.121 50.220 70.685 5
Indusion0.113 90.603 00.350 6
PNN0.068 50.603 50.368 3
DMDP0.085 20.168 80.761 1
GND0.073 80.110 50.822 7
本文算法0.050 60.121 60.833 7
理想值001

新窗口打开| 下载CSV


3.2.3 泛化实验

为了验证本文模型的泛化能力,直接使用QB卫星的遥感数据训练的模型测试IKONOS的遥感数据,实验结果如图6所示。IHS,PNN和GND融合图像的空间结构信息相对完整,在融合过程中丢失太多的光谱信息,导致严重的光谱失真; MTF-GLP,Indusion和DMDP融合结果的光谱保护相对完整,它们的空间结构信息出现过度增强,边缘有伪影; PRACS 融合图像空间结构缺失,边缘模糊; BDSD和本文方法的融合图像效果都很好,但是本文方法的光谱表现比BDSD好一些。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   泛化实验融合结果图

Fig.6   Original-scale experiment on an IKONOS image


3.2.4 消融实验

为了验证模型的有效性,对其进行消融测试,分为3部分: -UP表示利用常规的输入代替本文提出的UP模块; -MS表示使用级联空洞积层代替宽度学习模块; -DS表示使用普通卷积层代替MDS中的空洞卷积。在模拟图像数据集上对3种算法进行测试,实验结果如表3所示,本文提出的算法在各方面都优于3种变体算法(-UP,-MS,-DS)。

表3   消融实验客观评价指标

Tab.3  Quality metircs of Ablation experiment

测试方案QSCCQ4SAMERGAS
-UP0.944 00.942 80.937 13.176 02.523 1
-MS0.94340.934 60.936 13.316 92.625 3
-DS0.947 80.934 60.941 13.215 92.543 3
本文算法0.948 60.940 30.941 53.156 12.482 2
理想值11100

新窗口打开| 下载CSV


4 结论

本文对传统遥感图像全色锐化算法通常出现的光谱失真或者结构失真问题,和DL算法泛化性较低问题,基于VO框架模型,提出一个新的遥感图像全色锐化算法。该算法将深度网络分为光谱保护和结构保护2部分,通过网络学习得到最终的融合结果。在结构保护网络模块: 预处理采用高频滤波,得到PAN和MS图像的高频,在高频域处理结构信息,可以增加模型的泛化能力; 对PAN图像升维,然后与MS图像相加,有助于网络提取不同通道的LRMS图像和PAN图像的共同特征,增加模型特征提取能力; 采用多尺度残差模块,防止浅层信息消失,增加模型提取不同位置特征的能力,为融合图像提供丰富的结构信息; 采用光谱保护模块,使用一个跳跃连接,将它链接到结构保护项的输出,避免人为估算模糊核导致的误差,减小融合图像的光谱失真。

实验结果表明,本文方法可以有效地平衡光谱与空间结构信息,减小光谱失真和空间结构的丢失,相对于对比算法,本文采用的模型泛化性能更强。下一步研究会尝试对PAN图像升维,同时加入注意力机制,增加图像通道间的内在联系,并且改进多尺度模块,降低模型的计算复杂度,在保证网络性能的同时提高模型的效率。

参考文献

Carper W R, Lillesand T M, Kiefer R.

The use of intensity-hue-saturation transformations for merging SPOT panchromatic and multispectral image data

[J]. Photogrammetric Engineering and Remote Sensing, 1990, 56:457-467.

[本文引用: 2]

Laben C A, Brower B V. Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening:US6011875[P]. 2000-01-04.

[本文引用: 1]

Nason G P, Silverman B W. The stationary wavelet transform and some statistical applications[M]//Antoniadis A,Oppenheim G.Wavelets and Statistics. New York: Springer, 1995:281-299.

[本文引用: 1]

Hallabia H, Hamam H, Ben Hamida A.

A context-driven pansharpening method using superpixel based texture analysis

[J]. International Journal of Image and Data Fusion, 2021, 12(1):1-22.

[本文引用: 1]

Ballester C, Caselles V, Igual L, et al.

A variational model for P+XS image fusion

[J]. International Journal of Computer Vision, 2006, 69(1):43-58.

[本文引用: 1]

Fang F, Li F, Shen C, et al.

A variational approach for pan-sharpening

[J]. IEEE Transactions on Image Processing:A Publication of the IEEE Signal Processing Society, 2013, 22(7):2822-2834.

[本文引用: 1]

Fu X, Lin Z, Huang Y, et al.

A variational pan-sharpening with local gradient constraints

[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach,CA,USA.IEEE, 2019:10257-10266.

[本文引用: 1]

Masi G, Cozzolino D, Verdoliva L, et al.

Pansharpening by convolutional neural networks

[J]. Remote Sensing, 2016, 8(7):594.

[本文引用: 2]

Wang T T, Fang F M, Li F, et al.

High-quality Bayesian pansharpening

[J]. IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society, 2019, 28(1):227-239.

[本文引用: 1]

Yang Y, Lu H, Huang S, et al.

An efficient and high-quality pansharpening model based on conditional random fields

[J]. Information Sciences, 2021, 553:1-18.

[本文引用: 2]

Ye F, Guo Y, Zhuang P.

Pan-sharpening via a gradient-based deep network prior

[J]. Signal Processing:Image Communication, 2019, 74:322-331.

[本文引用: 3]

Guo P, Zhuang P, Guo Y.

Bayesian pan-sharpening with multiorder gradient-based deep network constraints

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13:950-962.

[本文引用: 1]

Wang D, Li Y, Ma L, et al.

Going deeper with densely connected convolutional neural networks for multispectral pansharpening

[J]. Remote Sensing, 2019, 11(22):2608.

[本文引用: 1]

Fang F, Zhang G, Li F, et al.

Framelet based pan-sharpening via a variational method

[J]. Neurocomputing, 2014, 129:362-377.

[本文引用: 1]

Scarpa G, Vitale S, Cozzolino D.

Target-adaptive CNN-based pansharpening

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9):5443-5457.

[本文引用: 1]

Yuan Q, Wei Y, Meng X, et al.

A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(3):978-989.

[本文引用: 1]

Liu L, Wang J, Zhang E, et al.

Shallow-deep convolutional network and spectral-discrimination-based detail injection for multispectral imagery pan-sharpening

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13:1772-1783.

[本文引用: 1]

Hu J, Hu P, Kang X, et al.

Pan-sharpening via multiscale dynamic convolutional neural network

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3):2231-2244.

[本文引用: 1]

Fu X, Wang W, Huang Y, et al.

Deep multiscale detail networks for multiband spectral image sharpening

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(5):2090-2104.

[本文引用: 3]

Choi J, Yu K, Kim Y.

A new adaptive component-substitution-based satellite image fusion by using partial replacement

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(1):295-309.

[本文引用: 2]

谭海, 张荣军, 樊文锋, 等.

融合多尺度特征的国产光学影像辐射异常分类检测

[J]. 自然资源遥感, 2022, 34(4):97-104.doi:10.6046/zrzyyg.2021377.

[本文引用: 1]

Tan H, Zhang R J, Fan W F, et al.

Classification and detection of radiation anomalies in Chinese optical satellite images by integrating multi-scale features

[J]. Remote Sensing for Natural Resources, 2022, 34(4):97-104.doi:10.6046/zrzyyg.2021377.

[本文引用: 1]

Garbin C, Zhu X, Marques O.

Dropout vs.batch normalization:An empirical study of their impact to deep learning

[J]. Multimedia Tools and Applications, 2020, 79(19):12777-12815.

[本文引用: 1]

Nair V, Hinton G E.

Rectified linear units improve restricted boltzmann machines

[C]// Proceedings of the 27th International Conference on International Conference on Machine Learning.ACM, 2010:807-814.

[本文引用: 1]

韩彦岭, 崔鹏霞, 杨树瑚, 等.

基于残差网络特征融合的高光谱图像分类

[J]. 国土资源遥感, 2021, 33(2):11-19.doi:10.6046/gtzyyg.2020209.

[本文引用: 1]

Han Y L, Cui P X, Yang S H, et al.

Classification of hyperspectral image based on feature fusion of residual network

[J]. Remote Sensing for Land and Resources, 2021, 33(2):11-19.doi:10.6046/gtzyyg.2020209.

[本文引用: 1]

Qiu D, Zheng L, Zhu J, et al.

Multiple improved residual networks for medical image super-resolution

[J]. Future Generation Computer Systems, 2021, 116:200-208.

[本文引用: 1]

Garzelli A, Nencini F, Capobianco L.

Optimal MMSE pan sharpening of very high resolution multispectral images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(1):228-236.

[本文引用: 1]

Alparone L, Wald L, Chanussot J, et al.

Comparison of pansharpening algorithms:Outcome of the 2006 GRS-S data-fusion contest

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(10):3012-3021.

[本文引用: 1]

Khan M M, Chanussot J, Condat L, et al.

Indusion:Fusion of multispectral and panchromatic images using the induction scaling technique

[J]. IEEE Geoscience and Remote Sensing Letters, 2008, 5(1):98-102.

[本文引用: 1]

/

〈 〉

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编：100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发