高分辨率遥感图像具有更高的像素密度,包含更多细节信息,对地物目标识别、分类和提取等应用的精度有重要影响^[1]。超分辨率(super-resolution,SR)重建^[2]能够由一幅低分辨率(low-resolution,LR)图像或LR图像序列恢复出包含更多细节信息的高分辨率(high-resolution,HR)图像,是获取高分辨率遥感图像的重要方法,其中基于深度学习的SR重建方法是当前主流研究方向,根据所需数据集的不同,可分为监督学习SR和非监督学习SR^[3]。

现有的SR方法主要集中于监督学习,如Dong等^[4]提出SRCNN(super-resolution convolutional neural network)模型通过构建三层卷积神经网络结构,直接学习LR图像与HR图像间的端到端映射关系,运行效率和重建效果较好,但所需训练时间较长且学习过程中可能出现过拟合问题; Kim等^[5]在SRCNN的基础上引入残差网络(residual network,ResNet)^[6],提出VDSR(very deep convolutional networks for super-resolution)模型,同时通过增加卷积层个数以提高模型准确率,但学习信息有限且收敛慢; Kim等^[7]提出DRCN(deeply-recursive convolutional network)模型将递归神经网络结构应用于SR重建中,加深网络结构的同时使用跳跃连接增加网络感受野,提升模型重建效果; Tai等^[8]通过对DRCN已有的ResNet等结构进行调整,提出多路径模式的局部残差学习结合全局残差学习和多权重递归学习的DRRN(deep recursive residual network)模型。这些监督学习SR方法均需要对原始HR图像采用某种特定的降采样方法如Bicubic插值函数等退化得到相应的LR图像,作为一对HR-LR输入样本^[9]。由于不同分辨率的遥感图像间潜在的退化方法通常是未知的,通过已知方法人工获取的成对LR-HR遥感数据在实际SR应用中可信度不高^[10]。

无监督学习SR则完全丢弃成对的合成数据,仅利用未配对的LR-HR图像直接学习LR到HR的映射,如Shocher等^[11]认为单个图像内部的图像统计信息已经为SR提供了足够信息,通过训练图像特定的SR网络而非在大型外部数据集上训练通用模型来应对无监督SR,提出零镜头超分辨率(zero-shot super-resolution,ZSSR); Bulat等^[12]提出将SR分为两个阶段,首先使用未配对的LR-HR图像训练和学习HR-to-LR GAN,在此基础上基于配对的LR-HR图像训练LR-to-HR生成对抗网络(generative adverarial network,GAN),以提高现实世界LR图像的SR重建质量,如Yi等^[13]提出了DualGAN网络; Ledig等^[14]分别以ResNet和VGG^[15]作为生成器和判别器结构提出了SRGAN(super-resolution using a generative adversarial network)模型; Yuan等^[16]基于CycleGAN^[17]提出由4个生成器和2个判别器组成的周期循环SR网络CinCGAN(cycle-in-cycle generative adversarial networks)。这些无监督学习SR方法无需引入人工降采样先验,使得训练数据较容易获取^[18],但由于遥感图像具有自然且丰富的纹理特征及其内容的自相关性特点,直接将现有的无监督模型应用于遥感图像SR会使得模型不确定问题更加严重并产生较差的重建效果,因此非监督学习SR方法不能直接应用于标准遥感图像SR问题^[19]。

为此,针对自然真实且不成对的遥感图像,本文利用弱监督模型对偶回归网络(dual regression network,DRN)^[20]结合深度残差通道注意力网络(residual channel attention network,RCAN)^[21]中的二次残差(residual in residual,RIR)模块,提出残差对偶回归网络(residual dual regression network,RDRN),同时使用真实的不成对LR遥感数据和成对的LR-HR合成数据,使得SR模型能在适应现实未配对数据的同时兼顾退化先验,增强网络的学习能力,进而重建出更符合实际应用的高质量HR图像。

针对涉及两个互为对偶的深度学习任务,例如图像理解中基于图像生成文本和基于文本生成图像,Fu等^[22]提出一种新的机器学习范式,称为对偶学习方法,利用未标注数据进行端到端学习,通过为强化学习获取奖励信息的方式,降低深度学习对大规模标注数据的依赖性,该方法包含原始和对偶两个非对称的相反任务,相互提供反馈,相互学习、相互提高。多任务学习^[23]也可以同时学习多个共享相同的输入空间的任务,但对偶学习对输入空间没有要求,只要这些任务能形成一个反馈系统即可。如图1所示,该学习模型同时包括正向原始模型(primal model, M_P)和回归对偶模型(dual model, M_D),使其形成一个闭环(closed-loop),采用周期一致性损失函数,同时学习原始任务M_P和对偶任务M_D,利用对偶任务输出值X'与给定原始期望值X相间的偏差对网络参数进行调节和控制,对LR与HR间的映射函数空间形成约束,使输出值尽量接近于期望值,从而提高遥感图像重建质量和模型泛化能力。理想情况下,如果从LR到HR的映射是最优的,则可以对超分辨图像进行降采样以获得相同的输入LR图像。

LR遥感图像所包含的低频信息通过神经网络学习可以被恢复成高频信息,但卷积神经网络平等对待特征的每一个通道,缺少处理不同类型信息的灵活度和辨别学习能力^[24],虽然较深的卷积网络能够获得较好的SR性能,但更深的网络使得训练困难,易产生过拟合问题^[25]。深度残差通道注意力网络RCAN通过RIR结构来构造深层网络,允许丰富的低频信息通过多个跳跃连接直接进行传播,使主网络专注于学习高频信息,保证浅层网络同样拥有良好的泛化能力。

如图2所示,每个RIR块由数个残差组(residual group,RG)以及长跳跃连接(long skip connection,LSC)组成,RG为其基本模块,LSC则用来进行粗略的残差学习; 每个RG内部则叠加数个残差注意力通道块(residual channel attention block,RCAB)和短跳跃连接(short skip connection,SSC),RCAB将通道注意力机制(channel attention,CA)与残差思想融合在一起,CA通过考虑通道之间的相互依赖性来自适应地重新调整特征,SSC则允许丰富的低频信息直接通过恒等映射向后传播,保证信息的流动,加速网络训练; 在每个CA内部,首先进行一个空间的全局池化(global pooling)得到1×1×C通道描述,再经过一个下采样层和一个上采样层得到每一个通道的权重系数,将权重系数和原来的特征按元素相乘(element-wise product)即可得到缩放后的新特征,该过程将不同通道的特征重新进行了加权分配。

本文所采用的RIR块包含10个RG、一个3×3的卷积(convolution,Conv)和一个LSC,每个RG由20个RCAB、一个Conv和一个SSC组成,在RCAB中对每个输入首先进行一个Conv-ReLU-Conv操作得到特征f,f再经过一个CA模块进行重新缩放得到x,最后将x和输入按元素相加(element-wise sum)得到输出特征。其中CA模块中的下采样和上采样层都利用的卷积层Conv来实现,下采样层的通道数减少r倍,上采样层的激活函数为线性整流函数(rectified linear unit,ReLU),下采样层的激活函数为Sigmoid函数。本文采用的通道数C为64,r为16。

RDRN模型主要由原始学习任务P和对偶回归任务D组成。原始学习任务基于U-Net结构,由编码器和解码器组成,其中,编码器部分由简单的Conv层和带参数的ReLU激活函数(parametric rectified linear unit,PReLU)组成,经过逐级下采样(downsample,DS),分辨率也逐层降低; 解码器部分由Conv,RIR块和像素重组(pixelshuffle)组成。对偶回归任务对超分后的图像进行卷积下采样(upsample,US)得到LR图像。

如图3所示,原始主任务P由黑色流程线指示,对偶回归任务D由红线流程线指示,虚线表示直接将原始图像经过放大后与处理后的图像进行特征叠加,绿色块表示下采样模块的特征映射,黄色块表示上采样模块的特征映射。其中,原始任务P中的下采样和上采样模块都包含log₂(s)基本块,s为比例因子,解码路径中的采样模块个数由超分辨重建的倍数决定,2倍重建需要1个基础块,4倍重建需要2个基础块,此外为其添加了前期额外的输出,如4倍重建时分别叠加了1倍重建和2倍重建后的图像以辅助生成相应比例的图像,并将其产生的损失同时应用于后续模型的训练。

对偶任务D的目的是学习一个下采样模型,对输入的未成对数据进行下采样估计,其网络复杂度比需要学习尺度映射的原始任务简单,仅设计了只有2个卷积层和1个PReLU激活层的对偶模型,其计算成本比原始模型低且应用效果良好。

为了使训练所得模型具有更好的泛化能力,本文实验所用数据集包含512像素×512像素的遥感图像共10 000张,其中10%作为测试集,选取自大型航空图像数据集LandCover.ai和光学遥感图像数据集DIOR。Boguszewski等^[26]提出的LandCover.ai数据集收集了波兰216.27 km²不同农村地区的RGB航空图像切片10 674张,涵盖不同光学条件和植被季节周期。DIOR数据集由Li等^[27]提出,共收集23 463张不同空间尺度分布的高质量遥感图像,包含大量地物类别,对于SR重建研究及其应用具有代表性。

为了能更好地处理图像的边界像素,使边界点能够保留到最后一层特征图,U-Net使用镜像操作,为输入图像增加对称的镜像边,如图4所示,将512像素×512像素的图像尺寸增加为572像素×572像素,保证每次降采样操作的特征图尺寸均为偶数。增加的镜像尺寸即感受野的大小,即每条镜像边尺寸为感受野的一半,根据RDRN网络架构将降采样的感受野确定为30。

图像质量评估(image quality assessment,IQA)方法^[28]包括基于人类主观感知方法和客观计算方法,客观IQA方法按照原始参考图像提供信息的多少分为使用参考图像进行评估的全参考方法、基于提取特征比较的简化参考方法以及不使用参考图片的无参考方法(即盲IQA)。本文采用2种常用的客观评价指标: 峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural similarity,SSIM),结合主观到客观,对重建后的遥感图像质量进行评价。

对于均为N×N大小的原图像I和重建图像I',PNSR通过对比两者相应像素之间的差异来评估真实场景中的重建质量:

式中: L_I为图像的最大像素值(如8位RGB图像中L值为255),MSE为原图像I与重建图像I'的均方误差,公式为:

由式(1)和或(2)可知,L为固定值,PSNR只与像素间的MSE有关,因此PSNR只关注原图像I与重建图像I'的像素值之间的差异。

SSIM则基于图像间的亮度、对比度和结构从HVS的角度来评价重建质量:

式中: μ_I为原图像I的像素均值; σ_I为原图像I的像素方差; σ_II'为2张图像间的协方差; C₁和C₂为避免计算不稳定而设置的常量。

实验环境为Windows 10系统,使用开源深度学习框架Pytorch(1.1.4版本),编程语言是Python(3.7.0版本)。使用RMSprop优化器,并在训练过程中不同网络设置相同的超参数: 初始学习率设为0.000 01,权值衰减值设为0.9,学习率衰减指数设为0.9,动量设为0.9,训练过程中采用的批尺寸大小为4,迭代轮数为50轮。

DRN网络由互逆的P网络和D网络构成,通过联合学习这2个网络,相互提供信息反馈来训练模型。设x∈X为LR图像,y∈Y为HR图像,对于原始回归任务,其目的是寻找一个函数P(x),使得预测P(x)与其对应的HR图像Y相似; 对于对偶回归任务,其目的是寻求一个函数D(y),使得D(y)的预测与原始输入LR图像x相似。

因此,对于成对数据,给定一组有N对样本的样本集SP={(xi,yi)},i=1,2,…,N,其中x_i和y_i分别为成对数据集中的第i张LR和HR图像,其训练损失函数可以写为:

式中: M_P和M_D分别为原始和对偶回归任务的损失函数(L₁范数); λ为控制对偶回归损失的权重。

对于真实的没有对应的HR的LR图像,给定一组有M个样本的样本集S_U={(x_i)},i=1,2,…,M,本文使用与成对数据训练方法不同的未配对数据的自适应算法,该过程不依赖于其损失函数为:

式中:LSP(xi)是一个指标函数,当x_i∈S_P时,其值为1,否则值为0。

为了保证SR重建性能,首先结合从成对合成数据中提取的信息,加载预训练的模型P和D,首先通过最小化目标函数(式(5))来更新原始模型P,然后通过最小化对偶回归损失(式(6))来更新对偶模型D,直接从未配对的真实世界LR数据中学习来进行模型自适应,公式为:

为了验证RDRN模型的有效性,分别训练SRResNet,DRCN,SRGAN,EDSR,DRN对比模型并将训练结果在测试集上进行重建测试,对重建结果和模型复杂度分别进行对比分析。

以4倍重建为例,在4倍放大的SR重建中,RDRN会生成1倍重建SR图像、2倍重建SR图像和4倍重建SR图像,由图5可以看出,随着重建的加深,图像被放大的同时像素量也在增加,因此图像并没有变得越来越模糊,其细节信息反而被逐步恢复,从而重建出最终清晰的图像,由此说明SR重建的目的是重建出图像中丢失的细节高频信息。

同时,通过对比分别从1倍重建图即原图、2倍重建图和4倍重建图中截取的地物目标(如图5中(b),(c),(d)所示),重建倍数越高,重建效果越好,这也证明了RDRN方法的有效性。此外还可以看出,RDRN方法在纹理规则且明显的地方超分表现良好,比如对道路、车辆等规则地物的重建,但是对于草地等地区的重建效果则并不显著。

为了对比RDRN模型和其他网络模型在不同尺度遥感图像SR的重建性能,针对放大4倍的SR模型重建结果进行直观的视觉比较,选取一组测试结果进行分析,结果如图6所示。由图6可知,SRResNet,DRCN和EDSR生成的图像包含较多的模糊,细节重建效果并不理想; 而SRGAN虽然能够获得与原HR图像视觉上近似的效果,但由于其对未配对的LR和HR图像之间的数据差异敏感,SR结果容易失真并包含噪声; DRN的重建效果较好但同样无法产生较为清晰的纹理细节; 相比之下,RDRN模型始终产生更清晰的边缘和形状,而其他模型可能会给出更模糊的边缘和形状。实验结果证明所提出的RDRN能够生成更准确的SR重建图片。

为了定量比较RDRN模型和其他SR模型对遥感图像的重建质量,利用4倍重建图像的PSRN和SSIM得分,对不同SR模型的重建结果进行定量对比评价,结果如表1所示。

由表1可知,RDRN的重建质量最好。总体而言,无监督SR方法SRGAN的重建效果果优于EDSR等监督SR方法的重建效果,弱监督闭环模型DRN的重建效果优于无监督SR方法,PSRN和SSIM得分均远高于其他SR方法。加入了RIR结构的RDRN模型PSRN值较DRN模型高出0.46 dB,SSIM值高出0.012。

模型复杂度在很大程度上会影响模型的应用。在深度学习中,模型复杂度可以通过参数量的大小来衡量,表2总结了×4参数和×8参数的RDRN模型及其他对比模型的参数量。由表2可以看出,使用了RIR块的RDRN模型的参数量相比于只用RCAB模块的DRN缩小了约一半。除了SRResNet模型,RDRN模型相对于DRCN,SRGAN和EDSR模型,模型参数量大幅减小。这表明,在不完全依赖成对数据集的情况下,利用较少的参数,RDRN仍能获得较好的重建效果,其模型复杂度大幅降低的同时使重建质量得到提升。

为了验证对偶方法和二次残差块对遥感图像SR性能的影响,根据4倍重建SR测试图像的PSNR得分,针对RDRN模型的对偶回归方法和残差网络进行消融研究。如表3所示,与原始的监督学习+RCAB模型相比,采用对偶回归方法和残差网络的模型在测试集取得更好的重建效果。

相对于仅将RCAB应用于原始学习网络的SR结果,使用二次残差块的原始学习网络的SR结果的PNSR得分提高了0.12 dB; 同样仅使用RCAB,增加了对偶学习网络的结果比只有原始学习网络的重建效果有大幅提高; 在对偶回归的基础上修改RCAB为二次残差块后,SR结果的PNSR得分提高了0.81 dB。这表明,二次残差块比RCAB更适应遥感图像SR,对遥感图像的高频细节有更好的恢复能力; 对偶回归方法能够对原网络形成约束,减少映射函数的空间,从而提高HR图像的重建效果。

为了研究对偶回归损失的权重λ对遥感图像SR重建性能的影响,根据4倍重建SR测试图像的PSNR得分,针对RDRN模型的损失函数式(1)中超参数λ的变化进行实验,实验结果如表4所示。由表4可以看出,当λ从0.001依次增加到0.1时,对偶回归的损失逐渐变得重要,为模型提供强大的监督反馈作用; 继续将λ进一步增大到1甚至10,对偶回归的损失项对网络整体的损失反而产生负面影响,从而影响模型最终性能。为了平衡原始学习和对偶回归以获得最好的重建效果,本文实验中将λ设为0.1。

训练过程中不成对图像在训练数据集中所占的比例p对训练所得的模型重建效果也有较大影响。根据4倍重建SR测试图像的PSNR得分,针对RDRN模型训练过程中设置不同的p值,研究p对遥感图像SR重建性能的影响,分别设置p的值为0,0.2,0.3,0.4,0.6,0.8和1在相同的训练条件下训练50轮,获得相应的训练曲线。如图8所示。

相比于仅能学习LR-HR图像间潜在非线性映射的原始正向模型(即p=0时),增加能够利用非成对遥感图像的低频信息生成HR非监督学习的模型(p≠0)能够获得更好的性能,其中p=0.3时模型的重建性能最佳。因此,本文实验中设置p=0.3以获得最佳性能。

为了提高利用神经网络对遥感图像的SR重建质量和模型的泛化能力,在研究SR重建常用模型的基础上,提出了一种基于DRN网络和RCAN网络的残差对偶回归网络RDRN。该网络结构结合对偶学习思想,设置两个互逆的学习网络形成一个闭环,对LR-HR间的映射空间形成约束,以减少可能函数的空间。其中:

1)正向学习网络基于U-Net网络结构,结合RIR模块,允许丰富的低频信息通过多个跳跃连接直接进行传播,保证浅层网络同样拥有良好的学习能力和泛化能力。

2)对偶回归网络则将由正向网络学习得到的HR图像进行下采样,通过将下采样得到的LR图像与正向网络输出的多尺度SR图像进行对比,与正向学习网络相互提供反馈,相互提高。

3)采用周期一致性损失函数,同时使用真实的不成对LR遥感数据和成对的LR-HR合成数据,使SR模型能在适应现实未配对数据的同时兼顾退化先验,重建出更符合实际应用的高质量HR图像。

实验结果表明,RDRN在对遥感图像的SR重建中表现良好,能够为遥感图像重建出较清晰的细节纹理信息,且相对于DRN等其他SR网络,模型参数量较少,在遥感图像SR领域的具有巨大潜力。此外,未来RDRN网络还可拓展到更多尺度的SR重建,如8倍放大效果下的重建等,但由此引发重建图像的真实性仍待讨论。