遥感卫星在获取地面图像的过程中,受传感器的性能、设备稳定性、外界环境、拍摄目标的运动、设备与拍摄目标的相对运动等因素影响,获取的图像会产生模糊降质现象,最常见、最主要的降质现象包括运动模糊和高斯模糊,这严重影响了图像的应用,所以研究图像复原方法至关重要。

经典的图像复原方法先估计模糊图像的模糊函数,通过建立的降质模型进行反卷积计算求解出未降质图像,按模糊核是否已知,分为图像盲复原和非盲复原2种方法。经典非盲图像复原方法有约束最小二乘Richardson-Lucy算法^[1]、维纳滤波^[2]等,这些方法利用估计得到的模糊核和模糊图像来求解复原图像; 马尔科夫场复原方法^[3]利用条件概率模型来进行图像复原,也能得到较好的复原结果。盲图像复原是利用降质图像的一些先验信息,在一些约束性规则下得到对原始图像的最优估计。经典方法包括最大似然估计盲复原^[4]、最大后验概率^[5]、正则化方法^[6]等。Rudin等^[7]提出了全变差正则化(total variation regularization,TV)方法,在复原效果和点扩展涵数估计方面取得了较好的效果; Chan等^[8]在此基础上,提出了TV盲解卷积算法,在图像噪声污染很严重的情况下也取得了较好的结果。近几年,学习方法快速发展,成为学者们的研究热点。如Gong等^[9]提出了一种基于深度学习的方法估计和消除异构运动模糊,使用全卷积神经网络(fully-convolutional deep neural network,FCN)估计模糊图像的运动流,并从估计的运动流中恢复不模糊的图像; Sun等^[10]提出了一种新的基于卷积神经网络(convolutional neural network,CNN)的非均匀运动去模糊方法,很好地预测了非均匀运动模糊场; Tao等^[11]提出了一种尺度递归网络(scale-recurrent network,SRN)来完成去模糊的任务,该网络更加简单、参数数量少、更容易训练,取得的结果优于现有的学习方法; Kupyn等^[12]基于条件生成对抗网络(conditional generative adversarial nets,CGAN)和内容丢失,提出了一个端到端的学习运动去模糊方法,该方法在自然图像复原方面效果较好。

总的来说,以往的图像盲复原算法主要是对原始图像的先验知识和模糊函数进行假设,通过各种数学模型进行处理来得到模糊函数的最优估计,但是这些方法的算法复杂度较高、计算数据量大,而且对于混合模糊的图像复原问题复原效果不佳; 基于学习的方法算法虽然简单,但是模型的优劣性和训练集的种类会对最终的结果产生很大的影响。CGAN是一种简单的生成式方法,有效地解决了可建立自然性解释的数据的生成难题,所采用的神经网络可以整合各类损失函数,网络设计自由度很高; 而且能够保存高纹理细节,创建的图案又接近真实图像,是图像超分辨率和图像修复中的主力军。

因此,本文将CGAN引入遥感图像复原中进行了去降质模糊的研究。首先分析了CGAN的原理; 然后改变了训练库中图像的模糊种类创建了数据集; 在设置好网络参数之后进行训练并对训练结果进行测试。通过与盲反卷积算法和基于学习的SRN算法进行比较,证明了本文方法可以有效地去除降质模糊并优于另外2种算法,对于高斯模糊,本文的方法也是可行的; 最后,本文还采用了遥感图像训练库对网络进行训练,通过实验说明训练库的改变虽然会对复原结果有影响,但实验结果依然可以去运动模糊,证明了CGAN在遥感图像复原中是可行的。

生成对抗网络^[13](generative adversarial networks,GAN)是由2个相互竞争的网络组成的深度神经网络框架,包括生成模型G和判别模型D,其中生成模型学习真实的数据分布,而判别模型尽量正确判别输入数据是来自真实数据还是来自生成模型。2个模型需要不断对抗训练和优化来提高各自的生成能力和判别能力。学习优化过程就是寻找二者之间的一个纳什均衡。由于无条件的生成模型不能控制正在生成数据的模式,所以通过调整附加约束信息的模型来指导数据生成过程,生成模型和判别模型都加了一些额外的条件信息y,扩展到了CGAN^[14]。可以通过将y输入到判别模型和生成模型作为附加输入层来对网络进行调节。

在生成模型中,先验输入噪声p_z(z)和条件信息y联合组成了联合隐层表征。在判别模型中,真实数据x和条件y作为判别模型的输入。其目标函数为

式中: x为真实图像; p_data(x)为数据分布; Ex~pdata(x)为服从p_data(x)分布的x的数学期望; p_z(z)为噪声分布; y为条件信息; D(x│y)为判别模型判断输入的真实图像是否真实的概率; D(G(z│y))为判别模型判断生成模型生成的图像是否真实的概率。

优化判别模型D即将 Ex~pdata(x)[logD(x│y)]最小化,G(z│y)相当于生成模型生成的假样本。当真样本x输入到判别模型的时候,得到的结果越大越好。优化生成模型是将式(1)的第二项最小化,即

对于假样本,使得D(G(z│y))越大越好,也就是1-D(G(z│y))越小越好。

在训练的过程中,本文将模糊图像作为生成模型的输入,通过计算感知损失来确保模型面向去模糊的任务。生成模型和判别模型是交替训练的。先训练判别模型,使得判别模型的判别准确率尽量降低,然后固定判别模型去优化生成模型; 生成模型有了一定的生成能力后固定生成模型去优化判别模型; 二者交替训练、优化直至2个模型达到“纳什均衡”状态。

1.2.1 生成模型组成

生成模型G结构如表1所示,该模型与Johnson等^[15]所提出的模型类似,图1为生成模型中残差块的结构。残差网络与普通神经网络的区别是残差网络采用了跨层连接方式,连接了残差块的输入和输出,其中t表示输入,F(t)表示残差块在第二层激活函数之前的输出,假设第二层网络在激活函数之前的输出为H(t),如果残差块的最优输出是输入t,而对于没有跨层连接的网络就需要将其优化成H(t)=t,对于残差块只需将F(t)=H(t)-t优化为0即可,使优化变得更为简单,残差块计算的是没有跨层连接时网络的残差,目的是提高训练的稳定性和准确率。生成模型每个残差块由卷积层、实例标准化层和ReLU激活函数组成。在每个残差块中的第一个卷积层之后添加具有0.5的概率的dropout正则化。每个残差块之间使用残余连接,残余连接使得网络很容易学会识别功能。网络最末层使用一个缩放的tanh函数(双曲正切函数)在循环过程中会不断扩大特征效果。除了第一个卷积层和最后一个卷积层用7×7的卷积核,其他所有层均采用3×3的卷积核,大幅度减少了模型的参数量和计算量,与其他大小卷积核的网络相比,在网络层数相同的情况下提供了更大的感受野。

设E为CNN学习模糊图像M的残差校正,S为清晰图像,则复原图像可以表示为

1.2.2 判别模型组成

在训练阶段,本文定义了一个具有渐变惩罚的判别网络(WGAN-GP),网络体系结构与PatchGAN^[15]类似,如表2所示,判别网络用来估计生成图像与真实图像的距离。判别网络所有的卷积层除了最后一层都是InstanceNorm层和LeakyReLU激活函数(泄露修正线性单元激活函数,这里设置非零斜率为0.2来改进判别模型的训练)。

通常深度学习每一个算法中都会有一个目标函数,算法的求解过程即对这个目标函数优化的过程。在分类或者回归问题中,通常使用损失函数(代价函数)作为其目标函数。损失函数用来评价模型的预测值和真实值不一样的程度,损失函数越好,通常模型的性能和鲁棒性越好。大多数与生成对抗网络相关的论文中,对抗性损失都是用Vanilla GAN^[16,17]作为目标损失。本文将对抗损失和内容损失结合作为损失函数,公式为

式中: L为总损失; L_GGAN为对抗损失; L_C为内容损失; λ为权重系数。在所有的实验中将λ设为100。不需要对判别模型进行调节,也不需要惩罚输入数据与输出数据之间的不匹配。对抗损失用梯度惩罚损失计算,定义为

式中S为清晰图像。

一般的内容损失定义为L1正则化平均绝对误差或(mean absolute error,MAE)损失、原始像素上的L2正则化或均方误差(mean square error,MSE)损失。本文中内容损失用感知损失计算,其定义为基于生成图像和目标图像CNN特征图差异的L2正则化损失,计算公式为

式中: φ_i,j为在VGG-19网络^[18]中的第i个最大层数之前的第j个卷积(在激活之后)获得的特征图; W_i,j和H_i,j为特征图的维度; M为模糊图像; a和b为像素的位置。

图2为去降质模糊的CGAN训练过程,在训练时,将模糊图像和对应的清晰图像组成的图像对输入网络。生成模型将模糊的图像作为输入并产生对清晰图像的估计,在生成模型的末尾加入基于VGG-19网络在清晰和恢复图像特征图之间激活差异的感知损失,确保了CGAN模型面向一个去模糊的任务,它比较了VGG-19网络第一批卷积的输出值。判别模型将生成模型生成的图像和来自训练库的清晰图像作为输入,并估计它们之间的距离,在网络的最末端加入了梯度惩罚损失,它提取的是2个图像差异的均值,可以改善网络的收敛性。当真实数据分布不等于生成分布时,对抗网络并没有达到平衡状态,自适应矩估计(adaptive moment estimation,Adam)优化算法会计算优化参数反传回生成模型,增强生成模型的学习能力和增加生成模型生成的图像内容。当来自真实数据的样本分布等于生成数据的样本分布时,判别模型不能判别出输入的是真实图像还是生成模型生成的图像,此时对抗网络达到平衡状态,学习率衰减为0,输出权重文件,设置好测试参数就可以进行图像复原实验。

本次实验目的是探讨CGAN方法在遥感图像复原中的可行性,重点讨论训练库、模糊类型等对不同种类模糊遥感图像的复原效果。实验数据包括光学遥感图像、合成孔径雷达(synthetic aperture Radar,SAR)图像和“珞珈一号”夜光遥感图像。影响实验的因素包括训练库类型、图像的模糊类型和训练过程。训练库包括自然图像训练库和遥感图像训练库,训练库是由模糊图像和与之对应的清晰图像的像对组成; 图像的模糊类型包括运动模糊和随机高斯模糊; 训练过程采用PyTorch深度学习框架实现CGAN的训练和测试。实验分自然图像训练库和遥感图像训练库2组进行,分别对应实验中的3类遥感图像进行复原,以了解训练库的类型对遥感图像复原的影响。

本组实验中的自然图像训练库即地面拍摄的各种自然图像,包括从Google云端硬盘下载的对象检测基准的数据集和Nah等^[17]公开的GoPro数据集的组合,共有3 254个训练图像对。前者的图像内容为街道和停车位、不同数量和类型的汽车,模糊源包括相机抖动和汽车运动引起的模糊,构建了包含1 151张清晰图像和1 151张模糊图像一一对应的街景视图数据集。后者的GoPro数据集内容包括街景图像、植被图像和建筑物图像,模糊源包括相机抖动、相机和被摄物体相对运动引起的模糊,构建了包含2 103张清晰图像和2 103张模糊图像一一对应的数据集。本组实验使用的训练库在组合数据集运动模糊的基础上加入了高斯随机模糊(模糊半径范围为[0,10])。数据集的实验分为仿真实验和真实图像实验。仿真实验先对清晰图像进行降质模糊,然后利用本文中方法去复原,将结果与清晰图像、盲反卷积算法和SRN算法进行了对比; 真实实验中也与SRN算法进行了对比。

在实验过程中,模型的架构是基于CNN算法,训练过程选取图像块进行,可以处理任意尺寸的图像; 为保证计算效率,训练时每张输入到网络里的图像尺寸全部裁剪为256×256大小。使用Gulrajani等^[19]的方法优化判别模型,执行5个梯度下降。然后使用Adam优化算法作为求解器执行下一步生成模型生成,动量参数beta设置为0.5。网络每迭代5次保存一次生成模型和判别模型的权重。生成模型和判别模型的学习率最初设定为0.000 1。迭代训练150次之后,在接下来的150次迭代中将学习速率线性衰减到0。所有的模型都用批量大小为1进行训练。利用本训练库训练一个CGAN时间约为120 h。仿真实验结果如表3所示。其中第1组、第2组、第3组分别为光学遥感图像、SAR图像、夜光遥感图像的仿真实验; 第1组到第3组降质图像类型为运动模糊图像,第4组为高斯模糊图像,第5组为混合模糊图像; 结果分别展示了原始图像、降质图像、本文方法复原图、盲反卷积复原图和SRN算法复原图。在图像质量评价指标方面,采用衡量恢复图像与原始图像之间的差距的峰值信噪比(peak signal to noise ratio,PSNR),以及符合人眼视觉感知特性、可以有效描述原始图像与复原图像之间的相似程度的结构相似性(structural similarity index,SSIM)。两者的值均是越大越好。本文分别对降质图像和复原图像计算了RSNR和SSIM,结果如表4和表5所示。分析对比表3的仿真实验结果可以看出,第1组的光学遥感图像复原后,复原结果都比降质图像质量好,本文方法复原后道路等边缘信息清晰,通过表4—5的评价指标计算结果来看,本文方法对于光学遥感图像复原效果较好。第2组SAR降质图像,本文方法的运动模糊改善最好,地物更加的清晰,与原图相比差距很小,但是评价指标结果低于SRN算法; 第3组的夜光遥感降质图像的复原结果有所改善但效果不明显。总的来说,盲反卷积方法比降质图像质量有所改善,但存在振铃和过锐化现象,SRN算法也有很大改善,但本文方法复原效果更好。这从表5的评价指标中可以看出,采用本文方法指标最佳。

应用本文方法直接处理含有降质模糊的光学遥感图像,实验结果如表6所示,每组实验结果右侧的图像为其细节放大图。可以看出本文方法复原后复原图像消除了拖影,模糊程度明显降低,而且图像中没有噪声,将图像放大对比后,地面上地物轮廓很完整,地物细节也变得清晰; 盲反卷积算法复原图像中出现了噪声,存在过锐化和振铃现象; SRN算法的复原结果在细节方面不如本文方法处理的好。真实降质模糊图像(模糊类型为运动模糊)的PSNR和SSIM如表7所示,对比表7也可以看出,本文方法的PSNR计算最高,SSIM略低于SRN算法,但是从主观视觉角度来说本文方法最优。

本组实验中,使用的训练集均是地面自然图像,没有遥感图像,实验结果表明: ①该训练集可以应用于遥感图像的复原,而且效果都有改善,光学彩色遥感图像的效果优于SAR和夜光图像的复原结果,分析原因,训练库中虽然均是地面自然图像,但地物中细节还是有一些相似性,例如道路、车辆、房屋,因此通过训练可以用于光学遥感图像的复原,但由于SAR和夜光图像与训练集中的数据差异较大,复原效果略差,所以,当待处理的图像与训练库有相似性,可以用提供的训练集进行训练并复原; ②本文采用的方法可以用于不同类型的模糊复原。

本遥感数据集图像属于光学机载图像,包括3 068个建筑物、水体、植被、山川等不同类型的地物的像对,训练库图像的降质类型为运动模糊,实验方法和过程与实验一中第1组相同。实验和评价结果分别如表8和表9所示。对比表8的实验结果,可以看出遥感训练集的复原结果也都比降质图像好,图像细节和边缘都有所改善,同时对比表3中的第1—3组实验结果,实验结果相差不大,在指标方面,遥感训练库的复原结果比自然图像训练库的复原结果指标值低,相比之下,自然图像训练库的复原结果要更好一些。

上述不同训练集的实验结果表明: ①不同训练库对图像复原结果是有直接影响的,网络参数相同条件下,自然图像训练库的复原结果优于遥感图像训练库; ②本文采用的条件生成对抗网络的复原方法可以处理运动模糊、降质模糊、混合模糊图像; ③训练库的大小、训练的参数会影响训练结果,由于训练库图像类型的不同,需要对网络进行微调,才能使其训练和测试结果达到最优。

1)本文通过实验得出如下结论: CGAN方法在遥感图像复原中是可行的,解决了经典图像复原算法中模糊函数难以估计的问题,而且复原图像细节和纹理信息完整,图像复原结果较好。

2)训练库的不同会对网络的训练结果产生影响,CGAN有很强的拓展性。

3)理论上生成数据等于真实数据时,CGAN可达到全局最优,但是实际上生成数据和真实数据仍有一定的差别,如何改进网络结构和损失函数来减少网络损失是本文以后继续研究的方向和需要攻克的难题。