基于注意力特征融合的高保真遥感图像薄云去除

图1 网络整体结构

Fig.1 Overall structure of the proposed network

1.2 编码器和解码器

通过图1所示,网络的编码器由5个卷积层组成,在保持特征图像大小不变的情况下,编码器的卷积层通过增加一倍通道数的方式将输入特征图像逐步由3通道增加至128通道。这样使得输入的图像信息能够逐步增加特征信息量,而不至于单次特征通道数量增加过多使训练效果降低。且到达第5个卷积层时,通道数达到128,对于轻量级网络来说,已能提取丰富的信息,无需再增多卷积层导致网络的训练效率降低。为与编码器相互对应,解码器同样由5个卷积层组成,压缩整理网络的特征信息,将融合后的128通道特征图逐步降为3通道,输出彩色无云遥感图像。

1.3 注意力特征融合子网络

如图1所示,注意力特征融合子网络由3个结构相同的注意力特征融合模块级联构成。前一模块的输出作为后一模块的输入,递进地提取图像特征。同时网络将3个模块各自的输出连接在一起,共同传向解码器部分,保证信息完整性。

每个注意力特征融合模块的内部结构如图2所示,包括: 卷积层、通道注意力模块、融合模块、空间注意力模块、批标准化层和Leaky ReLU(LReLU)层。该模块用于过滤图像中无云区域的信息,促使网络聚焦图像中薄云区域进行信息提取与重建。

图2

图2 注意力特征融合模块结构

Fig.2 Structure of feature attention module

其中,通道注意力模块与空间注意力模块采用卷积块注意模块(convolutional block attention module, CBAM)^[10],其结构如图3所示。

图3

图3 注意力模块结构

Fig.3 Structure of attention modules

通道注意力特征图 $M_{c} (F)$ 和空间注意力特征图 $M_{s} (F)$ 分别为:

(1)M_c(F)=σ{ω₁[ω₀(

F_{a v g}^{c}

)]+ω₁[ω₀(

F_{m a x}^{c}

)]},

(2)M_s(F)=σ{f^(7×7)([

F_{a v g}^{s}

;

F_{m a x}^{s}

])},

式中: σ为Sigmoid函数; $F_{a v g}^{c}$ 和 $F_{m a x}^{c}$ 分别为通道平均池化描述符和最大池化描述符; $ω_{0}$ 和 $ω_{1}$ 分别为描述符的权重; $F_{a v g}^{s}$ 和 $F_{m a x}^{s}$ 分别为空间平均池化描述符和最大池化描述符; $f^{(7 \times 7)}$ 为7×7核大小的卷积描述符。

为了提高特征信息的提取能力,在通道注意力和空间注意力模块中间设计增加了一个融合模块,其结构如图4所示。模块分为2个分支,上分支保持特征图的通道数不变,将512像素×512像素大小的特征图进行3次步长为2的下采样提取特征图的局部信息,得到64像素×64像素大小的特征图,再将下采样后的特征图通过3个反卷积层上采样为原特征图大小,以此获取特征图局部特征。下分支保持特征图像大小不变,仅改变特征图像通道数,每次2倍提高特征图的通道数,再以相反的方法将特征图减小到128通道以获取特征图全局特征。将2个分支分别获取的特征接入连接层,通过3个不变卷积层整合特征信息输出到下一环节。融合模块能够整合通道注意力模块输出的通道差异化特征信息,生成具有丰富细节的特征图像传输给空间注意力模块,便于后续对薄云区域信息进行重建。

在模块结尾将激活函数由ReLU改为LReLU^[11],2个激活函数分别为:

(3)ReLU(x)=

\{\begin{array}{c} x & x \geq 0 \\ 0 & x < 0 \end{array}

(4)LReLU(x)=

\{\begin{array}{c} x & x \geq 0 \\ k x & x < 0 \end{array}

式中k∈[0,1]。通过对比可以看出,LReLU在ReLU的基础上,对小于0的负值一定程度的保留,减少负轴信息的丢失。

图4

图4 融合模块结构

Fig.4 Structure of feature fusion module

1.4 损失函数

本文中设计的损失函数L为:

(5)L=λ₁L_h+λ₂L_s+λ₃L_c,

式中: L_h为Huber损失函数^[12],用于评估增强网络去除薄云能力; $L_{s}$ 为锐化损失函数,用于评判还原图像细节; $L_{c}$ 为颜色损失函数,用于评判恢复图像颜色和对比度; $λ_{1}, λ_{2}, λ_{3}$ 分别为相应损失函数的占比权重, $λ_{1} = 0.13, λ_{2} = 0.08, λ_{3} = 0.79$ 。

L_h损失函数为:

(6)

\begin{matrix} L_{h} = \{\begin{array}{c} \frac{1}{2} {(J - \overset{︿}{J})}^{2} & |J - \overset{︿}{J}| \leq δ \\ δ (|J - \overset{︿}{J}| - \frac{1}{2} δ) & 其 他 \end{array} \end{matrix}

式中: J为真实无云图像; $\overset{︿}{J}$ 为网络的最终预测图像; δ为Huber损失函数的超参数。Huber损失函数具备了平均绝对误差损失函数和均方误差损失函数各自的优点,其中δ至关重要,当δ趋向于0时函数退化为绝对误差损失函数,而当δ趋向于无穷时函数退化为均方误差损失函数,本文中δ取1。

L_s损失函数为:

(7)

\begin{matrix} L_{s} = S_{J} - S_{\overset{︿}{J}} \end{matrix}

(8)

\begin{matrix} S_{\overset{︿}{J}} = G_{x} {\overset{︿}{J}}_{g} + G_{y} {\overset{︿}{J}}_{g} \end{matrix}

(9)

\begin{matrix} S_{J} = G_{x} J_{g} + G_{y} J_{g} \end{matrix}

(10)

\begin{matrix} G_{x} = [\begin{array}{c} - 1 & 0 & 1 \\ - 2 & 0 & 2 \\ - 1 & 0 & 1 \end{array}] \end{matrix}

(11)

\begin{matrix} G_{y} = [\begin{array}{c} - 1 & - 2 & - 1 \\ 0 & 0 & 0 \\ 1 & 2 & 1 \end{array}] \end{matrix}

式中: S_J和 $S_{\overset{︿}{J}}$ 分别为真实图像和锐化处理后图像; J_g和 ${\overset{︿}{J}}_{g}$ 分别为J和 $\overset{︿}{J}$ 的灰度图像。 $G_{x} 和 G_{y}$ 分别为Sobel算子水平方向和数值方向的2个算符,能够将图像中边界部分提取,确保提升重建图像的细节与边界清晰度。

由于薄云覆盖在地物上方,导致薄云图像整体泛白,对比度降低,且对于非均匀分布薄云图像云边界颜色过渡生硬。为还原图像的颜色保真度及对比度,本文引入余弦角函数作为损失函数的一部分。

L_c损失函数为:

(12)$L_{\mathrm{c}}=1-\frac{1}{K} \sum_{i=1}^{K} \frac{\widehat{J}_{i} J_{i}}{\left\|\widehat{J}_{i}\right\|_{2}\left\|J_{i}\right\|_{2}}$

式中: i为图像的单位像素; K为图像的像素总数。

2 实验结果与分析

2.1 参数设置

实验环境通过Tensorflow^[13]框架构建本网络,CPU为Intel(R) Core(TM) i7-8700,GPU为Nvidia GeForce RTX2080,显存大小为16 GB。模型的轮数设置为80,设置优化器Adam 的学习率为0.001,批大小为16的梯度下降。

2.2 数据集

为了提升模型的泛化能力,本文在公共遥感薄云数据集RICE^[14]的基础上,加入了GF-1/2,Landsat ETM+/TM以及WorldView-2等卫星所拍摄的清晰无云遥感图像。基于Pan等^[15]提出的云模板提取方法,获得了大量不同形状和空间分布的云图,再将云图与无云遥感图像根据Photoshop^[16]的滤色混合模式进行结合,扩充了人工薄云图像数据集。数据集包含河流、山脉、建筑物和土壤等多种场景。本文建立了5 500对训练数据集,700张测试数据集。测试集包含400张合成薄云图像以及300张真实薄云图像。数据集图像的大小均为512像素×512像素。

2.3 实验结果评价

本文方法与DCP^[1]方法、Ren等^[17]开发的多尺度卷积神经网络 (multi-scale convolutional neural network, MSCNN)、Dhara等^[18]提出的自适应大气光细化与非线性色彩平衡去云算法 (adaptive airlight refinement and non-linear color balancing, AARNCB)、Cho等^[19]提出的模型辅助的多波段融合算法 (model-assisted multiband fusion, MAMF) 以及SPAGAN^[7]方法共5种薄云去除方法进行实验对比。为了客观进行实验对比,利用本文建立的数据集重新对SPAGAN模型进行了训练。

本文设置了3组对比实验,包括: 公有数据集RICE图像实验、人工合成图像实验和真实遥感图像实验。表1为RICE数据集薄云去除结果对比。从表1中图像可以看出,AARNCB,MAMF以及MSCNN方法均无法去除非均匀真实薄云图像,处理后的图像可看性降低、细节丢失明显、出现伪影。DCP方法可以去除部分云,但先验信息评估不准确,导致处理后的图像整体亮度降低,饱和度升高。SPAGAN方法结果整体较暗,细节丢失明显。对比来说本文方法具有较好的去云效果且细节恢复明显,具有较强的视觉效果。

表1 RICE数据集薄云去除结果对比

Tab.1 Cloud removal results on RICE dataset

序号	有云图像	DCP	MSCNN	AARNCB	MAMF	SPAGAN	本文方法	无云图像
1
2
3
4

表2为本文人工合成薄云图像去云结果。其中图像1和图像2为均匀薄云覆盖图像,图像3和图像4为非均匀薄云覆盖图像。对于均匀覆盖的薄云图像,所有方法都能对图像还原。然而MSCNN和AARNCB方法处理后的图像颜色失真,锐化过度; MAMF方法处理后的图像颜色偏移严重; DCP方法预测出的结果亮度较低; SPAGAN方法去云效果明显,但是颜色还原不准确。对于非均匀薄云图像,DCP方法有较好的去云效果,但是由于暗通道中无极小值,导致预测出的图像相比于原图亮度低,损失细节; MSCNN和MAMF方法无法去除云较厚的部分,过度增强图像对比度,此外MSCNN方法还会出现偏色问题; SPAGAN方法去云效果好,但纹理细节有所损失; AARNCB方法与本文方法结果相似,但仍有部分云残留。通过对比可知,本文方法在颜色保真度、清晰度以及薄云去除效果都有较好的表现,更接近于真实图像。

表2 厚度分布不同情况薄云图像输出结果对比

Tab.2 Cloud removal results on thickness distribution

序号	有云图像	DCP	MSCNN	AARNCB	MAMF	SPAGAN	本文方法	无云图像
1
2
3
4

表3为真实遥感图像去云结果,图像收集自GF-1/2和Landsat ETM+/TM等传感器,图像来自中国和意大利等国家,包括多种场景。收集的真实遥感图像均为可见光波段合成的RGB真彩色图像,通过数据提供的参考信息和目视判别确定为薄云。由表3中图像可以看出,对于不同分辨率、不同薄云覆盖的图像本文方法在颜色保真和细节重建上均能取得最好的去云视觉效果。表明本文通过合成图像训练得到的网络能够在真实遥感图像上获得良好的去云效果,表明本文方法具有良好的鲁棒性。

表3 真实薄云图像输出结果对比

Tab.3 Cloud removal results on real images

序号	有云图像	DCP	MSCNN	AARNCB	MAMF	SPAGAN	本文方法
1
2
序号	有云图像	DCP	MSCNN	AARNCB	MAMF	SPAGAN	本文方法
3
4

为了客观评价薄云去除效果,本文采用了3种评价指标对实验结果进行定量评估。其中包括全参考评价指标——峰值信噪比(peak signal to noise ratio, PSNR^[20])、结构相似度指数(structural similarity, SSIM)以及无参考图像空间质量评估指标(blind/referenceless image spatial quality evaluator, BRISQUE^[21])。PSNR与SSIM数值越大,BRISQUE数值越小,说明输出图像质量越好。

从测试集中随机挑选200张图像计算评价指标,计算结果如表4所示。根据表4中数据可知,本文方法的PSNR,SSIM以及BRISQUE 3个评价指标均为最优。

表4 不同方法处理结果评价指标对比

Tab.4 Comparison of quality evaluation indicatorswith different methods

方法	PSNR/dB	SSIM	BRISQUE
DCP	19.21	0.81	31.56
MSCNN	16.93	0.72	31.89
AARNCB	20.56	0.79	32.22
MAMF	16.86	0.69	31.48
SPAGAN	21.59	0.85	25.15
本文方法	23.74	0.90	23.62

2.4 实验分析

为验证本文提出的融合模块的作用,本文设计了该模块的消融实验,实验结果如图5所示。

图5

图5 融合模块消融实验

Fig.5 Ablation experiment of information enhancement module

图像上黄色框为有云无云的过度区域,图像右侧为黄色框1和2的放大细节。从整体来看,在图像1山丘中,没有信息融合模块的输出结果去云效果不好,厚云处出现泛白现象,输出图像过度不自然。从局部来看,在图像2城市中,无信息融合模块的输出结果有云与无云的边界感明显,且楼房区域对比度较低。而有融合模块的2张输出图像整体细节充足,颜色恢复效果好,明暗过度平滑,对比度强。

为验证本文设计的细节损失函数 $L_{s}$ 和颜色损失函数 $L_{c}$ 的作用,设置了有无2个损失函数的消融实验,结果如图6所示,其中黄色框1为薄云部分,黄色框2为原图中无云部分,图像右侧为对应黄色框1和2的放大细节图像。在图像颜色方面,如图像1城市图像,房屋部分在没有损失函数的输出结果中,屋顶颜色与原始图像相差较大,而有损失函数的输出结果其颜色还原程度与原图近似,接近真实图像。在图像细节方面,如图像2中,无锐化损失函数的输出结果山峰及道路的细节模糊,图像层次被降低,而有锐化损失函数的输出结果中图像既能保证无云部分的细节,又能将有云部分的细节加强。

图6

图6 调整损失函数消融实验

Fig.6 Ablation experiment of color loss function and sharpening loss function

为进一步验证网络的有效性,将清晰无云图像输入网络进行测试,结果如图7所示。输出结果与原图在视觉评价上非常接近。农业区和城市区图像的SSIM定量评价指标均为0.92。值得注意的是,本文方法并未引入无云图像进行模型训练,这表明本文提出的注意力子网络能够有效关注薄云特征,忽略无云特征,模型具有很好的鲁棒性。

图7

图7 无云图像网络输入输出对比

Fig.7 Comparison of network indoors and outdoors

3 结论

本文搭建了注意力特征融合子网络,并加入颜色损失函数和锐化损失函数,提出基于注意力特征融合的光学遥感图像薄云去除网络。

大量实验结果表明,该模型对于非均匀覆盖图像,不仅具有良好的去云效果,而且输出图像的颜色保真度高、细节丰富度、亮度和平滑度等方面均优于其他对比方法。在定量分析上,本文方法随机抽取图像测得的PSNR为23.74 dB,SSIM为0.90,BRISQUE为23.62,均为所有方法中的最优指标。最后,模型将无云图像输入网络,其输出结果不会进行图像压暗和薄云去除等操作,表明模型的鲁棒性强。

然而,对于地物有大片接近云亮度的部分,网络有时会误判成云,进而对该部分误去云。并且本文数据集为可见光波段合成的RGB真彩色图像,无多波段或雷达等多源数据。这些问题将是后续研究以及数据处理的重点。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

, Sun

, Tang

Single image haze removal using dark channel prior

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12):2341-2353.

DOI:10.1109/TPAMI.2010.168 URL [本文引用: 3]

[2]

Narasimhan

S G

, Nayar

S K

Contrast restoration of weather degraded images

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6):713-724.

DOI:10.1109/TPAMI.2003.1201821 URL [本文引用: 1]

[3]

, Hu

, Ai

Haze and thin cloud removal via sphere model improved dark channel prior

[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 16(3):472-476.

DOI:10.1109/LGRS.2018.2874084 URL [本文引用: 1]

[4]

Shi

, Zhang

, Zhou

, et al.

A novel thin cloud removal method based on multiscale dark channel prior (MDCP)

[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19:1-5.

[5]

, Ren

, Huang

An end-to-end system for unmanned aerial vehicle high-resolution remote sensing image haze removal algorithm using convolution neural network

[J]. IEEE Access, 2020, 8:158787-158797.

DOI:10.1109/Access.6287639 URL [本文引用: 1]

[6]

Pan

Cloud removal for remote sensing imagery via spatial attention generative adversarial network

[J/OL]. arXiv, 2020(2020-11-14). https://arxiv.org/abs/2009.13015.

URL [本文引用: 1]

[7]

, Wu

, Hu

, et al.

Thin cloud removal in optical remote sensing images based on generative adversarial networks and physical model of cloud distortion

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 166:373-389.

DOI:10.1016/j.isprsjprs.2020.06.021 URL [本文引用: 2]

[8]

, Xie

, Zhang

, et al.

Thin cloud removal for multispectral remote sensing images using convolutional neural networks combined with an imaging model

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14:3811-3823.

DOI:10.1109/JSTARS.2021.3068166 URL [本文引用: 1]

[9]

Luo

, Rong

, Zhou

A spatial-spectral adaptive thin-cloud removal method based on slow feature analysis

[J]. Remote Sensing Letters, 2022, 13(8):747-755.

DOI:10.1080/2150704X.2022.2079387 URL [本文引用: 1]

[10]

Woo

, Park

, Lee

J Y

, et al.

Cbam:Convolutional block attention module

[C]// Proceedings of the European Conference on Computer Vision (ECCV). 2018:3-19.

[11]

张焕, 张庆, 于纪言.

激活函数的发展综述及其性质分析

[J]. 西华大学学报(自然科学版), 2021, 40(4):1-10.

Zhang

, Zhang

, Yu

J Y

Overview of the development of activation function and its nature analysis

[J]. Journal of Xihua University (Natural Science Edition), 2021, 40(4):1-10.

[12]

Gupta

, Hazarika

B B

, Berlin

Robust regularized extreme learning machine with asymmetric Huber loss function

[J]. Neural Computing and Applications, 2020, 32(16):12971-12998.

DOI:10.1007/s00521-020-04741-w [本文引用: 1]

[13]

Pang

, Nijkamp

, Wu

Y N

Deep learning with tensorflow:A review

[J]. Journal of Educational and Behavioral Statistics, 2020, 45(2):227-248.

DOI:10.3102/1076998619872761 [本文引用: 1]

This review covers the core concepts and design decisions of TensorFlow. TensorFlow, originally created by researchers at Google, is the most popular one among the plethora of deep learning libraries. In the field of deep learning, neural networks have achieved tremendous success and gained wide popularity in various areas. This family of models also has tremendous potential to promote data analysis and modeling for various problems in educational and behavioral sciences given its flexibility and scalability. We give the reader an overview of the basics of neural network models such as the multilayer perceptron, the convolutional neural network, and stochastic gradient descent, the most commonly used optimization method for neural network models. However, the implementation of these models and optimization algorithms is time-consuming and error-prone. Fortunately, TensorFlow greatly eases and accelerates the research and application of neural network models. We review several core concepts of TensorFlow such as graph construction functions, graph execution tools, and TensorFlow's visualization tool, TensorBoard. Then, we apply these concepts to build and train a convolutional neural network model to classify handwritten digits. This review is concluded by a comparison of low- and high-level application programming interfaces and a discussion of graphical processing unit support, distributed training, and probabilistic modeling with TensorFlow Probability library.

[14]

Lin

, Xu

, Wang

, et al.

A remote sensing image dataset for cloud removal

[J/OL]. arXiv, 2019(2019-01-03). http://arxiv.org/abs/1901.00600v1.

URL [本文引用: 1]

[15]

Pan

, Xie

, Jiang

, et al.

No-reference assessment on haze for remote-sensing images

[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12):1855-1859.

DOI:10.1109/LGRS.2016.2614890 URL [本文引用: 1]

[16]

The mathematic magic of Photoshop blend modes for image processing

[C]// 2011 International Conference on Multimedia Technology.IEEE, 2011:5159-5161.

[17]

Ren

, Pan

, Zhang

, et al.

Single image dehazing via multi-scale convolutional neural networks with holistic edges

[J]. International Journal of Computer Vision, 2020, 128(1):240-259.

DOI:10.1007/s11263-019-01235-8 [本文引用: 1]

[18]

Dhara

S K

, Roy

, Sen

, et al.

Color cast dependent image dehazing via adaptive airlight refinement and non-linear color balancing

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 31(5):2076-2081.

DOI:10.1109/TCSVT.2020.3007850 URL [本文引用: 1]

[19]

Cho

, Jeong

, Kim

Model-assisted multiband fusion for single image enhancement and applications to robot vision

[J]. IEEE Robotics and Automation Letters, 2018, 3(4):2822-2829.

DOI:10.1109/ROBOT.1996.506590 URL [本文引用: 1]

[20]

蒋刚毅, 黄大江, 王旭, 等.

图像质量评价方法研究进展

[J]. 电子与信息学报, 2010, 32(1):219-226.

Jiang

G Y

, Huang

D J

, Wang

, et al.

Overview on image quality assessment methods

[J]. Journal of Electronics and Information Technology, 2010, 32(1):219-226.