自然资源遥感, 2024, 36(1): 58-66 doi: 10.6046/gtzyyg.2022362

技术方法

结合空间语义注意力的二段式遥感图像修复网络

刘宇佳,1, 谢诗哲2, 杜阳3, 严瑾,4,5, 南燕云4, 温中凯3,6

1.辽宁工程技术大学测绘与地理科学学院,阜新 123000

2.中国地质大学(北京)信息工程学院,北京 100083

3.南京航空航天大学航天学院,南京 210016

4.中国地震应急搜救中心,北京 100049

5.首都师范大学资源环境与旅游学院,北京 100048

6.中国空间技术研究院遥感卫星总体部,北京 100094

A two-stage remote sensing image inpainting network combined with spatial semantic attention

LIU Yujia,1, XIE Shizhe2, DU Yang3, YAN Jin,4,5, NAN Yanyun4, WEN Zhongkai3,6

1. School of Geomatics, Liaoning Technical University, Fuxin 123000, China

2. School of Information Engineering, China University of Geosciemces(Beijing), Beijing 100083, China

3. College of Astronautics, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China

4. National Earthquake Response Support Service, Beijing 100049, China

5. College of Resource Environment and Toursim, Capital Normal University, Beijing 100048, China

6. Institute of Remote Sensing Satellite, CAST,Beijing 100094, China

通讯作者: 严 瑾(1993-),女,博士研究生,工程师,主要从事灾害遥感解译和应急救援方面的研究。Email:yanjin_1221@126.com。

责任编辑: 张仙

收稿日期: 2022-09-13   修回日期: 2022-11-16  

基金资助: 国家自然科学基金项目“基于无人机遥感和移动定位数据潮汐特征的地震人员精细化评估伤亡方法研究”(42061073)
中国地震应急搜救中心青年科技基金项目“灾后建筑物震害提取与灾情研究——以川滇某县为例”(SJ2101)

Received: 2022-09-13   Revised: 2022-11-16  

作者简介 About authors

刘宇佳(1996-),女,硕士研究生,主要从事遥感等科研和应用方面的研究。Email: lyj836310336@163.com 。

摘要

高分辨率遥感图像的缺失区域中地物种类复杂多样、空间异质性高,导致图像修复结果中存在纹理模糊和结构扭曲的问题,且在边界和复杂纹理区域尤为突出。因此提出一种结合空间语义注意力的二段式遥感图像修复网络。该网络由粗修复网络和精修复网络串联而成,旨在使用粗略修复网络提供的先验信息,引导精修复网络对缺失区域的复原。在粗修复网络中,构建多级损失结构以强化网络训练的稳定性; 在精修复网络中,提出一种新的空间语义注意力机制,并依据网络特征的分布特点,区别性将空间语义注意力嵌入在编码器和解码器中,以确保局部特征的连续性和全局语义信息的相关性。实验结果表明,所提方法相比于现有其他算法可以进一步提升图像修复效果。

关键词： 二段式网络; 遥感图像修复; 空间语义注意力; 局部特征连续性; 全局语义信息相关性

Abstract

In high-resolution remote sensing images, missing areas feature intricate surface features and pronounced spatial heterogeneity, causing the image inpainting results to suffer texture blurring and structural distortion, particularly for boundaries and areas with complex textures. This study proposed a two-stage remote sensing image inpainting network combined with spatial semantic attention (SSA). The network comprised two networks in series: one for coarse image inpainting and one for fine-scale image inpainting (also referred to as the coarse and fine-scale networks, respectively). This network was designed to guide the fine-scale network to restore the missing areas using the priori information provided by the coarse network. In the coarse network, a multi-level loss structure was constructed to enhance the stability of network training. In the fine-scale network, a novel SSA mechanism was proposed, with SSA being embedded differentially in the encoder and decoder based on the distribution of network features. This ensured the continuity of local features and the correlation of global semantic information. The experimental results show that the network proposed in this study can further improve the image inpainting effects compared to other existing algorithms.

Keywords： two-stage network; remote sensing image inpainting; spatial semantic attention; continuity of local features; correlation of global semantic information

PDF (23370KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

刘宇佳, 谢诗哲, 杜阳, 严瑾, 南燕云, 温中凯. 结合空间语义注意力的二段式遥感图像修复网络[J]. 自然资源遥感, 2024, 36(1): 58-66 doi:10.6046/gtzyyg.2022362

LIU Yujia, XIE Shizhe, DU Yang, YAN Jin, NAN Yanyun, WEN Zhongkai. A two-stage remote sensing image inpainting network combined with spatial semantic attention[J]. Remote Sensing for Land & Resources, 2024, 36(1): 58-66 doi:10.6046/gtzyyg.2022362

0 引言

随着对地观测技术的进步,遥感图像成像质量不断向高空间分辨率、高光谱分辨率、高辐射分辨率以及高时间分辨率方向发展[1]。高分辨率遥感图像以其丰富的地物纹理信息、清晰的边缘纹理特征和高效的时间重访周期被广泛应用于土地利用、城市规划及环境和灾害监测等领域。但由于成像条件的限制(如: 焦平面拼接技术导致的拼缝信息缺失[2],传感器硬件故障,云层、气溶胶等天气原因造成的遮挡等[3]),遥感图像可能出现信息缺失,这严重制约了遥感图像的使用价值,如语义分割、目标检测和地物分类等下游任务[4⇓⇓-7]。因此,高分辨率遥感图像的修复是遥感地学应用中一个亟待解决的课题。

图像修复是图像复原研究领域的重要分支,其目的是根据图像现有的信息来自动恢复丢失的信息,即为图像缺失部分填充符合图像纹理结构、语义结构的信息,得到完整的图像。随着图像修复技术的发展,其研究热点可归纳为2类: 传统的图像修复方法和基于深度学习的图像修复方法[8-9]。传统的图像修复方法,大多采用基于纹理或基于结构的思路,通过数学或物理模型进行图像修复[10⇓⇓⇓⇓-15]。但总体来讲,传统图像修复方法难以重构信息,不适用于大面积影像的修复,针对于大面积的图像修复还需要借助深度学习图像修复方法。随着深度学习的发展,专家学者提出了多种基于深度生成网络的图像修复算法[16⇓⇓⇓⇓⇓⇓⇓-24],虽然上述方法可以获得良好的修复结果,但很难同时提供额外的信息,如边界信息和纹理信息,制约了修复效果的进一步提升。为获得更好的修复效果,越来越多的深度学习图像修复研究倾向于基于二段式神经网络进行图像修复[25⇓⇓-28]。与单一网络相比,二段式网络通过第一个网络学习到的先验信息辅助完成最终的修复任务,是一种更具有潜力的图像修复策略。

综上所述,传统的图像修复算法使用简单的物理或数学模型智能借鉴信息,难以重构信息,并且仅适用于解决小范围影像的修复问题。而基于深度学习的网络模型虽然能够在整体上实现较好的修复效果,但忽略了生成内容的语义相关性和特征连续性,这导致上述模型在修复细节上更易产生边界伪影、扭曲结构和模糊纹理。同时,高分辨率遥感图像的缺失区域中成像特征复杂多样、空间异质性突出也进一步加剧了图像的修复难度。

鉴于此,本文提出一种结合空间语义注意力(spatial semantic attention,SSA)的二段式遥感图像修复网络,充分利用粗修复网络中的先验信息,提升精修复网络的重建质量。在粗修复网络中,设计了多级损失以保证网络训练过程的稳定性,在精修复网络中,构建了SSA模块,分别部署在网络的编码器和解码器中,以强化特征图的局部特征连续性和全局语义相关性,从而提升图像细节修复质量。设计了3种不同场景的实验,以评价本文方法的应用潜力。

1 研究方法

本文提出一种结合空间语义注意力的二段式遥感图像修复网络,以期为成像条件限制导致的遥感影像价值受损问题提供思路(图1显示3种因为外界条件导致遥感数据信息缺失的情况)。此网络采用第一个网络的粗略修复内容,引导第二个网络执行精细修复。该网络模型分为粗修复和精修复两个阶段,如图2所示。图2中,I0为完整影像数据; M表示模拟信息缺失区域; Iin由掩模M和I0组成,表示网络输入; R0为粗修复网络使用鉴别器D1产生的粗略修复结果; Rf为精修复网络中使用鉴别器D2产生的精确修复结果。2个网络均使用U-Net架构[29]作为生成器,PatchGAN[30]作为鉴别器。在粗修复网络中,构建了多级损失结构,强化网络训练的稳定性。在精修复网络中,提出一种新的SSA机制,针对网络浅层结构中丰富的细节特征,使用SSA1以确保局部特征的连续性; 考虑到深层网络中侧重于关注图像的高级的语义信息,因此在解码器中构建了SSA2以优化全局空间语义信息的相关性。除此之外,本文中使用了Liu等[27]提出的带有Patch鉴别器的VGG网络来优化2个SSA输出结果之间的空间一致性,使网络训练过程更加稳定。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   典型的遥感数据信息缺失情况

Fig.1   Typical cases of missing information from remote sensing data


图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   结合空间语义注意力的二段式深度对抗网络

Fig.2   A two-stage deep adversarial network with spatial semantic attention


1.1 粗修复网络

粗修复网络由2部分组成,即生成器G1和鉴别器D1。对于生成器G1,采用U-Net网络架构。在编码器中,每层中都使用了3×3卷积、步长为2的4×4卷积、批归一化(batch normalization,BN)以及LeakyReLU激活函数。在解码器中,采用了ReLU激活函数、BN和反卷积为一个组合。对于鉴别器D1的设计,本文使用PatchGAN的结构。

除网络架构外,另一个重要方向是设计有效的损失函数。在二段式网络中粗修复网络的输出结果对精修复网络的训练具有一定的指导作用。因此本文设计了多级损失辅助修正网络的特征域偏差。具体来说,以I0作为标准值,其相应的卷积特征则表示为Øi(I0),反卷积特征为φi(I0),其中i是生成器G1中所有卷积层和反卷积层的索引。因此,多级损失函数Lm被定义为:

Lm= ∑i∈nØi(I0)-φi(I0)2 。

与经典的生成式对抗网络(generative adversarial network,GAN)网络一样,重建损失Lr1可以被定义为:

Lr1= R0-I02 。

对抗损失La1计算公式为:

La1= minG1maxD1EI0[log2(D1(I0))]+ ER0[log2(1-D1(G1(Iin)))],

式中E为分布函数的期望值。

最终损失函数可以被定义为:

LR0=λmLm+λr1Lr1+λa1La1,

式中: λm,λr1,λa1分别为不同权重的超参数。

1.2 精修复网络

相比于粗修复网络,精修复网络拥有更多的细节。在训练阶段使用I0和R0作为精修复网络的输入,获取最终的修复图像Rf。在测试阶段仅使用R0作为网络输入。在编码器G2中,将3×3卷积和4×4膨胀卷积组合为一个模块。其中3×3卷积主要用于获取深度语义信息,4×4膨胀卷积用来替代池化层,可有效防止信息过度损失,并扩大感受域。SSA被分别嵌入于网络的解码器和编码器中,目的在于更加有效地构建局部特征的连续性,提高全局空间语义的相关性。除此之外,利用带有Patch判别器的VGG网络来校正SSA(即SSA1和SSA2)的输出结果。

1.2.1 空间语义注意力层

由于高分辨率遥感图像存在非常复杂的空间地理关系和严重的空间异质性,因此每个像素之间需要更可靠的语义相关性和特征连续性,降低修复图像中的纹理模糊或者边界断层现象。在精修复网络的编码器中,由于浅层特征能够提供丰富的细节特征,因此设计SSA1计算校正缺失区域中相邻像素特征之间的相关性。为了进一步强化高级语义信息之间的相关性,基于SSA1和反卷积的结果,使用SSA2计算全局的空间语义相关性。如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   SSA求解过程示意图

Fig.3   SSA calculation process


图3中,本文设计的空间语义注意在编码器和解码器中尺寸为32×32的特征层上。为了计算每个像素之间的相关性,设置Øh((I0)为生成器中第h层的特征图,W和W-分别表示Øh(I0)的缺失区域和已知区域。{wi}和{w-i}(i=1,2,…,n)表示W和W-中所有1×1特征块的集合。它们的类内相似性Si,j和类间相似性S-i,j可用如下公式计算:

Si,j≤< wiwi, wjwj>,
S-i,j≤< wiwi, w-jw-j> 。

W中相邻特征块的相似性可以定义为:

Si-1,i= 0i=1<wiwi,wi-1wi-1>i≥2 。

最后,得到新的wi*∈W,将其定义为:

w1=w-1i=1wi*=Si-1,iSi-1,i+S-i,jwi-1+S-i,jSi-1,i+S-i,jw-ji≥2 。

在SSA2中,采用类似于SSA1的相似性求解过程,但使用了非局部均值策略,以突出不同语义信息的重要程度,新的wi*可以表示为:

wi*= exp(S-m,i)exp(S-m,i)+exp(S-n,i)w-m+ exp(S-n,i)exp(S-m,i)+exp(S-n,i)w-n+ exp(Sp,i)exp(Sp,i)+exp(Sq,i)wp+ exp(Sq,i)exp(Sp,i)+exp(Sq,i)wq,

式中m,n,p,q为索引。

1.2.2 精修复网络的损失函数

为获得更好的修复细节,精修复网络继承了粗修复网络的主体结构,并引入带有Patch鉴别器的预训练VGG网络。本文以预训练VGG的输出特征为标准,计算SSA1和SSA2损失。为保证二者特征尺寸的一致性,我们采用了VGG的4_3层。因此, 一致性损失函数Ls可以定义为:

Ls= ∑y∈WSSA1(R0+Iin)y-φ(I0)y22+ SSA2(R0+Iin)y-φn(I0)y22,

式中: φ为VGG网络4_3层的特征图; SSA1(*)为编码器中SSA的特征; SSA2(*)为解码器中对应的特征。

重建损失Lr2和对抗损失La2,分别与式(2)和式(3)中定义相似。最后,总的精修复网络的损失函数可以表示为:

L=λr2Lr2+λa2La2+λsLs+ LR0,

式中λr2, λa2, λs分别为不同权重的超参数。

2 结果与分析

为了充分验证本文算法的有效性,本文使用自制的0.8 m分辨率的高分二号(GF-2)卫星图像数据集、0.3 m分辨率的航空图像数据集[31]以及自然图像Places2数据集[32]进行测试实验。训练过程在AMD R9-5900x和3070ti GPU平台上完成。

2.1 网络训练和数据描述

本文构建了一种端到端的二段式图像修复网络,采用Adam优化器,将相应参数设置为β1=0.5,β2=0.999,学习率为0.000 2,批处理大小为1,超参数设置为: λr2=λa2=1,λr1=λa1=0.5,λm=λs=0.05,分别在GF-2卫星图像数据集、航空图像数据集和自然图像数据集进行实验。GF-2数据集包含多种地物类型,如建筑物、农田、植被等,影像尺寸为10 000像素×10 000像素,空间分辨率为0.8 m。本文将数据集划分为1 521个256像素×256像素大小的图像块,并按4∶1将其划分为训练集和测试集。本文使用掩模方式模拟图像信息缺失的情况,不同占比的掩模图片如图4所示,包含条带掩模及Nvidia不规则掩模数据集。在评价指标方面,采用当前主流的结构相似性(structural similarity,SSIM)和峰值信噪比(peak signal-to-noise ratio, PSNR)。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   本文多种掩模方式

Fig.4   A variety of mask of this paper


为验证算法的优越性,本文采用3种较为新颖的图像修复方法进行对比实验,分别为CSA(coherent semantic attention)网络[27],LBP(based on local binary pattern learning and spatial attention)网络[28],AOT(aggregated contextual-transformation GAN)网络[20]。

2.2 结果分析

2.2.1 GF-2遥感图像数据集

如表1所示,展示了GF-2数据在多种信息缺失条件下的实验结果,缺失区域中包含了建筑物、农田植被、水域和道路等多类地物,且图像纹理和边界特征均比较复杂。如表2所示,由于考虑了浅层局部特征的连续性和全局高级语义信息的相关性,相比于其他3种方法,本文的修复效果无论是在结构完整性还是纹理伪影方面,均取得了较大的提升,并且在整个数据集中也取得了最高的评价指标,SSIM和PNSR分别提升了0.007 2~0.018 6和0.586 3~1.296 8。

表1   GF-2数据的实验结果

Tab.1  Experimental results of GF-2 data

序号实际CSALBPAOT本文方法
a
b
c
d

新窗口打开| 下载CSV


表2   GF-2数据中不同方法的质量评价指标

Tab.2  Quality evaluation indexes of different methods in GF-2 data

指标图像CSALBPAOT本文方法指标图像CSALBPAOT本文方法
SSIMa0.906 60.903 80.913 30.915 3PSNRa26.033 026.286 126.958 428.025 6
b0.935 00.928 70.924 80.935 5b27.785 026.694 427.256 727.801 7
c0.949 80.925 30.933 00.958 5c29.439 728.106 628.921 129.627 4
d0.939 20.926 90.929 20.949 8d28.701 528.029 928.795 428.849 8
测试集
平均		0.932 60.921 20.925 10.939 8测试集
平均		27.989 827.279 327.982 928.576 1

新窗口打开| 下载CSV


2.2.2 航空图像数据集

表3和表4展示了航空图像的实验结果。相比于GF-2数据集,航空图像有着更高的分辨率,提供了更加清晰的空间地理关系和类别属性。因此,评价指标普遍优于GF-2数据,在细节方面,本文算法也取得了更好的修复效果,修复结果更贴近于实际,在边界和纹理的处理上与标签图像更为一致,SSIM和PNSR分别提高0.006 6~0.015 9和0.211 1~0.374 3。

表3   航空影像数据的实验结果

Tab.3  Experimental results of aerial image data

序号实际CSALBPAOT本文方法
a
b
c
d

新窗口打开| 下载CSV


表4   多种方法在航空数据上的评价指标

Tab.4  Multiple methods for evaluating indicators on aeronautical data

指标图像CSALBPAOT本文方法指标图像CSALBPAOT本文方法
SSIMa0.904 20.908 80.898 10.908 8PSNRa30.789 431.348 730.516 731.191 0
b0.827 10.806 50.818 70.819 3b20.882 221.473 021.164 221.233 8
c0.839 50.835 50.838 90.850 9c23.670 723.552 424.275 723.798 9
d0.814 10.796 90.818 40.832 3d21.256 120.545 121.294 721.871 7
测试集
平均		0.846 20.836 90.843 50.852 8测试集
平均		24.149 624.229 824.312 824.523 9

新窗口打开| 下载CSV


2.2.3 自然图像数据集

为保证实验的完整性,本文对自然图像同样进行了对比实验。由于自然图像的分辨率最高,4种方法也都有着更高的评价结果,如表5及表6所示。本文算法在边界和纹理的修复上,依旧表现较佳,SSIM提高了0.004 9~0.015 8,PNSR提升了0.802 4~2.674 6。

表5   自然数据上的实验结果

Tab.5  Experimental results on natural data

序号实际CSALBPAOT本文方法
a
b
c
d

新窗口打开| 下载CSV


表6   多种方法在自然数据上的评价指标

Tab.6  Multiple methods for evaluating indicators on natural data

指标图像CSALBPAOT本文方法指标图像CSALBPAOT本文方法
SSIMa0.912 80.905 30.889 50.915 4PSNRa21.243 130.824 129.337 931.262 9
b0.697 60.688 90.695 90.701 8b21.201 719.898 720.862 021.239 3
c0.723 60.710 40.722 60.729 7c22.083 021.654 821.663 122.597 9
d0.811 20.797 00.811 60.817 8d24.034 823.673 824.136 524.161 0
测试集
平均		0.786 30.775 40.779 90.791 2测试集
平均		22.140 724.012 923.999 924.815 3

新窗口打开| 下载CSV


3 结论

本文提出了一种新的具有空间语义注意力的由粗到细的二段式遥感图像修复模型。为了解决图像修复结果中存在纹理模糊和结构扭曲的问题,本文考虑到网络不同阶段的特征表达,针对性设计了关注浅层局部特征连续性和侧重深层全局语义相关性的空间注意力机制。在遥感图像、航空图像和自然图像这3类数据集的实验结果中,本文算法在SSIM和PNSR这2个指标均有所提升,进一步验证了本文算法的有效性。

参考文献

张兵.

当代遥感科技发展的现状与未来展望

[J]. 中国科学院院刊, 2017, 32(7):774-784.

[本文引用: 1]

Zhang B.

Current status and future prospects of remote sensing

[J]. Bulletin of Chinese Academy of Sciences, 2017, 32(7):774-784.

[本文引用: 1]

沈远航. CCD拼接相机技术研究[D]. 成都: 中国科学院大学(中国科学院光电技术研究所), 2020.

[本文引用: 1]

Shen Y H. Research on technology of CCD mosaic camera[D]. Chengdu: Institute of Optics and Electronics,Chinese Academy of Sciences, 2020.

[本文引用: 1]

陈仁喜, 李鑫慧.

GIS辅助数据下的影像缺失信息恢复

[J]. 武汉大学学报(信息科学版), 2008, 33(5):461-464.

[本文引用: 1]

Chen R X, Li X H.

Restoring lost information on remote sensing images based on accessorial GIS data

[J]. Geomatics and Information Science of Wuhan University, 2008, 33(5):461-464.

[本文引用: 1]

张强. 基于时—空—谱深度特征学习的遥感影像缺失信息重建方法研究[D]. 武汉: 武汉大学, 2019.

[本文引用: 1]

Zhang Q. Research on missing information reconstruction of remote sensing imagery employing temporal-spatial-spectral deep feature learning[D]. Wuhan: Wuhan University, 2019.

[本文引用: 1]

Dong F, Chen Z, Wang J.

A new level set method for inhomogeneous image segmentation

[J]. Image and Vision Computing, 2013, 31(10):809-822.

DOI:10.1016/j.imavis.2013.08.003      URL     [本文引用: 1]

Zhang Y, Fan Y, Xu M.

A background-purification-based framework for anomaly target detection in hyperspectral imagery

[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(7):1238-1242.

DOI:10.1109/LGRS.8859      URL     [本文引用: 1]

Wang L, Wang Y, Zhao Y, et al.

Classification of remotely sensed images using an ensemble of improved convolutional network

[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(5):930-934.

DOI:10.1109/LGRS.2020.2988934      URL     [本文引用: 1]

李梅菊, 祁清.

数字图像修复技术综述

[J]. 信息通信, 2016, 29(2):130-131.

[本文引用: 1]

Li M J, Qi Q.

Overview of digital image restoration technology

[J]. Information & Communications, 2016, 29(2):130-131.

[本文引用: 1]

赵露露, 沈玲, 洪日昌.

图像修复研究进展综述

[J]. 计算机科学, 2021, 48(3):14-26.

DOI:10.11896/jsjkx.210100048      [本文引用: 1]

图像修复是计算机视觉领域中极具挑战性的研究课题。近年来,深度学习技术的发展推动了图像修复性能的显著提升,使得图像修复这一传统课题再次引起了学者们的广泛关注。文章致力于综述图像修复研究的关键技术。由于深度学习技术在解决“大面积缺失图像修复”问题时具有重要作用并带来了深远影响,文中在简要介绍传统图像修复方法的基础上,重点介绍了基于深度学习的修复模型,主要包括模型分类、优缺点对比、适用范围和在常用数据集上的性能对比等,最后对图像修复潜在的研究方向和发展动态进行了分析和展望。

Zhao L L, Shen L, Hong R C.

Survey on image inpainting research progress

[J]. Computer Science, 2021, 48(3):14-26.

[本文引用: 1]

王海涌, 李海洋, 高雪娇.

基于结构嵌入的图像修复方法研究

[J]. 计算机工程与应用, 2021, 57(22):241-246.

DOI:10.3778/j.issn.1002-8331.2007-0279      [本文引用: 1]

针对当前图像修复领域存在结构丢失、纹理模糊、不能够充分利用背景信息生成内容风格一致的填充区域的问题，在编码解码网络基础上，提出带有多尺度结构信息与注意力机制的共享修复模型。在生成阶段，嵌入多尺度结构信息为图像修复提供前提条件。同时使用多尺度注意力机制，从背景信息中获取相关信息，并经过细化，生成与图像相关的内容和结构；使用PatchGAN和固定权重VGG-16分类器作为鉴别器，并将风格损失和感知损失引入到对抗网络中，以实现所生成图像的风格一致性。在Places2数据集上与当前主流的图像修复算法进行对比，实验结果表明该算法与其他算法相比能较好地恢复图像结构的细节信息，生成更清晰、精细的修复结果。

Wang H Y, Li H Y, Gao X J.

Research on image restoration method based on structure embedding

[J]. Computer Engineering and Applications, 2021, 57(22):241-246.

DOI:10.3778/j.issn.1002-8331.2007-0279      [本文引用: 1]

<p>In view of the current problem in the field of image repair, there is a problem of lost structure and blurred texture, and it is not possible to make full use of background information to generate a filled area with a consistent content style. Based on the encoder-decoder network, this paper proposes a shared repair model with multi-scale structure information and attention mechanism. In the generation stage, multi-scale structure information is embedded to provide prerequisites for image restoration. At the same time, the multi-scale attention mechanism is used to obtain relevant information on the background information, and refine the content and structure related to the image. This model uses PatchGAN and fixed-weight VGG-16 classifier as the discriminator, and uses style loss and perception loss to the adversarial network in order to achieve the style consistency of the generated images. Compared with the current&nbsp; mainstream image repair algorithms on the Places2 dataset, the results show that proposed the algorithm can restore the detailed information about the image structure better than other algorithms, and generate clearer and more detailed repair results.</p>

周先春, 徐燕.

基于结构相关性的自适应图像修复

[J]. 计算机科学, 2020, 47(4):131-135.

DOI:10.11896/jsjkx.190300149      [本文引用: 1]

针对传统的Criminisi修复算法中优先函数计算的不足,以及修复后图像质量下降的问题,文中提出了一种基于结构相关性的自适应图像修复算法。首先,引入结构相关性,对优先权计算进行改进,增加优先权计算的可靠性;然后,自适应选择样本块大小,使修复更加准确并提高修复效率;最后,引入HSV颜色空间,根据样本的色度、亮度来搜寻最佳匹配块,减少修复误差,完成图像恢复。实验结果表明,所提算法在主观视觉上有明显提升,并且在峰值信噪比(PSNR)和结构相似度(SSIM)方面均有一定提高,修复效果明显,与传统的Criminisi修复算法相比,其峰值信噪比提高了1～3dB,结构相似度更接近1。所提算法利用结构相关性和自适应选择样本块大小对彩色破损图像进行修复,优先权计算更加合理准确,修复效率有所提高,修复效果可视性更佳,有利于实际应用。

Zhou X C, Xu Y.

Adaptive image inpainting based on structural correlation

[J]. Computer Science, 2020, 47(4):131-135.

[本文引用: 1]

Shen J, Chan T F.

Mathematical models for local nontexture inpaintings

[J]. SIAM Journal on Applied Mathematics, 2002, 62(3):1019-1043.

DOI:10.1137/S0036139900368844      URL     [本文引用: 1]

张桂梅, 李艳兵.

结合纹理结构的分数阶TV模型的图像修复

[J]. 中国图象图形学报, 2019, 24(5):700-713.

[本文引用: 1]

Zhang G M, Li Y B.

Image inpainting of fractional TV model combined with texture structure

[J]. Journal of Image and Graphics, 2019, 24(5):700-713.

[本文引用: 1]

Criminisi A, Pérez P, Toyama K.

Region filling and object removal by exemplar-based image inpainting

[J]. IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society, 2004, 13(9):1200-1212.

DOI:10.1109/TIP.2004.833105      URL     [本文引用: 1]

Barnes C, Shechtman E, Finkelstein A, et al.

PatchMatch:A randomized correspondence algorithm for structural image editing

[J]. ACM Transactions on Graphics, 2009, 28(3):24-34.

[本文引用: 1]

Pathak D, Krhenbühl P, Donahue J, et al.

Context encoders:Feature learning by inpainting

[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,USA.IEEE, 2016:2536-2544.

[本文引用: 1]

徐慧铭, 程海, 姜焕德, 等.

基于深度学习的图像修复方法研究

[J]. 黑龙江大学自然科学学报, 2022, 39(1):114-120.

[本文引用: 1]

Xu H M, Cheng H, Jiang H D, et al.

Research on image restoration methods based on deep leaming

[J]. Journal of Natural Science of Heilongjiang University, 2022, 39(1):114-120.

[本文引用: 1]

Zhang H, Goodfellow I, Metaxas D, et al.

Self-attention generative adversarial networks

[EB/OL]. 2018:arXiv:1805.08318. https://arxiv.org/abs/1805.08318.pdf.

URL     [本文引用: 1]

Wang N, Li J, Zhang L, et al.

MUSICAL:Multi-scale image contextual attention learning for inpainting

[C]// Proceedings of the 28th International Joint Conference on Artificial Intelligence.2019,Macao,China.ACM, 2019:3748-3754.

[本文引用: 1]

Zeng Y, Fu J, Chao H, et al.

Aggregated contextual transformations for high-resolution image inpainting

[J]. IEEE Transactions on Visualization and Computer Graphics, 2023, 29(7):3266-3280.

DOI:10.1109/TVCG.2022.3156949      URL     [本文引用: 2]

刘强, 张道畅.

结合SENet的密集卷积生成对抗网络图像修复方法

[J]. 小型微型计算机系统, 2022, 43(5):1056-1060.

[本文引用: 1]

Liu Q, Zhang D C.

Dense convolution generative adversarial network image inpainting method with SENet

[J]. Journal of Chinese Computer Systems, 2022, 43(5):1056-1060.

[本文引用: 1]

In this paper，a dense convolution generative adversarial network image inpainting method with SENet is proposed to solve the problem of missing images with small data sets or relatively complex image structures.Firstly，using the idea of generative adversarial network，the generator uses dense convolutional blocks to capture the semantic information of the missing part of the image for reuse.Secondly，the transition layer between dense convolutional blocks is cancelled.SE module of attentional mechanism from SENet is introduced to obtain the importance of features and enhance the guiding ability of feature information.Thirdly，skip connection is introduced between encoder and decoder to reduce the information loss caused by downsampling.Finally，adversarial loss，MSE loss and TV loss are introduced to enhance the stability of network.The proposed model was tested on CelebA dataset.The results show that the proposed algorithm has good performance in image semantics，peak signal-to-noise ratio（PSNR）and structural similarity index（SSIM）.

唐骞.

基于对抗学习的图像修复

[J]. 计算机产品与流通, 2019(1):210.

[本文引用: 1]

Tang Q.

Image restoration based on antagonistic learning

[J]. Computer Products and Circulation, 2019(1):210.

[本文引用: 1]

孙劲光, 杨忠伟, 黄胜.

全局与局部属性一致的图像修复模型

[J]. 中国图象图形学报, 2020, 25(12):2505-2516.

[本文引用: 1]

Sun J G, Yang Z W, Huang S.

Image inpainting model with consistent global and local attributes

[J]. Journal of Image and Graphics, 2020, 25(12):2505-2516.

[本文引用: 1]

林竹, 王敏.

基于新编码器和相似度约束的图像修复

[J]. 计算机系统应用, 2021, 30(1):122-128.

[本文引用: 1]

Lin Z, Wang M.

Image inpainting based on new encoder and similarity constraint

[J]. Computer Systems & Applications, 2021, 30(1):122-128.

[本文引用: 1]

Yu J, Lin Z, Yang J, et al.

Generative image inpainting with contextual attention

[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City,UT,USA.IEEE, 2018:5505-5514.

[本文引用: 1]

Nazeri K, Ng E, Joseph T, et al.

EdgeConnect:Generative image inpainting with adversarial edge learning

[EB/OL]. 2019:arXiv:1901.00212. https://arxiv.org/abs/1901.00212.pdf.

URL     [本文引用: 1]

Liu H, Jiang B, Xiao Y, et al.

Coherent semantic attention for image inpainting

[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV).IEEE, 2019:4169-4178.

[本文引用: 3]

Wu H, Zhou J, Li Y.

Deep generative model for image inpainting with local binary pattern learning and spatial attention

[C]// IEEE Transactions on Multimedia.IEEE, 2021:4016-4027.

[本文引用: 2]

Ronneberger O, Fischer P, Brox T.

U-net:Convolutional networks for biomedical image segmentation

[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham:Springer, 2015:234-241.

[本文引用: 1]

Isola P, Zhu J Y, Zhou T, et al.

Image-to-image translation with conditional adversarial networks

[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).IEEE, 2017:5967-5976.

[本文引用: 1]

Maggiori E, Tarabalka Y, Charpiat G, et al.

Can semantic labeling methods generalize to any city? the inria aerial image labeling benchmark

[C]// 2017 IEEE International Geoscience and Remote Sensing Symposium (IGARSS).IEEE, 2017:3226-3229.

[本文引用: 1]

Zhou B, Lapedriza A, Khosla A, et al.

Places:A 10 million image database for scene recognition

[C]// IEEE Transactions on Pattern Analysis and Machine Intelligence.IEEE, 2018:1452-1464.

[本文引用: 1]

/

〈 〉

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编：100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发