Please wait a minute...
 
国土资源遥感  2020, Vol. 32 Issue (1): 27-34    DOI: 10.6046/gtzyyg.2020.01.05
     技术方法 本期目录 | 过刊浏览 | 高级检索 |
条件生成对抗网络在遥感图像复原中的可行性
卜丽静, 李秀伟(), 张正鹏, 姜昊男
辽宁工程技术大学测绘与地理科学学院,阜新 123000
Feasibility of conditional generation adversarial network in remote sensing image restoration
Lijing BU, Xiuwei LI(), Zhengpeng ZHANG, Haonan JIANG
School of Surveying and Mapping and Geographical Sciences, Liaoning University of Engineering and Technology, Fuxin 123000, China
全文: PDF(3984 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

对于遥感图像中降质模糊的问题,经典的图像复原方法由于模糊函数难以估计等原因,复原效果较差。为了避免估计模糊函数带来的困难,通过深度学习的方法对图像进行去模糊,研究了基于条件生成对抗网络(conditional generative adversarial nets,CGAN)的图像复原方法。首先创建训练网络的训练库,然后设置网络训练的初始参数,该网络以对抗的方式来使生成模型和判别模型进行交替学习,通过不断学习降质图像和清晰图像之间的差异,并结合了对抗损失和感知损失来缩小两者之间的差异,实现图像复原。实验采用以GOPRO数据集为基础的混合模糊训练库来训练网络,并与其他方法进行了对比试验,结果表明,在图像细节和评价指标方面,CGAN具有较好的复原效果,保证了复原图像的细节信息和纹理信息,证明了该方法可以用于遥感图像的复原。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
卜丽静
李秀伟
张正鹏
姜昊男
关键词 降质模糊图像复原条件生成对抗网络深度学习    
Abstract

For the problem of degrading and blurring in remote sensing images, the classical image restoration methods have poor restoration effect due to the difficulty of estimating the blur function. In order to avoid the difficulty of estimating the blur function, the authors have studied the image restoration method based on Conditional Generative Adversarial Nets (CGAN) through depth learning. Firstly, the training database of the training network is created, and then the initial parameters of the training network are set. The network alternately learns the generator model and the discriminator model in the adversarial way. By learning the difference between the degraded image and the clear image continuously and combining the adversarial loss with the perceptual loss, the difference between them can be reduced and the image restoration can be realized. A Hybrid blur training library based on GOPRO data set is used to train the network, and is compared with other methods. The results show that this means has better restoration effect in image details and evaluation indexes. The details and texture information of the restored image are guaranteed, and the method of conditional generation antagonism network is proved to be applicable to the restoration of remote sensing image.

Key wordsdegraded blur    image restoration    conditional generative adversarial nets    deep learning
收稿日期: 2019-02-01      出版日期: 2020-03-14
:  TP79  
基金资助:国家自然科学基金项目“凝视卫星视频运动场景超分重建”(编号: 41501504)
通讯作者: 李秀伟
作者简介: 卜丽静(1980-),女,副教授,博士,主要从事光学、雷达图像的复原与重建方面的研究。Email: lijingbu@126.com。
引用本文:   
卜丽静, 李秀伟, 张正鹏, 姜昊男. 条件生成对抗网络在遥感图像复原中的可行性[J]. 国土资源遥感, 2020, 32(1): 27-34.
Lijing BU, Xiuwei LI, Zhengpeng ZHANG, Haonan JIANG. Feasibility of conditional generation adversarial network in remote sensing image restoration. Remote Sensing for Land & Resources, 2020, 32(1): 27-34.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2020.01.05      或      https://www.gtzyyg.com/CN/Y2020/V32/I1/27
网络结构 卷积核个数
7×7 卷积层 64
3×3卷积层, 步长为2 128
3×3卷积层, 步长为2 256
残差块 256
残差块 256
转置卷积层, 步长为2 128
转置卷积层, 步长为2 128
7×7卷积层 64
tanh函数
Tab.1  生成模型结构
Fig.1  残差块结构
网络结构 卷积核个数
4×4卷积层,步长为2 64
4×4卷积层,步长为2 128
4×4卷积层,步长为2 256
4×4卷积层,步长为1 512
4×4卷积层,步长为1 1
Tab.2  判别网络的结构
Fig.2  去降质模糊的CGAN训练过程
实验类型 原始图像 降质图像 本文方法复原图像 盲反卷积算法复原图像 SRN算法复原图像
第1组
第2组
第3组
第4组
第5组
Tab.3  仿真实验
图像 PSNR/dB SSIM
第1组 22.31 0.68
第2组 34.30 0.86
第3组 12.90 0.19
第4组 26.17 0.66
第5组 21.43 0.43
Tab.4  仿真实验降质图像峰值信噪比和结构相似性度量
实验
类型
本文方法 盲反卷积算法 SRN算法
PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM
第1组 26.62 0.68 26.57 0.35 19.10 0.51
第2组 35.52 0.85 33.32 0.71 35.29 0.50
第3组 28.85 0.18 27.79 0.19 12.35 0.20
第4组 26.02 0.74 20.35 0.37 25.31 0.70
第5组 20.12 0.44 19.97 0.40 20.10 0.46
Tab.5  复原图像峰值信噪比和结构相似性度量
实验类型 降质图像 本文方法复原图像 盲卷积算法复原图像 SRN算法复原图像
第6组
第7组
第8组
Tab.6  真实实验结果
实验
类型
本文方法 盲反卷积算法 SRN算法
PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM
第6组 35.41 0.95 28.83 0.37 32.14 0.51
第7组 36.07 0.95 27.98 0.23 33.15 0.98
第8组 39.79 0.96 29.79 0.41 36.32 0.97
Tab.7  真实实验结果评价
实验类型 原始图像 运动模糊图像 本文方法复原图像
第9组
第10组
第11组
Tab.8  遥感训练库仿真实验结果
图像 PSNR/dB SSIM
第9组 25.14 0.74
第10组 29.09 0.71
第11组 13.35 0.24
Tab.9  遥感训练库仿真实验结果评价
[1] Richardson W H . Bayesian-based iterative method of image restoration[J]. Journal of the Optical Society of America, 1972,62(1):55-59.
[2] Gonzalez R C, Wintz P . Digital image processing[J]. Prentice Hall International, 2001,28(4):484-486.
[3] Besag J . On the statistical analysis of dirty pictures[J]. Journal of the Royal Statistical Society(Methodological), 1986,3(8):259-302.
[4] Harikumar G, Bresler Y . Perfect blind restoration of images blurred by multiple filters:Theory and efficient algorithms[J]. IEEE Transactions on Image Processing, 1999,8(2):202-219.
[5] Sroubek F, Flusser J . Multichannel blind deconvolution of spatially misaligned images[J]. IEEE Transactions on Image Processing, 2005,14(7):874-883.
[6] 鄢建成 . 基于混合正则化方法的图像复原问题研究[D]. 南昌:南昌航空大学, 2014.
Yan J C . Research on Image Restoration Problem Based on Hybrid Regularization Method[D]. Nanchang:Nanchang Hangkong University, 2014.
[7] Rudin L I, Osher S, Fatemi E . Nonlinear total variation based noise removal algorithms[C]// 11th International Conference of the Center for Nonlinear Studies on Experimental Mathematics. 1992: 259-268.
[8] Chan T F, Hatzinakos D . A novel blind deconvolution scheme for image restoration using recuisive filtering[J]. IEEE Transaction on Signal Processing, 1998,46(2):375-390.
[9] Gong D, Yang J, Liu L , et al. From motion blur to motion flow:A deep learning solution for removing heterogeneous motion blur[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2017: 3806-3815.
[10] Sun J, Cao W, Xu Z , et al. Learning a convolutional neural network for non-uniform motion blur removal[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015.
[11] Tao X, Gao H, Wang Y , et al. Scale-recurrent network for deep image deblurring[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2018.
[12] Kupyn O, Budzan V, Mykhailych M , et al. DeblurGAN:Blind motion deblurring using conditional adversarial networks[C]// IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2017.
[13] Goodfellow I . Generative adversarial networks[C]// NIPS Conference and Workshop on Neural Information Processing Systems. 2016.
[14] Isola P, Zhu J Y, Zhou T , et al. Image-to-image translation with conditional adversarial networks[EB/OL]. (2016-11-21). https://arxiv.org/abs/1611.07004.
[15] Johnson J, Alahi A, Li F F . Perceptual losses for real-time style transfer and super-resolution[C]// ECCV In European Conference on Computer Vision, 2016.
[16] Ledig C, Theis L, Huszar F , et al. Photo-realistic single image super-resolution using a generative adversarial network[C]// IEEE Conference on Computer Vision and Pattern Recognition,IEEE, 2016.
[17] Nah S, Kim T H, Lee K M . Deep multi-scale convolutional neural network for dynamic scene deblurring[C]// Conference on Computer Vision and Pattern Recognition.IEEE, 2016.
[18] Deng J, Dong W, Socher R , et al. ImageNet:A large-scale hierarchical image database[C]// IEEE Conference on Computer Vision & Pattern Recognition.IEEE, 2009.
[19] Gulrajani I, Ahmed F, Arjovsky M , et al. Improved training of wasserstein GANs[J]. Machine Learning, 2017.
[1] 薛白, 王懿哲, 刘书含, 岳明宇, 王艺颖, 赵世湖. 基于孪生注意力网络的高分辨率遥感影像变化检测[J]. 自然资源遥感, 2022, 34(1): 61-66.
[2] 郭晓征, 姚云军, 贾坤, 张晓通, 赵祥. 基于U-Net深度学习方法火星沙丘提取研究[J]. 自然资源遥感, 2021, 33(4): 130-135.
[3] 冯东东, 张志华, 石浩月. 基于多元数据的省会城市城中村精细提取[J]. 自然资源遥感, 2021, 33(3): 272-278.
[4] 武宇, 张俊, 李屹旭, 黄康钰. 基于改进U-Net的建筑物集群识别研究[J]. 国土资源遥感, 2021, 33(2): 48-54.
[5] 卢麒, 秦军, 姚雪东, 吴艳兰, 朱皓辰. 基于多层次感知网络的GF-2遥感影像建筑物提取[J]. 国土资源遥感, 2021, 33(2): 75-84.
[6] 安健健, 孟庆岩, 胡蝶, 胡新礼, 杨健, 杨天梁. 基于Faster R-CNN的火电厂冷却塔检测及工作状态判定[J]. 国土资源遥感, 2021, 33(2): 93-99.
[7] 蔡祥, 李琦, 罗言, 齐建东. 面向对象结合深度学习方法的矿区地物提取[J]. 国土资源遥感, 2021, 33(1): 63-71.
[8] 裴婵, 廖铁军. 面向遥感目标检测的多尺度架构搜索方法[J]. 国土资源遥感, 2020, 32(4): 53-60.
[9] 刘钊, 廖斐凡, 赵桐. 基于PSPNet的遥感影像城市建成区提取及其优化方法[J]. 国土资源遥感, 2020, 32(4): 84-89.
[10] 郑智腾, 范海生, 王洁, 吴艳兰, 王彪, 黄腾杰. 改进型双支网络模型的遥感海水网箱养殖区智能提取方法[J]. 国土资源遥感, 2020, 32(4): 120-129.
[11] 杜方洲, 石玉立, 盛夏. 基于深度学习的TRMM降水产品降尺度研究——以中国东北地区为例[J]. 国土资源遥感, 2020, 32(4): 145-153.
[12] 蔡之灵, 翁谦, 叶少珍, 简彩仁. 基于Inception-V3模型的高分遥感影像场景分类[J]. 国土资源遥感, 2020, 32(3): 80-89.
[13] 刘文雅, 岳安志, 季珏, 师卫华, 邓孺孺, 梁业恒, 熊龙海. 基于DeepLabv3+语义分割模型的GF-2影像城市绿地提取[J]. 国土资源遥感, 2020, 32(2): 120-129.
[14] 于博, 张军军, 李春庚, 安居白. 图像语义分割辅助的车载激光点云道路提取方法[J]. 国土资源遥感, 2020, 32(1): 66-74.
[15] 吴海平, 黄世存. 基于深度学习的新增建设用地信息提取试验研究——全国土地利用遥感监测工程创新探索[J]. 国土资源遥感, 2019, 31(4): 159-166.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发