Please wait a minute...
 
自然资源遥感  2025, Vol. 37 Issue (4): 31-39    DOI: 10.6046/zrzyyg.2024154
  技术方法 本期目录 | 过刊浏览 | 高级检索 |
双重注意力下的多尺度残差遥感图像去雾网络
李愿1(), 付辉2, 刘浩志1
1.南充职业技术学院,南充 637000
2.兰州理工大学电气工程与信息工程学院,兰州 730050
Multi-scale residual dehazing network for remote sensing images based on dual attention
LI Yuan1(), FU Hui2, LIU Haozhi1
1. Nanchong Vocational and Technical College, Nanchong 637000, China
2. College of Electrical and Information Engineering, Lanzhou University of Technology, Lanzhou 730050, China
全文: PDF(4952 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 由于雾霾会影响所捕获遥感图像的质量,同时限制后端视觉应用的性能,因而文章提出一种双重注意力多尺度残差去雾网络。首先,重建大气散射模型,可结合大气光值与透射率求取大气光幂; 然后,利用端到端的深度学习模型完成遥感图像去雾,该网络包含浅层特征提取模块、深层数据提取模块、双映射网络和平行卷积重建模块; 最后,将该文方法与CARL-net,DFAD-net,SRBFP-net和AMGP-net这4种方法进行主客观对比实验。结果表明: 双重注意力多尺度残差去雾网络能获得与原始无雾场景较为接近的视觉状态,并具备较优的对比度、鲜亮的色度与相应的饱和度,透射图细节清晰,保持前景部分边缘的同时可实现对图像噪声较好的处理; 相对于CARL-net,DFAD-net,SRBFP-net和AMGP-net,该方法的峰值信噪比和结构相似度指标较优,算法处理效率较快,同时随着遥感雾图分辨率增加,算法处理时间变化较稳定。
服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
李愿
付辉
刘浩志
关键词 注意力残差大气光幂端到端双映射    
Abstract

Hazes reduce the quality of remote sensing images while limiting the performance of back-end visual applications. Hence, this study proposed a multi-scale residual dehazing network based on dual attention. First, an atmospheric scattering model was constructed to combine the atmospheric light value and transmissivity to derive the atmospheric power of light. Second, an end-to-end deep learning model was used to clarify remote sensing images with hazes. The dehazing network consists of a shallow feature extraction module, a deep data extraction module, a dual mapping network, and a parallel convolution reconstruction module. Finally, the proposed dehazing network was compared with CARL-net, DFAD-net, SRBFP-net, and AMGP-net through subjective and objective comparison experiments. The results indicate that the proposed dehazing network obtained a visual state close to the original haze-free scene, exhibiting high contrast, bright chroma, corresponding saturation, and clear transmission map details. Moreover, it effectively removed image noise while maintaining the edge of the foreground part. Compared to the above four networks, the proposed dehazing network achieved superior peak signal-to-noise ratio (PSNR) and structure similarity index measure (SSIM), higher algorithm processing efficiency, and stable algorithm processing time with the increase of image resolution.

Key wordsattention    residual    atmospheric power of light    end-to-end    dual mapping
收稿日期: 2024-04-24      出版日期: 2025-09-03
ZTFLH:  TP407  
基金资助:国家自然科学基金项目“基于特征拓扑结构优化和特征融合的大视距位姿测量新方法及关键技术研究”(62361039);甘肃省工业过程先进控制重点实验室开放基金项目“大视距条件下的目标位姿测量关键技术研究”(2022KX02);南充市科技计划项目“基于‘AI+机器视觉’的汽车零部件装配生产线智能化改造的研究”(23YYJCYJ0032);南充职业技术学院院级重点项目“视觉感知的低照度视频图像自适应增强研究”(ZRA2301)
作者简介: 李 愿(1986-),男,硕士,讲师,主要从事图像处理与模式识别研究。Email: liyuan2010_1986@163.com
引用本文:   
李愿, 付辉, 刘浩志. 双重注意力下的多尺度残差遥感图像去雾网络[J]. 自然资源遥感, 2025, 37(4): 31-39.
LI Yuan, FU Hui, LIU Haozhi. Multi-scale residual dehazing network for remote sensing images based on dual attention. Remote Sensing for Natural Resources, 2025, 37(4): 31-39.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/zrzyyg.2024154      或      https://www.gtzyyg.com/CN/Y2025/V37/I4/31
Fig.1  大气散射物理学模型
Fig.2  双重注意力多尺度残差去雾网络
Fig.3  多尺度残差注意力模型
Fig.4  CBAM结构
Fig.5  双映射网络模块
Fig.6  平行卷积重建模块
Tab.1  合成遥感雾图清晰化效果对比
Tab.2  真实遥感雾图清晰化效果对比
Tab.3  透射图对比
方法 指标 数据集
真实雾图集 合成雾图集
CARL-net PSNR 18.250 9 18.469 1
SSIM 0.815 6 0.802 2
DFAD-net PSNR 17.272 5 17.561 8
SSIM 0.779 5 0.765 8
SRBFP-net PSNR 15.984 2 16.115 3
SSIM 0.837 1 0.825 9
AMGP-net PSNR 18.951 8 19.101 4
SSIM 0.732 6 0.743 8
本文方法 PSNR 20.926 1 21.260 9
SSIM 0.912 8 0.908 9
Tab.4  不同方法的全参考客观评价指标对比
方法 指标 数据集
真实雾图集 合成雾图集
CARL-net PSNR 0.729 3 0.728 7
SSIM 0.730 3 0.676 9
SEP 1.459 6 1.405 6
DFAD-net PSNR 0.630 3 0.640 6
SSIM 0.630 1 0.566 6
SEP 1.620 4 1.207 2
SRBFP-net PSNR 0.500 0 0.500 0
SSIM 0.790 0 0.748 6
SEP 1.290 0 1.248 6
AMGP-net PSNR 0.800 2 0.790 2
SSIM 0.500 0 0.500 0
SEP 1.300 2 1.290 2
本文方法 PSNR 1.000 0 1.000 0
SSIM 1.000 0 1.000 0
SEP 2.000 0 2.000 0
Tab.5  不同方法的全参考客观评价指标归一化对比
Fig.7  不同方法的全参考客观评价指标归一化直方图
Tab.6  合成与真实遥感雾图消融实验效果对比
指标 模型A 模型B 模型C 模型D 模型E
PSNR 15.113 2 15.891 4 20.138 2 18.472 5 21.260 9
SSIM 0.625 3 0.703 1 0.874 5 0.842 6 0.908 9
Tab.7  合成遥感雾图消融实验指标对比
指标 模型A 模型B 模型C 模型D 模型E
PSNR 15.412 8 15.892 7 20.102 1 18.215 3 20.926 1
SSIM 0.652 3 0.719 2 0.853 1 0.815 6 0.912 8
Tab.8  真实遥感雾图消融实验指标对比
类型 说明 种类 卷积
核数
卷积核
大小
参数量
输入层 输入
特征提
取模块
浅层特征
提取模块
Conv+ReLU 32 3×3 896
Conv+ReLU 32 3×3 896
Conv+ReLU 32 3×3 896
深层数据
提取模块
Conv 32 3×3 896
Conv 32 3×3 896
Conv 32 3×3 896
Conv+ReLU 64 3×3 55 360
Conv+ReLU 64 3×3 36 928
映射
网络
双映射网络 Conv
BN+ReLU
64
3×3
36 928

Conv
BN+ReLU
64
3×3
36 928
Conv
BN+ReLU
64
3×3
36 928
Conv
BN+ReLU
64
3×3
36 928
Conv
BN+ReLU
64
3×3
36 928
Conv
BN+ReLU
64
3×3
36 928
输出层 平行卷积
重建模块
Conv+ReLU 4 096 1×1 266 240
Conv+ReLU 128 3×3 4 718 720
Conv+ReLU 128 3×3 147 584
Conv+ReLU 128 3×3 147 584
Conv+ReLU 4 096 1×1 528 384
总计 6 127 744
Tab.9  本文方法的参数量
方法 分辨率
330×220 640×480 780×500 950×650
CARL-net 1 089.5 2 395.4 3 051.3 4 182.1
DFAD-net 627.3 1 804.8 2 409.5 3 091.4
SRBFP-net 451.2 1 161.3 1 485.9 2 465.3
AMGP-net 609.4 1 585.9 2 233.5 2 669.3
本文方法 618.2 1 636.1 2 293.6 2 538.4
Tab.10  不同方法的处理效率对比
[1] 单慧琳, 王硕洋, 童俊毅, 等. 增强小目标特征的多尺度光学遥感图像目标检测[J]. 光学学报, 2024, 44(6):382-394.
Shan H L, Wang S Y, Tong J Y, et al. Multi-scale optical remote sensing image target detection based on enhanced small target features[J]. Acta Optica Sinica, 2024, 44(6):382-394.
[2] 孙航, 方帅领, 但志平, 等. 层级特征交互与增强感受野双分支遥感图像去雾网络[J]. 遥感学报, 2023, 27(12):2831-2846.
Sun H, Fang S L, Dan Z P, et al. A two-branch remote sensing image dehazing network based on hierarchical feature interaction and enhanced receptive field[J]. National Remote Sensing Bulletin, 2023, 27(12):2831-2846.
[3] 王科平, 杨艺, 费树岷. 雾霾图像清晰化算法综述[J]. 智能系统学报, 2023, 18(2):217-230.
Wang K P, Yang Y, Fei S M. Review of hazy image sharpening methods[J]. CAAI Transactions on Intelligent Systems, 2023, 18(2):217-230.
[4] Feng X, Tan J Q, Ge X Y, et al. Blind image deblurring via weighted dark channel prior[J]. Circuits,Systems,and Signal Processing, 2023, 42(9):5478-5499.
[5] 连文杰, 叶少珍. 注意力机制下的多层次特征融合图像去雾算法[J]. 福州大学学报(自然科学版), 2024, 52(1):7-13.
Lian W J, Ye S Z. Image dehazing algorithm based on multi-level feature fusion and attention mechanism[J]. Journal of Fuzhou University (Natural Science Edition), 2024, 52(1):7-13.
[6] Frants V, Agaian S, Panetta K. QCNN-H:Single-image dehazing using quaternion neural networks[J]. IEEE Transactions on Cybernetics, 2023, 53(9):5448-5458.
[7] Yang Y Z, Hou C, Huang H X, et al. Cascaded deep residual learning network for single image dehazing[J]. Multimedia Systems, 2023, 29(4):2037-2048.
[8] Liu J L, Yu H, Zhang Z Z, et al. Deep multi-scale network for single image dehazing with self-guided maps[J]. Signal,Image and Video Processing, 2023, 17(6):2867-2875.
[9] Hao Y, Jiang W Z, Liu W F, et al. Dynamic feature attention network for remote sensing image dehazing[J]. Neural Processing Letters, 2023, 55(6):8081-8094.
[10] 唐剑, 车文刚, 高盛祥. 融入注意力机制的多尺度卷积图像去雾方法[J]. 计算机工程与科学, 2023, 45(8):1453-1462.
Tang J, Che W G, Gao S X. An image dehazing method based on multi-scale convolution with attention mechanism[J]. Computer Engineering and Science, 2023, 45(8):1453-1462.
[11] Chen Y, Lyu Z, Hou Y M. IPDNet:A dual convolutional network combined with image prior for single image dehazing[J]. Engineering Applications of Artificial Intelligence, 2023, 126:106782.
[12] 王科平, 肖梦临. 基于增强型金字塔及图像超分辨率去雾网络[J]. 兵器装备工程学报, 2023, 44(11):299-307.
Wang K P, Xiao M L. Based on image super-resolution and boost-ed feature pyramid dehazing network[J]. Journal of Ordnance Equipment Engineering, 2023, 44(11):299-307.
[13] 张浩文, 杨燕, 张金龙, 等. 基于注意力与多尺度分组并联网络的去雾算法[J]. 传感器与微系统, 2023, 42(10):151-155.
Zhang H W, Yang Y, Zhang J L, et al. Dehazing algorithm based on attention and multi-scale grouping parallel network[J]. Transducer and Microsystem Technologies, 2023, 42(10):151-155.
[14] 唐斌, 陈清容, 段春红. 基于大气散射模型的图像去雾及亮度增强算法[J]. 光电子·激光, 2024, 35(3):303-310.
Tang B, Chen Q R, Duan C H. Image dehazing and brightness enhancement algorithm based on atmospheric scattering model[J]. Journal of Optoelectronics·Laser, 2024, 35(3):303-310.
[15] 刘宇佳, 谢诗哲, 杜阳, 等. 结合空间语义注意力的二段式遥感图像修复网络[J]. 自然资源遥感, 2024, 36(1):58-66.doi:10.6046/gtzyyg.2022362.
Liu Y J, Xie S Z, Du Y, et al. A two-stage remote sensing image inpainting network combined with spatial semantic attention[J]. Remote Sensing for Natural Resources, 2024, 36(1):58-66.doi:10.6046/gtzyyg.2022362.
[16] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6):1397-1409.
[1] 郭伟, 李煜, 金海波. 高维上下文注意和双感受野增强的SAR船舶检测[J]. 自然资源遥感, 2025, 37(3): 104-112.
[2] 张荞, 曹志成, 沈洋, 汪宙峰, 王成武, 许嘉欣. 一种结合孪生倒残差与自注意力增强的遥感影像变化检测方法[J]. 自然资源遥感, 2025, 37(3): 85-94.
[3] 叶武剑, 谢林峰, 刘怡俊, 温晓卓, 李扬. 基于MobileNet的轻量化云检测模型[J]. 自然资源遥感, 2025, 37(3): 95-103.
[4] 刘晨晨, 葛小三, 武永斌, 余海坤, 张蓓蓓. 基于混合注意力机制和Deeplabv3+的遥感影像建筑物提取方法[J]. 自然资源遥感, 2025, 37(1): 31-37.
[5] 曲海成, 王莹, 刘腊梅, 郝明. 融合CNN与Transformer的遥感影像道路信息提取[J]. 自然资源遥感, 2025, 37(1): 38-45.
[6] 胡博洋, 孙建国, 张倩, 杨云睿. 用于植被变化归因的区域机器学习残差趋势法[J]. 自然资源遥感, 2025, 37(1): 46-53.
[7] 曲海成, 梁旭. 融合混合注意力机制与多尺度特征增强的高分影像建筑物提取[J]. 自然资源遥感, 2024, 36(4): 107-116.
[8] 魏潇, 张立峰, 何毅, 曹胜鹏, 孙强, 高秉海. 2000—2020年黄河流域不同植被类型时空变化特征及其影响因素[J]. 自然资源遥感, 2024, 36(4): 229-241.
[9] 郑宗生, 王政翰, 王振华, 卢鹏, 高萌, 霍志俊. 改进3D-Octave卷积的高光谱图像分类方法[J]. 自然资源遥感, 2024, 36(4): 82-91.
[10] 刘宇佳, 谢诗哲, 杜阳, 严瑾, 南燕云, 温中凯. 结合空间语义注意力的二段式遥感图像修复网络[J]. 自然资源遥感, 2024, 36(1): 58-66.
[11] 邓丁柱. 基于深度学习的多源卫星遥感影像云检测方法[J]. 自然资源遥感, 2023, 35(4): 9-16.
[12] 陈笛, 彭秋志, 黄培依, 刘雅璇. 采用注意力机制与改进YOLOv5的光伏用地检测[J]. 自然资源遥感, 2023, 35(4): 90-95.
[13] 牛祥华, 黄微, 黄睿, 蒋斯立. 基于注意力特征融合的高保真遥感图像薄云去除[J]. 自然资源遥感, 2023, 35(3): 116-123.
[14] 林佳惠, 刘广, 范景辉, 赵红丽, 白世彪, 潘宏宇. 联合改进U-Net模型和D-InSAR技术采矿沉陷提取方法[J]. 自然资源遥感, 2023, 35(3): 145-152.
[15] 郑宗生, 刘海霞, 王振华, 卢鹏, 沈绪坤, 唐鹏飞. 改进3D-CNN的高光谱图像地物分类方法[J]. 自然资源遥感, 2023, 35(2): 105-111.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发