基于暗通道先验的航拍图像去雾效果优化

doi:10.6046/gtzyyg.2020056

基于暗通道先验的航拍图像去雾效果优化

李力^,¹, 胡潇², 彭军¹

1.湖北省气象信息与技术保障中心,武汉 430074

2.国家知识产权局专利局,北京 100088

Fog removal effect optimization of aerial image based on dark channel prior

LI Li^,¹, HU Xiao², PENG Jun¹

1. Hubei Meteorological Information and Technical Support Center, Wuhan 430074, China

2. National Intellectual Property Administration, PRC Patent Bureau, Beijing 100088, China

责任编辑: 张仙

收稿日期: 2020-03-11 修回日期: 2020-05-26 网络出版日期: 2021-03-15

基金资助:

湖北省气象局科技发展基金科研(技术开发)项目“关键环境气象观测数据实时质量控制平台的研发与应用”资助. 2020Y07

Received: 2020-03-11 Revised: 2020-05-26 Online: 2021-03-15

作者简介 About authors

李力(1983-),男,硕士,高级工程师,主要从事综合气象观测与信息网络技术的应用研究。Email: 63477223@qq.com。

摘要

航拍图像数据量大、图幅多、云雾情况复杂,在观测了大量航拍去雾图像后,发现效果并不理想,对比度依旧不高。通过研究暗通道先验去雾算法,分析有雾图像退化过程,提出了基于暗通道先验的航拍图像去雾效果优化方法。当原始图像云雾不均时,采用增强大气透射率图层对比度的方法来改善去雾输出图像的质量; 此外,针对全部有雾输入图像,使用自动对比度或自动颜色增强的图像处理方法来提升去雾输出图像的亮度; 最后通过计算机编码实现优化算法进行实验,采用无参考的客观图像质量评价方法对优化前后的图像效果量化评价。分析结果表明,在保障运算时间的基础上,优化算法使输出的去雾图像效果更加清晰,符合无人机航拍图像数据质量控制的要求。

关键词： 暗通道先验 ; 航拍图像 ; 去雾 ; 效果优化 ; 增强处理

Abstract

After observing a large number of aerial images, it is found that the effect is not ideal and the contrast is still not high. In this paper, through the study of the dark channel prior defogging algorithm, the process of fog image degradation is analyzed, and an aerial image defogging effect optimization method based on the dark channel prior is proposed. When the original image is uneven, the method of enhancing the contrast of atmospheric transmittance layer is used to improve the quality of the output image. In addition, for all the input images with fog, an image processing method of automatic contrast or automatic color enhancement is used to enhance the brightness of the output image. The optimization algorithm uses the objective image quality evaluation method without reference to evaluating the image effect before and after optimization. The analytical results show that, on the basis of ensuring the operation time, the optimized algorithm makes the output defog image more clear and meets the requirements of UAV aerial image data quality control.

Keywords： dark channel prior ; aerial image ; fog removal ; effect optimization ; enhancement processing

PDF (3291KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

李力, 胡潇, 彭军. 基于暗通道先验的航拍图像去雾效果优化. 国土资源遥感[J], 2021, 33(1): 108-114 doi:10.6046/gtzyyg.2020056

LI Li, HU Xiao, PENG Jun. Fog removal effect optimization of aerial image based on dark channel prior. REMOTE SENSING FOR LAND & RESOURCES[J], 2021, 33(1): 108-114 doi:10.6046/gtzyyg.2020056

0 引言

随着无人机技术的不断发展,利用无人机遥感航拍采集高分辨率影像从而快速获取信息的方式已广泛应用于气象、农业、地质、水文及环境监测等方面。由于无人机的飞行高度主要为中低空,可见光和红外线在大气中传播容易受到雾霾天气的影响,使得获取到的遥感图像内容模糊质量下降。1988年Oakley等^[1,2]第一次提出了有雾图像的退化处理,由于课题极高的应用型和前瞻性,经多年研究已经对单幅图像的去雾算法有了突破性进展。Tan等^[3]通过统计分析得出无雾图像相对于有雾图像对比度更高的先验条件,从而通过最大化复原图像的局部对比度达到去雾目的。该算法改进了单幅图像的去雾处理,但仅最大化局部对比度,去雾图像容易过饱和而产生严重的光晕现象,并非真正去雾。普遍使用的暗通道先验(dark channel prior,DCP)算法虽然去雾效果显著,但复杂程度较高,尤其是引导滤波(guided filter,GF)和暗通道滤波过程^[4],针对无人机航拍图像数据量大、图幅多、图像中云雾情况复杂等要求,暗通道先验去雾算法在该领域的应用效果仍需进一步优化。

本文分析有雾图像的退化过程,改进无人机航拍图像暗通道先验算法的去雾效果。针对原始图像云雾厚薄不均的情况,考虑使用增强大气透射率图层对比度的方法改善输出图像的清晰度; 针对原始有雾图像暗通道先验去雾后降低了亮度的情况,考虑对算法中的无雾图像使用自动对比度或自动颜色两种增强处理方法来提高输出图像亮度。通过计算机编码实现优化算法进行实验,利用无参考的客观图像质量评价方法开展量化评价,用信息熵、图像梯度和图像方差作为图像质量的3个指标,评价算法的优化效果,以期在运算时间改变不大的前提下,提高无人机航拍图像的去雾质量。

1 暗通道先验图像去雾方法

1.1 光线透射率模型

光在传播中由于散射使得从光源发出的辐射只有部分能到达接收传感器,其他则被散射到传播介质中。假设距离较小时散射光强与距离是线性关系,当光源距离传感器无限接近时,光的衰减值可近似为: $βr$ ,其中 $β$ 为空气的散射系数; r为光源与传感器间的距离。大气密度均匀时,光线透射率的数学模型为:

(1)

t = e^{- \int_{0}^{D} β r d r}

式中: D为场景深度; t为光线透射率,用于量化传感器接收光强与光源表面光强间的比例关系,即没有被散射的辐射与光源辐射间的比例关系。

1.2 暗通道先验理论

基于统计大量清晰图像得到的暗通道先验理论是指大部分不含天空的优质图像的所有像素在R,G,B这3个通道中最少存在一个颜色通道灰度值相当低以至趋近于0^[5],也就是在一定的微小区域里最小辐射强度值极低。一幅图像J可定义为:

(2)

J^{dark} (x) = \min_{c \in {R, G, B}} (\min_{y \in Ω (x)} J^{c} (y))

式中: $J^{dark} 为$ 图像J的暗通道值 $; J^{c}$ 为图像J的c通道灰度值; $Ω (x)$ 为以像素x为中心的局部微小区域; y为区域内任一像素。

1.3 暗通道先验图像去雾处理

图像去雾的目标是将传感器接收到的有雾图像利用获得的有用信息通过去雾还原出清晰图像。暗通道先验图像去雾处理是根据暗通道原理获取先验知识,再利用有雾图像退化模型实现图像去雾效果。

1.3.1 图像退化模型

在计算机视觉图形学领域,有雾图像的退化模型为^[6]:

(3)

I (x) = J (x) t (x) + A (1 - t (x))

式中 $: I (x)$ 为传感器接收到的场景信号,即输入的有雾影像; 场景辐射 $J (x)$ 为信号处理后的清晰图像; A为环境光照强度; $t (x)$ 为大气透射率。 $J (x) t (x)$ 称为直接衰减项,用来量化场景辐射和传播中的信号损失。 $A (1 - t (x))$ 表示图像接收到的大气散射光强^[7],它是引起色彩偏移和云雾效果的直接原因。

1.3.2 估算环境光照强度

暗通道图像中灰度值越高的区域云雾越厚,在输入图像中位于这部分区域的像素灰度值越接近于环境光照强度。估算环境光照强度首先需要找到暗通道图像中灰度值最高并占图像总像素数量0.1%的像素点,记录它们对应的坐标索引,然后根据坐标索引在输入的有雾图像中找到对应像素点,计算有雾图像中对应像素点的灰度平均值作为环境光照强度A。

1.3.3 估算大气透射率

使用 $t' (x)$ 表示以像素x为中心的滤波窗口内的大气透射率,假设它局部不变,对式(3)最小值运算,分别计算R,G,B这3个颜色通道中的最小值,即

(4)

\min_{y \in Ω (x)} \frac{I^{c} (y)}{A^{c}} = t' (x) \min_{y \in Ω (x)} (\frac{J^{c} (y)}{A^{c}}) + (1 - t' (x))

。

将3个颜色通道的最小值进行运算,可得出以像素x为中心的滤波窗口内的灰度最小值,即

(5)

\min_{c} \min_{y \in Ω (x)} \frac{I^{c} (y)}{A^{c}} = t' (x) \min_{c} (\min_{y \in Ω (x)} (\frac{J^{c} (y)}{A^{c}})) + (1 - t' (x))

。

根据暗通道先验原理和式(2)可以得出:

(6)

J^{dark} (x) = \min_{c \in {r, g, b}} (\min_{y \in Ω (x)} J^{c} (y)) = 0

。

于是,由式(5)和式(6)计算出大气透射率为:

(7)

t' (x) = 1 - \min_{c} \min_{y \in Ω (x)} \frac{I^{c} (y)}{A^{c}}

。

1.3.4 去雾处理

暗通道先验条件可用来量化云雾厚度和全部像素的辐射还原量,然后恢复出清晰优质的图像。通过式(3)的有雾图像退化模型和环境光照强度A、大气透射率 $t (x)$ ,可进行单幅图像去雾处理,即

(8)

J (x) = \frac{A (1 - t (x)) - I (x)}{t (x)}

。

2 暗通道先验算法去雾效果优化

本文优化流程如图1所示。当输入图像云雾不均时,其大气透射率图层的灰度信息仅处于有限范围内,而整张图像的辐射还原量将被限制在一定区间里,不能分别准确还原云雾厚薄区域的辐射强度,从而影响图像去雾效果,考虑利用拉伸大气透射率图层对比度的方法来改善云雾厚薄不均时基于暗通道先验得出的无雾图像质量。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于暗通道先验的图像去雾处理效果优化流程

Fig.1 Flow chart of image defogging effect optimization based on dark channel prior

暗通道先验去雾算法降低了图像亮度,使输出端比输入端的图像亮度减小,所以对于输入的有雾图像,在处理程序中考虑对无雾图像使用自动对比度或自动颜色两种图像增强方法输出图像的亮度。

2.1 拉伸大气透射率图层的对比度

计算有雾图像的大气透射率时,由式(1)可知场景深度D越小,光线透射率t越大,图像场景深度和光线透射率互为反比^[8]。在有雾图像暗通道图层里,雾气区域的厚度与其像素辐射强度互为正比,由式(6)算出暗通道图像并做归一化处理^[9,10],再将所得图像G(x)取逆过程可得出大气透射率^[11],即

(9)

t (x) = 1 - G (x)

。

经反复实验在应用中加入参数 $θ$ (取值范围为0.9~1.2)来调节大气透射率效果最佳^[12],即

(10)

t (x) = 1 - θG (x)

。

暗通道图像中像素灰度值高的区域云雾厚,大气透射率低,辐射补偿量大^[13]。灰度图像是单色图像,从黑到白仅有256级灰度色阶。尽管大气透射率图层能有效量化雾气区域厚度及所需辐射补偿,可其像素灰度值大多处于150~255级区间内,也限制了图像的灰度值范围。当图像云雾不均时,薄雾区辐射还原量大造成“过处理”; 厚雾区辐射还原量小除雾不充分,两者均会影响图像的去雾效果。

大气透射率图层的对比度拉伸处理是通过增加灰度值在150~255级范围里暗通道图像的动态范围,将云雾较薄和较厚区域分开处理,降低薄雾区辐射还原量,增加厚雾区辐射还原量,提高对比度信息以实现图像增强。本文为兼顾优化后的运算效率选用线性拉伸方法来增强对比度^[14],如图2所示。设I和O分别为输入图像和输出图像的灰度级,则先设定参数以确定点(I₁,O₁)和(I₂,O₂)的位置,通过两点的位置来控制变换函数T(r)的形状,再对两点之间的部分线性拉伸。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 线性拉伸方法示意图

Fig.2 Schematic diagram of linear stretching method

2.2 无雾图像的增强处理

2.2.1 自动对比度增强处理

通过整体调整图像各颜色通道的取值范围进行自动对比度增强,使整幅图像里最亮与最暗的像素分别映射为白色与黑色,让灰度值高的部分更亮,灰度值低的部分更暗^[15]。使用自动对比度不会影响图像色偏,其增强处理流程为:

1)统计R,G,B每个颜色通道的灰度直方图^[16]。

2)设定参数HighCut和LowCut用于确定各通道的上下限值。

3)设置每个通道的图像参数,L与H分别表示图像的宽度与高度。

4)用3个通道上下限极值中的最大值当成新上限,最小值当成新下限,计算映射表。

5)根据映射表对各通道的图像逐一映射。

2.2.2 自动颜色增强处理

自动颜色增强是根据实际的灰度处理图像,前面3步和自动对比度增强处理相同,然后删除图中阴影和灰度值较高的部分,再将亮度最高的像素灰度值设置为255,亮度最低的像素灰度值设置为0,其余的像素按照特定分配方式进行映射。

3 图像质量客观评价方法

无人机航拍图像难以获取同一场景不同时期的两幅图像,不便选取参考图像评价去雾效果,所以本文主要使用以下无参考的客观图像质量评价指标对去雾前后图像进行客观评价。

3.1 图像信息熵

表征图像灰度分布的聚集特性,熵值越高图像表面包含的细节纹理信息越多,图像信息量越大。数字图像信息熵S的计算公式为:

(11)

S = - \overset{256}{\sum_{i = 1}} p (i) lo g_{2} [p (i)]

式中 $p (i)$ 为图像中灰度值为i的像素所占比例。

3.2 图像边缘强度

图像边缘强度用梯度值来描述,梯度值较大区域具有明显的边缘特征,平滑区域梯度值较小,灰度值为常数的区域梯度值为0^[17]。梯度是矢量,图像 $f (x, y)$ 在像素点 $(x, y)$ 处的梯度 $GRAD (x, y)$ 与梯度值 $grad (x, y)$ 分别定义为:

(12)

GRAD (x, y) = [\begin{array}{l} f_{x}^{'} \\ f_{y}^{'} \end{array}] = [\begin{array}{l} \frac{\partial f (x, y)}{\partial x} \\ \frac{\partial f (x, y)}{\partial y} \end{array}]

(13)

grad (x, y) = \sqrt[]{{f_{x}^{'}}^{2} + {f_{y}^{'}}^{2}}

。

对于离散的数字图像,一阶偏导数用一阶微分近似表示为:

(14)

f_{x}^{'} = f (x, y + 1) - f (x, y)

(15)

f_{y}^{'} = f (x + 1, y) - f (x, y)

。

Prewitt梯度算子由矩阵 $[\begin{array}{l} - 1 & 0 & 1 \\ - 1 & 0 & 1 \\ - 1 & 0 & 1 \end{array}]$ 和 $[\begin{array}{l} - 1 & - 1 & - 1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{array}]$ 组成^[18],用两组3×3矩阵分别与图像 $f (x, y)$ 卷积,公式分别为:

(16)

f_{x}^{'} = [\begin{array}{l} - 1 & 0 & 1 \\ - 1 & 0 & 1 \\ - 1 & 0 & 1 \end{array}] f_{x}

(17)

f_{y}^{'} = [\begin{array}{l} - 1 & - 1 & - 1 \\ 0 & 0 & 0 \\ 1 & 1 & 1 \end{array}] f_{y}

式中 $f_{x} 和 f_{y}$ 是将图像 $f (x, y)$ 中 $y$ 与 $x$ 分别作为常量时的一元函数 $f (x) 与 f (y)$ ,以获取图像垂直和水平方向的梯度值 $f_{x}^{'}$ 和 $f_{y}^{'}$ ,然后根据式(13)计算 $grad (x, y)$ 的平均值作为图像边缘强度。

3.3 图像方差

图像方差表示像素灰度值相对于均值的离散程度,对比度高的图像灰度方差大,反之亦然。有雾图像的灰度值较小,去雾处理后灰度值变大,所以用图像方差能有效判断去雾的效果和程度。图像方差v的计算公式为:

(18) $v=\frac{\sum_{x=1}^{L} \sum_{y=1}^{H}[f(x, y)-\overline{f(x, y)}]^{2}}{L H-1}$,

式中: L和H为图像的宽度和高度;$\overline{x,y}$为图像灰度的平均值。

4 优化算法实验结果与分析

4.1 搭建实验环境

针对输入图像云雾不均的情况,采用增强大气透射率图层对比度的方法来改善输出图像质量; 针对全部的有雾输入图像,采用自动对比度或自动颜色增强的处理方法来提升输出图像亮度,下面分别通过实验进行结果验证。实验所用的计算机配置为: Core^TM i7-5500U @2.4GHz处理器; 16GB RAM内存; Windows 10 64位操作系统。实验所用数据信息均为无人机在湖北省恩施土家族苗族自治州的航拍图像,图幅大小为5 180像素×3 456像素,JPEG图片格式,包含R,G,B 3个颜色通道。

4.2 分析实验结果

本文利用无参考的客观图像评价方法,将图像信息熵、边缘强度、方差作为3个评价指标,来比对、验证算法优化前后输出图像的质量改进情况。

4.2.1 增强大气透射率图层对比度实验

增强大气透射率图层对比度主要是针对图像中云雾分布不均匀,暗通道先验去雾方法除雾效果不理想的情况。实验选用云雾不均的图像,文件大小为6.77 MB,如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 无人机航拍的云雾不均匀图像

Fig.3 Cloud and fog inhomogeneous images taken by UAV

为提高计算速度,选用线性拉伸方式增强大气透射率图层对比度,对比度拉伸前后大气透射率图层和输出图像的对比如图4所示。由图可见,对比度拉伸显著改善了大气透射率图层的动态范围,将原来低对比度图层拉伸为高对比度使量化的辐射补偿更加精确,经过拉伸大气透射率图层对比度后还原出的去雾图像比未拉伸对比度的输出图像清晰度大幅提高。表1统计了实验的客观评价指标,通过比较图像和分析各组数据可知: 在云雾分布不均匀的图像中,通过拉伸大气透射率图层对比度能有效提升去雾效果,从而获得更加清晰的输出图像。由于算法增加了对比度拉伸过程,计算处理速度约多耗费230 ms,但在实际使用中影响不大。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 大气透射率图层对比度拉伸前后对比

Fig.4 Atmospheric transmittance layer contrast before and after stretching

表1 大气透射率图层对比度拉伸效果客观评价

Tab.1 Objective evaluation of atmospheric transmittance layer contrast stretching effect

图像	图像信息熵	图像边缘强度	图像方差	还原清晰图像时间/ms
有雾图像	7.266 03	22.247 8	8.799 87E+08	—
未拉伸对比度	8.271 58	33.251 0	9.810 11E+06	1 625
对比度拉伸后	8.956 21	37.411 0	9.956 21E+06	1 856

新窗口打开| 下载CSV

4.2.2 无雾图像增强处理实验

直接使用暗通道先验方法去雾后的输出图像比原始图像较暗,若将得到的无雾图像再进行增强处理,则可进一步提升输出图像质量,实验选用文件大小为6.76 MB的有雾图像,如图5所示。将图5的有雾图像用暗通道先验算法去雾后,再对无雾图像分别进行自动对比度或自动颜色增强处理,取HighCut=LowCut=0.15。输出图像如图6所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 无人机航拍的有雾图像

Fig.5 Fog image taken by UAV

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 自动对比度增强前后的输出图像

Fig.6 Original output image without fog and output image after automatic contrast enhancement

图7为原始算法输出的无雾图像及自动颜色增强处理后的输出图像。由图6和图7可见: 暗通道先验去雾算法输出的无雾图像经过自动对比度或自动颜色增强处理后,显著提升了输出图像的对比度。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 自动颜色增强前后的输出图像

Fig.7 Original output image without fog and output image after automatic color enhancement

表2将有雾图像与3种去雾图像进行客观质量评价。通过比较各组图像和分析评价数据得出以下结论: ①使用暗通道先验方法直接去雾后的图像相比原始有雾图像偏暗; ②使用自动对比度或自动颜色增强处理可显著改善无雾图像质量,特别是增强了图像的边缘强度和对比度; ③算法增加了图像增强过程,但该步骤的运算耗时较短,影响可以忽略。由此可见,使用自动对比度或自动颜色增强方法可有效提高暗通道先验去雾算法的输出图像质量。

表2 图像增强处理效果的客观评价

Tab.2 Objective evaluation of image enhancement effect

图像	图像信息熵	图像边缘强度	图像方差	还原清晰图像时间/ms
有雾图像	7.039 79	24.772 9	8.799 31E+08	—
原始算法的去雾图像	7.821 02	36.120 2	8.908 63E+08	1 859
使用自动对比度增强的去雾图像	8.145 80	56.733 5	9.610 11E+08	2 003
使用自动颜色增强的去雾图像	8.254 51	54.236 9	9.603 25E+08	1 989

新窗口打开| 下载CSV

5 结论

本文基于暗通道先验提出了优化航拍图像去雾效果方法。

1)当原始输入图像存在云雾厚薄不均匀时,优化算法通过增强大气透射率图层的对比度显著提高了去雾后输出图像的清晰度。

2)面对原始有雾输入图像在暗通道先验算法去雾后图像亮度降低的情况,优化算法对无雾图像使用自动对比度或自动颜色两种增强处理方法提高输出图像亮度,有效改进了暗通道先验去雾后的图像质量,具有一定的普适性和实用性。

3)相对Oakley等^[1,2]提出的暗通道先验图像去雾算法,本实验使用无参考的客观图像质量评价方法对比算法优化前后的结果,证明在运算时间差别微小的前提下,优化算法能有效提升去雾后输出图像的效果,为无人机航拍图像去雾批量处理提供了快速、有效的解决方案。

4)实验需要兼顾优化后的算法复杂程度和运算速度,去雾后的图像依然有雾。优化算法的主要参数为人工设定,判断图像云雾均匀与否主要靠目视,没有根据参数指标自动化选择。进一步研究参数自适应方案,减少主观因素影响,提高算法准确性,使输出图像达到彻底去雾是后续研究的主要目标。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Oakley J

, Hong

Correction of simple contrast loss in color images

[J]. IEEE Transactions on Image Processing, 2007,16(2):511-522.

URL PMID:17269643 [本文引用: 2]

[2]

Oakley J

, Satherley B

Improving image quality in poor visibility conditions using a physical model for contrast degradation

[J]. IEEE Transactions on Image Processing, 1998,7(2):167-179.

URL PMID:18267391 [本文引用: 2]

[3]

Tan K

, Oakley J

Physics-based approach to color image enhancement in poor visibility conditions

[J]. Journal of the Optical Society of America A-Optics, 2001,18(10):2460-2467.