基于小波变换的多聚焦图像融合算法
孟强强, 杨桄, 童涛, 张俭峰
空军航空大学航空航天情报系,长春 130022
杨 桄(1975- ),男,博士后,副教授,主要从事遥感影像解译等方面的研究。Email:yg2599@sina.com

第一作者简介: 孟强强(1989- ),男,硕士研究生,主要研究方向是多源图像融合。Email:865422907@qq.com

摘要

针对多聚焦图像因聚焦点不同而产生的图像模糊问题,提出了一种基于小波变换的新融合方法。该方法首先对图像进行小波分解,然后对图像的高频和低频系数分别采用区域梯度和能量加权平均法进行融合,再使用小波逆变换得到融合后图像。对实验结果进行主、客观评价的结果表明,该方法得到的融合图像具有较好的主观视觉效果和客观量化指标,效果优于传统融合方法。

关键词: 多聚焦图像; 小波变换; 区域梯度
中图分类号:TP79 文献标志码:A 文章编号:1001-070X(2014)02-0038-05 doi: 10.6046/gtzyyg.2014.02.07
Fusion algorithm of multifocus images based on wavelet transform
MENG Qiangqiang, YANG Guang, TONG Tao, ZHANG Jianfeng
Department of Aerospace Intelligence, Aviation University of Air Force, Changchun 130022, China
Abstract

A new approach to the fusion of multifocus images based on wavelet transform is proposed to solve the problem that some parts of the images are blurred because of the different focus points. The images are firstly decomposed by using wavelet transform, and then the low and high frequency coefficients are fused by using different fusion strategies: the low frequency coefficient is fused with a rule weighted average of energy, while the high frequency coefficient is processed with the regional grads. After that the fused image is obtained by inverse wavelet transform. Experiments prove that the fused image obtained by the method has a better subjective visual effect and objective evaluation criteria, thus attaining a better result than other traditional fusion methods.

Keyword: multifocus images; wavelet transform; regional grads
0 引言

不同传感器所获得的图像是不同的, 即使是同一传感器, 在不同时间或者不同角度所获取的图像也不尽相同[1]。随着现代传感器及其相关技术的发展, 获取遥感数据的能力不断加强, 但是对信息的处理和利用程度还比较落后。图像融合技术是图像处理领域的一个研究热点[2]。通过融合获得的图像可以比原始图像具有更丰富的信息, 图像的不确定性也有所减少。多聚焦图像的融合, 就是对聚焦点不同的多幅图像中的清晰部分进行处理, 综合形成一幅新图像。新图像中的目标和背景更加清晰[3]。目前, 常用的融合方法主要是金字塔形分解和小波分解法, 前者分解结构中不同分辨率的细节信息彼此相关, 算法的稳定性较差; 后者得到的各子带数据细节信息相关性减小, 算法的稳定性较好, 且克服了前者的缺点[4], 因此在图像融合领域获得了更广泛的应用。

目前常用的图像融合方法可以分为像素级融合、特征级融合以及决策级融合3种。像素级融合是另外2种融合的基础, 也是目前融合研究的重点。经过小波变换得到的低频系数具有图像中的大部分能量, 而高频系数则主要是细节信息和边缘信息。针对不同的融合内容, 应该有针对性地选择融合规则。为了检验融合图像的效果, 可以采用主观评价法, 也可以采用客观评价法(数学方法)进行分析比较, 其评价指标主要有均方根误差、相关系数、标准差、熵、互信息及峰值信噪比等[5]

目前, 多聚焦图像的融合处理方法主要是对高频信息进行处理, 获得原始图像的细节信息和边缘信息。对于低频信息, 则选取灰度平均等较为简单的方法进行处理, 忽略了低频信息在图像中的重要作用, 导致融合后图像的信息损失。本文针对高频信息和低频信息包含内容不同的情况, 对高频信息采用梯度指标, 对低频信息采用能量指标进行处理, 以减少低频信息的损失, 并对融合后的图像采用主、客观评价相结合的方法进行分析, 证明该方法优于传统融合算法。

1 基于小波变换的多传感器图像融合方法
1.1 小波变换方法

小波变换方法是基于时间尺度的信号分析方法, 具有多分辨率分析的特点和表现局部特征的能力。该技术可以将源图像分解成不同尺度、不同方向的细节和一个最底层逼近。其中不同尺度、不同方向的细节包含了不同尺度、不同方向的高频或者边缘信息, 而因为最底层逼近携带着图像的平均信息, 所以整个图像能量的绝大部分都包含在其中。小波变换起源于傅立叶变换, 在傅立叶变换的基础上引入时频局部化概念, 根据信号高频与低频的不同, 自适应地改变时频窗口, 将信号分解成为具有不同分辨率、方向特性与频率特性的子带信号, 从而找到源图像信息的频率域与变频小波系数的对应关系。随着分解层次的变化, 小波变换系数的幅值体现出源图像的灰度局部变化特性, 为不同传感器获取的图像进行融合提供了有利条件[6]。 传统的傅立叶变换公式是

F(ω)=-+f(t)e-jω td x , (1)

其逆变换公式是

f(t)= 12π-+F(ω )e-jω td ω 。 (2)

傅立叶变换无法显示某个时段时域信号局部频域特性, 而小波变换可以弥补这个缺点。在连续小波变换中, 设f(t)和ψ (t)为平方可积的, ψ (ω )是ψ (t)的傅立叶变换, 且满足条件

-+ψ(ω)ωd ω < ∞ , (3)

则可以认为

Wf(a, b)= 1a-+f(t)ψ ( t-ba)d t (4)

f(t)的连续小波变换(a> 0)。其中, ψ (t)为小波函数或者是小波母函数; a是尺度因子; b是平移因子。

设图像函数为f(x, y), 记C0, H, G为一维小波滤波器的矩阵, 则二维小波分解算法可以表示为[7]

Cj+1=HCjH'Dj+1h=GCjH'Dj+1v=HCjG'Dj+1d=GCjG', (5)

式中: Dh, Dv, Dd分别表示水平分量、垂直分量和对角分量矩阵; H'G'分别是HG的共轭转置矩阵(j=0, 1, …, J-1); 则相应的小波重构算法可以表示为

Cj-1=H'CjH+G' DjvH+H' DjvG+G' DjdG (6)

1.2 图像融合方法

基于小波变换的图像融合方法如图1所示:

图1 基于小波变换的图像融合框架Fig.1 Framework of image fusion based on wavelet transform

其过程为:

1)对源图像A和源图像B进行小波变换分解;

2)将分解得到的高频系数和低频系数分别采用不同的融合规则进行处理, 得到新的高频系数和低频系数;

3)对图像进行重构, 得到一幅新的图像, 即融合图像。

1.2.1 低频系数融合规则

低频系数是图像中变化缓慢的部分, 包含了图像中的大部分能量, 对低频系数采用能量指标, 可以保留更多的有效信息。所以, 对图像的低频系数使用邻域能量为指标进行处理, 可以更好地保留图像低频信息, 各元素的区域能量计算公式为

E(x, y)=x'L, y'K|D(x+x', y+y')|2 , (7)

式中: L, K表示局部区域的大小(本文选取3像元× 3像元); x'y'的变换范围在局部区域内; D是源图像在不同尺度与方向下的低频系数矩阵[8]。由于低频系数是图像中变换缓慢的部分, 所以对低频系数使用能量加权平均的方法, 可以更好地保留低频信息。设2幅源图像的低频系数值分别为CA(i, j)和CB(i, j), 能量值分别为EA(x, y)和EB(x, y), 融合图像的低频系数则表示为CF(i, j), 则数学模型为

CF(i, j)=EA(x, y)/[EA(x, y)+EB(x, y)]CA(i, j)+EB(x, y)/[EA(x, y)+EB(x, y)]CB(i, j) 。 (8)

1.2.2 高频系数融合规则

一般来说, 高频系数的绝对值越大, 图像的边缘和区域边界等特征就越清晰, 所以绝对值取大成为较为普遍的融合规则[7]。但是, 这种方法会将噪声误认为有效信息, 而且忽略了周围像素的作用, 只考虑一个像素点, 会降低图像的融合质量。高频信息中主要是边缘信息和区域边界等重要信息, 是像素的亮度突变部分, 同时也应该考虑图像邻域对图像及融合结果的影响, 邻域梯度可以很好地描述灰度突变信息, 用梯度对图像高频部分进行处理, 可以很好地保留图像的边缘信息和灰度突变的信息及邻域像素的影响[9]。 图像高频部分的融合规则为选取每个像素周围3像元× 3像元区域, 对这个区域进行梯度运算, 选取一个阈值T(T为经验值), 假设2幅图像每点的梯度值分别为GA(i, j)和GB(i, j), 当这2个梯度值之差大于T, 则认为梯度值大的图像含有更高的亮度突变信息, 就选取梯度较大图像的灰度值; 当二者之差小于阈值T, 则认为2幅图像所含细节信息相差不多, 对2幅图像采取梯度加权平均方法, 假设2幅图像的高频系数值分别为PA(i, j)和PB(i, j), 则融合图像PF(i, j)表示为

PF(i, j)= max[PA(i, j), PB(i, j)], abs[GA(i, j)-GB(i, j)]TGA(i, j)[GA(i, j)+GB(i, j)]PA(i, j)+GB(i, j)[GA(i, j)+GB(i, j)]PB(i, j), (9)

2 仿真实验及结果评价

为了验证上述方法的效果, 本文采用Matlab7.0进行仿真实验, 数据如图2所示。图2(a), (b)分别

为聚焦左边Pesil罐上的图像及聚焦右边测试卡的图像, 其灰度均为256级, 图像大小为512像元× 512像元, 主要包含了低亮度边缘; 图2(c)(d)分别为聚焦左边小闹钟的图像及聚焦右边大闹钟的图像, 图像灰度也是256级, 大小为256像元× 256像元。

图2 多聚焦图像Fig.2 multifocus images

在实验中, 基于方向区域的NSCT融合算法采用3层分解, 方向分解数则分别为2, 4, 8; 选取的邻域窗口大小为3像元× 3像元。小波变换采用sym4小波基, 对图像也是进行3层分解, 对应层分解分别为水平、垂直和对角方向, 并采用信息熵、交叉熵及互信息3个指标对图像的融合效果进行客观评价。

仿真实验实现了文献[11](记为方法一)、文献[12](记为方法二)、文献[13](记为方法三)及文献[14](记为方法四)等4篇文献的试验方法, 将这4种方法和本文提出的融合方法(记为方法五)进行对比, 图3分别给出了多聚焦图像各融合方法的融合结果。

图3 第一组实验数据的融合结果Fig.3 Fusion results of multifocus images for the first experimental data

图4 第二组实验数据的融合结果Fig.4 Fusion results of multifocus images for the second experimential data

表1 第一组多聚焦图像不同融合算法性能比较 Tab.1 Performance comparison of different algorithm for the first multifocus images
表2 第二组多聚焦图像不同融合算法性能比较 Tab.2 Performance comparison of different algorithm for the second multifocus images

对比分析2组融合图像的效果可以看出, 应用本文方法(方法五)的融合效果更为理想: 从图3来看, 前景和后景中的物体及其上的字母和符号更加清晰; 从图4可以看到, 2个闹钟的指针和表盘上的数字, 比其他方法更清晰。

表1, 2所示, 文中选取的客观评价指标有3个, 分别是信息熵、互信息和清晰度。信息熵可以表示图像的平均信息量, 信息熵越大, 图像所含的信息就越丰富; 互信息是衡量从源图像中获取信息量多少的标准, 互信息越大, 融合图像从源图像中获取的信息就越多; 清晰度是表示图像清晰程度的指标, 图像清晰度越大, 图像越清晰[15]。需要说明的是, 均方根误差和相关系数等评价指标需要预先获取融合后的标准图像才可以进行图像评价, 而且部分多聚焦图像无法事先得到标准图像, 所以本文没有采用均方根误差、相关系数及交叉熵等评价指标。从实验结果来看, 虽然本文方法获得的图像不是每项评价指标都高于其他方法的, 但从整体分析, 本文所用方法可以很好地继承源图像的信息, 并减少噪声对融合结果的影响, 并在获取2幅源图像信息的同时, 提高了图像的清晰程度, 使融合图像中的目标和背景更加清晰。

3 结论

本文针对多聚焦图像的融合问题提出了一种新的融合方法。实验结果表明, 本文方法具有较好的适用性, 能使融合图像在继承原始图像信息的同时提高影像的清晰程度, 优于传统的多聚焦图像融合算法。

The authors have declared that no competing interests exist.

参考文献
[1] 杨龙. 红外热像和可见光图像融合[D]. 合肥: 安徽大学, 2012: 1-4.
Yang L. Fusion of infrared and visible images[D]. Hefei: Anhui University, 2012: 1-4. [本文引用:1]
[2] 董张玉, 赵萍, 刘殿伟, . 一种改进的小波变换融合方法及其效果评价[J]. 国土资源遥感, 2012, 24(3): 44-49.
Dong Z Y, Zhao P, Liu D W, et al. An improved wavelet transform ation image fusion method and evaluation of its fusion result[J]. Remote Sensing for Land and Resources, 2012, 24(3): 44-49. [本文引用:1]
[3] 焦竹青, 邵金涛, 徐保国. 非下采样Contourlet变换域多聚焦图像融合方法[J]. 浙江大学学报: 工学版, 2010, 44(7): 1333-1334.
Jiao Z Q, Shao J T, Xu B G. Novel multi-focus image fusion method in nonsubsampled contourlet transform domain[J]. Journal of Zhejiang University: Engineering Science, 2010, 44(7): 1333-1334. [本文引用:1] [CJCR: 0.551]
[4] 程塨, 郭雷, 赵天云, . 一种基于小波变换的多聚焦图像融合方法[J]. 计算机工程与应用, 2012, 48(1): 194-196.
Cheng G, Guo L, Zhao T Y, et al. A multi-focus images fusion method based on wavelet transform algorithm[J]. Computer Engineering and Applications, 2012, 48(1): 194-196. [本文引用:1] [CJCR: 0.457]
[5] 曾义. 基于小波变换和视觉特性的图像融合方法研究[D]. 成都: 电子科技大学, 2011, 29(3): 454-458.
Zeng Y. An images fusion method based on wavelet transform and features of human vision system[D]. Chengdu: University of Electronic Science and Technology of China, 2011, 29(3): 454-458. [本文引用:1]
[6] 王亚涛. 基于多分辨率小波的多聚焦图像融合研究[D]. 洛阳: 河南科技大学, 2010: 8-10.
Wang Y T. Image fusion based on multi-resolution wavelet transform[D]. Luoyang: University of Science and Technology of Henan, 2010: 8-10. [本文引用:1]
[7] 李春梅, 王汝霖, 李淑霞, . 基于邻域平均梯度的小波图像融合[J]. 微计算机信息, 2006, 22(12): 306-307.
Li C M, Wang R L, Li S X, et al. Wavelet image fused based on neighborhood average grads[J]. Microcomputer Information, 2006, 22(36): 306-307. [本文引用:2]
[8] 曾基兵, 陈怀新, 王卫星. 基于改进局部梯度的小波图像融合方法[J]. 电子技术, 2007, 31(8): 18-20.
Zeng J B, Chen H X, Wang W X. New image fusion method based on improved local gradient processing of wavelet coefficient[J]. Video Engcneering, 2007, 31(8): 18-20. [本文引用:1]
[9] 杨莎莎, 田小平, 吴成茂. 基于小波变换的多聚焦图像自适应融合[J]. 西安邮电学院学报, 2012, 17(3): 24-29.
Yang S S, Tian X P, Wu C M. Multi-focus image fusion scheme based on wavelet transform[J]. Journal of Xi'an University of Posts and Telecommunications, 2012, 17(3): 24-29. [本文引用:1]
[10] 曹喆. 一种区域特性的小波图像融合新算法[J]. 计算机工程与应用, 2011, 47(26): 213-214.
Cao Z. Algorithm image fusion novel based-on improved regional feature with wavelet transform[J]. Computer Engineering and Applications, 2011, 47(26): 213-215. [本文引用:1] [CJCR: 0.457]
[11] 王跃华, 陶忠祥. 一种基于NSCT变换的红外与可见光图像融合算法[J]. 光学与光电技术, 2012, 10(4): 81-84.
Wang Y H, Tao Z X. A kind of fusion algorithm for infrared and visible light images based on NSCT[J]. Optics & Optoelectronic Technology, 2012, 10(4): 81-84. [本文引用:1]
[12] 郭雷, 程塨, 赵天云. 基于小波变换和邻域特征的多聚焦图像融合算法[J]. 西北工业大学学报, 2011, 29(3): 454-459.
Guo L, Cheng G, Zhao T Y. A new and effective multi-focus image fusion algorithm based on wavelet transforms and neighborhood features[J]. Journal of Northwestern Polytechnical University, 2011, 29(3): 454-459. [本文引用:1] [CJCR: 0.3229]
[13] 彭海. 红外与可见光图像融合方法研究[D]. 杭州: 浙江大学, 2012: 42-50.
Peng H. Research on infrared and visual fusion method[D]. Hangzhou: Zhejiang University, 2012: 42-50. [本文引用:1]
[14] 叶传奇, 王宝树, 苗启广. 基于NSCT变换的红外与可见光图像融合算法[J]. 系统工程与电子技术, 2008, 30(4): 593-596.
Ye C Q, Wang B S, Miao Q G. Fusion algorithm of infrared and visible light images based on nonsubsampled contourlet transform[J]. Systems Engineering and Electronics, 2008, 30(4): 593-596. [本文引用:1] [CJCR: 0.499]
[15] 黄君. 图像质量评价的研究[D]. 杭州: 浙江理工大学, 2012: 14-21.
Huang J. The research on image quality assessment[D]. Hangzhou: Zhejiang Sci-Tech University, 2012: 14-21. [本文引用:1]