第一作者简介: 孟强强(1989- ),男,硕士研究生,主要研究方向是多源图像融合。Email:865422907@qq.com。
针对多聚焦图像因聚焦点不同而产生的图像模糊问题,提出了一种基于小波变换的新融合方法。该方法首先对图像进行小波分解,然后对图像的高频和低频系数分别采用区域梯度和能量加权平均法进行融合,再使用小波逆变换得到融合后图像。对实验结果进行主、客观评价的结果表明,该方法得到的融合图像具有较好的主观视觉效果和客观量化指标,效果优于传统融合方法。
A new approach to the fusion of multifocus images based on wavelet transform is proposed to solve the problem that some parts of the images are blurred because of the different focus points. The images are firstly decomposed by using wavelet transform, and then the low and high frequency coefficients are fused by using different fusion strategies: the low frequency coefficient is fused with a rule weighted average of energy, while the high frequency coefficient is processed with the regional grads. After that the fused image is obtained by inverse wavelet transform. Experiments prove that the fused image obtained by the method has a better subjective visual effect and objective evaluation criteria, thus attaining a better result than other traditional fusion methods.
不同传感器所获得的图像是不同的, 即使是同一传感器, 在不同时间或者不同角度所获取的图像也不尽相同[1]。随着现代传感器及其相关技术的发展, 获取遥感数据的能力不断加强, 但是对信息的处理和利用程度还比较落后。图像融合技术是图像处理领域的一个研究热点[2]。通过融合获得的图像可以比原始图像具有更丰富的信息, 图像的不确定性也有所减少。多聚焦图像的融合, 就是对聚焦点不同的多幅图像中的清晰部分进行处理, 综合形成一幅新图像。新图像中的目标和背景更加清晰[3]。目前, 常用的融合方法主要是金字塔形分解和小波分解法, 前者分解结构中不同分辨率的细节信息彼此相关, 算法的稳定性较差; 后者得到的各子带数据细节信息相关性减小, 算法的稳定性较好, 且克服了前者的缺点[4], 因此在图像融合领域获得了更广泛的应用。
目前常用的图像融合方法可以分为像素级融合、特征级融合以及决策级融合3种。像素级融合是另外2种融合的基础, 也是目前融合研究的重点。经过小波变换得到的低频系数具有图像中的大部分能量, 而高频系数则主要是细节信息和边缘信息。针对不同的融合内容, 应该有针对性地选择融合规则。为了检验融合图像的效果, 可以采用主观评价法, 也可以采用客观评价法(数学方法)进行分析比较, 其评价指标主要有均方根误差、相关系数、标准差、熵、互信息及峰值信噪比等[5]。
目前, 多聚焦图像的融合处理方法主要是对高频信息进行处理, 获得原始图像的细节信息和边缘信息。对于低频信息, 则选取灰度平均等较为简单的方法进行处理, 忽略了低频信息在图像中的重要作用, 导致融合后图像的信息损失。本文针对高频信息和低频信息包含内容不同的情况, 对高频信息采用梯度指标, 对低频信息采用能量指标进行处理, 以减少低频信息的损失, 并对融合后的图像采用主、客观评价相结合的方法进行分析, 证明该方法优于传统融合算法。
小波变换方法是基于时间尺度的信号分析方法, 具有多分辨率分析的特点和表现局部特征的能力。该技术可以将源图像分解成不同尺度、不同方向的细节和一个最底层逼近。其中不同尺度、不同方向的细节包含了不同尺度、不同方向的高频或者边缘信息, 而因为最底层逼近携带着图像的平均信息, 所以整个图像能量的绝大部分都包含在其中。小波变换起源于傅立叶变换, 在傅立叶变换的基础上引入时频局部化概念, 根据信号高频与低频的不同, 自适应地改变时频窗口, 将信号分解成为具有不同分辨率、方向特性与频率特性的子带信号, 从而找到源图像信息的频率域与变频小波系数的对应关系。随着分解层次的变化, 小波变换系数的幅值体现出源图像的灰度局部变化特性, 为不同传感器获取的图像进行融合提供了有利条件[6]。 传统的傅立叶变换公式是
其逆变换公式是
f(t)=
傅立叶变换无法显示某个时段时域信号局部频域特性, 而小波变换可以弥补这个缺点。在连续小波变换中, 设f(t)和ψ (t)为平方可积的, ψ (ω )是ψ (t)的傅立叶变换, 且满足条件
则可以认为
Wf(a, b)=
是f(t)的连续小波变换(a> 0)。其中, ψ (t)为小波函数或者是小波母函数; a是尺度因子; b是平移因子。
设图像函数为f(x, y), 记C0, H, G为一维小波滤波器的矩阵, 则二维小波分解算法可以表示为[7]
式中: Dh, Dv, Dd分别表示水平分量、垂直分量和对角分量矩阵; H'和G'分别是H与G的共轭转置矩阵(j=0, 1, …, J-1); 则相应的小波重构算法可以表示为
Cj-1=H'CjH+G'
基于小波变换的图像融合方法如图1所示:
其过程为:
1)对源图像A和源图像B进行小波变换分解;
2)将分解得到的高频系数和低频系数分别采用不同的融合规则进行处理, 得到新的高频系数和低频系数;
3)对图像进行重构, 得到一幅新的图像, 即融合图像。
1.2.1 低频系数融合规则
低频系数是图像中变化缓慢的部分, 包含了图像中的大部分能量, 对低频系数采用能量指标, 可以保留更多的有效信息。所以, 对图像的低频系数使用邻域能量为指标进行处理, 可以更好地保留图像低频信息, 各元素的区域能量计算公式为
式中: L, K表示局部区域的大小(本文选取3像元× 3像元); x'和y'的变换范围在局部区域内; D是源图像在不同尺度与方向下的低频系数矩阵[8]。由于低频系数是图像中变换缓慢的部分, 所以对低频系数使用能量加权平均的方法, 可以更好地保留低频信息。设2幅源图像的低频系数值分别为CA(i, j)和CB(i, j), 能量值分别为EA(x, y)和EB(x, y), 融合图像的低频系数则表示为CF(i, j), 则数学模型为
CF(i, j)=EA(x, y)/[EA(x, y)+EB(x, y)]CA(i, j)+EB(x, y)/[EA(x, y)+EB(x, y)]CB(i, j) 。 (8)
1.2.2 高频系数融合规则
一般来说, 高频系数的绝对值越大, 图像的边缘和区域边界等特征就越清晰, 所以绝对值取大成为较为普遍的融合规则[7]。但是, 这种方法会将噪声误认为有效信息, 而且忽略了周围像素的作用, 只考虑一个像素点, 会降低图像的融合质量。高频信息中主要是边缘信息和区域边界等重要信息, 是像素的亮度突变部分, 同时也应该考虑图像邻域对图像及融合结果的影响, 邻域梯度可以很好地描述灰度突变信息, 用梯度对图像高频部分进行处理, 可以很好地保留图像的边缘信息和灰度突变的信息及邻域像素的影响[9]。 图像高频部分的融合规则为选取每个像素周围3像元× 3像元区域, 对这个区域进行梯度运算, 选取一个阈值T(T为经验值), 假设2幅图像每点的梯度值分别为GA(i, j)和GB(i, j), 当这2个梯度值之差大于T, 则认为梯度值大的图像含有更高的亮度突变信息, 就选取梯度较大图像的灰度值; 当二者之差小于阈值T, 则认为2幅图像所含细节信息相差不多, 对2幅图像采取梯度加权平均方法, 假设2幅图像的高频系数值分别为PA(i, j)和PB(i, j), 则融合图像PF(i, j)表示为
PF(i, j)=
为了验证上述方法的效果, 本文采用Matlab7.0进行仿真实验, 数据如图2所示。图2(a), (b)分别
为聚焦左边Pesil罐上的图像及聚焦右边测试卡的图像, 其灰度均为256级, 图像大小为512像元× 512像元, 主要包含了低亮度边缘; 图2(c)(d)分别为聚焦左边小闹钟的图像及聚焦右边大闹钟的图像, 图像灰度也是256级, 大小为256像元× 256像元。
在实验中, 基于方向区域的NSCT融合算法采用3层分解, 方向分解数则分别为2, 4, 8; 选取的邻域窗口大小为3像元× 3像元。小波变换采用sym4小波基, 对图像也是进行3层分解, 对应层分解分别为水平、垂直和对角方向, 并采用信息熵、交叉熵及互信息3个指标对图像的融合效果进行客观评价。
仿真实验实现了文献[11](记为方法一)、文献[12](记为方法二)、文献[13](记为方法三)及文献[14](记为方法四)等4篇文献的试验方法, 将这4种方法和本文提出的融合方法(记为方法五)进行对比, 图3分别给出了多聚焦图像各融合方法的融合结果。
| 表1 第一组多聚焦图像不同融合算法性能比较 Tab.1 Performance comparison of different algorithm for the first multifocus images |
| 表2 第二组多聚焦图像不同融合算法性能比较 Tab.2 Performance comparison of different algorithm for the second multifocus images |
对比分析2组融合图像的效果可以看出, 应用本文方法(方法五)的融合效果更为理想: 从图3来看, 前景和后景中的物体及其上的字母和符号更加清晰; 从图4可以看到, 2个闹钟的指针和表盘上的数字, 比其他方法更清晰。
如表1, 2所示, 文中选取的客观评价指标有3个, 分别是信息熵、互信息和清晰度。信息熵可以表示图像的平均信息量, 信息熵越大, 图像所含的信息就越丰富; 互信息是衡量从源图像中获取信息量多少的标准, 互信息越大, 融合图像从源图像中获取的信息就越多; 清晰度是表示图像清晰程度的指标, 图像清晰度越大, 图像越清晰[15]。需要说明的是, 均方根误差和相关系数等评价指标需要预先获取融合后的标准图像才可以进行图像评价, 而且部分多聚焦图像无法事先得到标准图像, 所以本文没有采用均方根误差、相关系数及交叉熵等评价指标。从实验结果来看, 虽然本文方法获得的图像不是每项评价指标都高于其他方法的, 但从整体分析, 本文所用方法可以很好地继承源图像的信息, 并减少噪声对融合结果的影响, 并在获取2幅源图像信息的同时, 提高了图像的清晰程度, 使融合图像中的目标和背景更加清晰。
本文针对多聚焦图像的融合问题提出了一种新的融合方法。实验结果表明, 本文方法具有较好的适用性, 能使融合图像在继承原始图像信息的同时提高影像的清晰程度, 优于传统的多聚焦图像融合算法。
The authors have declared that no competing interests exist.
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|

