基于加权滤波经验模式分解的遥感图像融合
梁灵飞1, 章冲1, 平子良2
1.河南科技大学信息工程学院,洛阳 471003
2.内蒙古师范大学物理与电子信息学院,呼和浩特 010022

第一作者简介: 梁灵飞(1980-),男,博士,讲师,主要从事遥感图像处理方面研究。Email:lianglingfei@gmail.com

摘要

加权滤波经验模式分解(weighted filter empirical mode decomposition,WFEMD)作为一种新的多尺度、多分辨率分析方法,与小波、超小波和现有二维经验模式分解方法相比,更加适合于二维图像中的细节特征分析。该方法运用自适应加权滤波器直接求取均值面,解决了传统二维经验模式分解(empirical mode decomposition,EMD)方法的固有缺陷; 将WFEMD方法引入遥感图像融合,能够更好地提取原始图像的特征,为图像融合提供更多的信息。鉴于此,提出了一种基于WFEMD变换的图像融合方法。首先,利用WFEMD的自适应性、多尺度性和高频细节信息的强获取能力,将待融合的图像分别进行WFEMD分解,对不同图像的内涵模式分量(intrinsic mode functions,IMF)按照该文提出的细节/背景原则进行融合,剩余分量按照平均原则进行融合。最后,将融合后的内涵模式分量重构,获取融合图像。实验证明,该方法的融合效果优于其他图像融合方法。

关键词: 经验模式分解(EMD); 加权滤波经验模式分解(WFEMD); 图像融合; 内涵模式分量(IMF)
中图分类号:TP751.1 文献标志码:A 文章编号:1001-070X(2014)03-0061-06 doi: 10.6046/gtzyyg.2014.03.10
Remote sensing image fusion based on weighted filter empirical mode decomposition
LIANG Lingfei1, ZHANG Chong1, PING Ziliang2
1. School of Electronic & Information Engineering, Henan University of Science and Technology, Luoyang 471003, China
2. School of Physics and Electronic Information, Inner Mongolia Normal University, Hohhot 010022, China
Abstract

Weighted filter empirical mode decomposition(WFEMD), as a new multi-scale and multi-resolution analysis algorithm, is more appropriate for the analysis of the image details than wavelet, super wavelet and dimensional empirical mode decomposition, and can solve the inherent defects of the traditional two-dimensional empirical mode decomposition(EMD). The main reason is that it directly computes the mean envelope by adaptive weighted mean filter. When WFEMD is introduced to the remote sensing image fusion, the characteristics of original images can be better extracted, and more information for fusion can be obtained. Firstly, the source images are decomposed by using WFEMD with the capability of acquirement of the high frequency data, the adaptability for some intrinsic mode functions (IMF) and the residual component, and then the IMFs and the residual component are fused with the details/background and average fusion regularity respectively at the corresponding scales. Finally, the fused IMFs and the residual component are reconstructed to obtain fusion results. Experiments have shown that the proposed algorithm is efficient in image fusion and is better than other current algorithms.

Keyword: empirical model decomposition (EMD); weighted filter empirical model decomposition (WFEMD); image fusion; intrinsic model functions (IMF)
0 引言

图像融合是一种对同一场景多传感器图像数据进行处理的过程, 它按一定的规则进行运算处理, 获得比任何单一数据更精确、更丰富的合成图像, 以改善目标识别的图像环境, 从而增加解译的可靠性, 减少模糊性, 扩大应用范围, 提高应用效果。

目前, 遥感图像融合的重点是对高频细节信息的融合, 即首先利用多尺度几何分析方法提取出图像中的高频细节信息, 然后运用融合规则将其融合, 如小波变换融合方法[1, 2, 3]和超小波变换融合方法[4]等, 这种融合方式可更加有效地保留待融合图像的细节信息, 使融合效果得到提高。但小波、超小波融合方法的共同缺陷是: ①线性分解; ②小波基函数需要预先设定。而图像数据一般为非线性、非稳定信号, 这就造成融合后的图像细节信息会由于融合方法自身的缺陷而出现局部变形。

经验模式分解(empirical mode decomposition, EMD)是一种具有自适应时频分辨能力的信号分析方法[5], 可将非线性、非稳定信号分解为一组内涵模式分量(intrinsic mode functions, IMF)和剩余分量。随着EMD方法受到愈来愈多的关注, 在二维数据研究中也得到了发展: 文献[6, 7]提出了基于不同二维插值的经验模式分解(bi-dimensional interpolation based empirical mode decomposition, BIEMD)方法; 文献[8]提出了基于结构极值的经验模式分解(structural extreme based empirical mode decomposition, SEEMD)方法。然而, 这2类方法在某些情况下由于极值分布的不规则性, 造成插值方法引起不恰当的拟合, 导致各级分解IMF图像中存在大量斑块, 影响图像的后续处理。为了解决斑块的问题, 文献[9]提出了多维集成经验模式分解(multi-dimensional ensemble empirical mode decomposition, MEEMD)方法。该方法通过对原始信号加入不同的白噪声, 并分别进行EMD分解, 求每级分量均值的方式得到最终的分解结果。但由于EMD方法自身迭代循环过程运算速度慢, 导致MEEMD多次调用EMD方法, 其运算速度难以满足工程应用的要求。为加快运算速度, 文献[10]提出了基于顺序统计滤波器的经验模式分解(order statistics filter based empirical mode decomposition, OSFEMD)方法。该方法运用指定局部尺寸大小的统计滤波器估计上下包络面, 以此代替插值拟合上下包络面, 限制频带范围; 通过指定迭代循环次数, 运算速度得到了大幅提高。但该方法在分解图像中有较严重的边缘重影现象, 且局部尺寸大小无法随局部数据的特性做调整, 不利于对局部数据特性进行描述。

本文提出的加权滤波经验模式分解(weighted filter empirical mode decomposition, WFEMD)方法, 通过运用自适应加权滤波器直接计算均值包络, 取消迭代循环, 有效地解决了上述一些方法的缺陷。实验证明, 其融合效果优于小波、超小波和OSFEMD融合方法。

1 自适应WFEMD方法及实验分析

无论是传统的EMD方法, 还是本文提出的WFEMD方法, 都可将图像分解为一系列细节(内涵模式)分量和趋势(剩余)分量。原图像f(x, y)可由

f(x, y)= i=1nIMFi(x, y)+r(x, y)(1)

描述。式中: IMFi(x, y)是分解得到的第i级分量; r(x, y)是n次分解后的趋势量。

1.1 方法

自适应WFEMD方法引入一个性质和尺度均随信号变化而自适应调整的加权局部函数。局部尺寸由极大值点数和极小值点数相等作为判决条件, 以直接计算局部均值得到的平均包络代替拟合上下包络计算平均包络面的循环迭代过程。局部权值函数计算方法如下:

设当前局部尺寸为(2n+1)× (2n+1), 则

s1= 12n+1)2i=-n nj=-nnf(x+i, y+j) , (2)

s2= i=-nn j=-nn11+e|s1-f(x+i, y+j)|, (3)

ω (x+i, y+j)= 1(1+e|s1-f(x+i, y+j)|)s2。 (4)

式中: f(x, y)为坐标(x, y)位置的数值; i, j为以(x, y)为中心的偏移量; s1为局部均值; s2为局部数据与均值的差和; ω 为局部内每一数据的权值, 局部数据与均值的差越大, 权值越小, 可用于抑制大波动极值对局部均值的不利影响。局部加权均值的计算式为

avg(x, y)= i=-nn j=-nnf(x+i, y+j)ω (x+i, y+j) 。 (5)

在非稳定信号中, 极值分布不具有规则性, 局部尺寸过大不利于分析局部细节信息。因此本文运用式(6)确定最大局部尺寸N, 即

N=mean(P1++Pm) , (6)

式中: P为当前极值点与紧邻此点最近极值点的距离; m为得到的紧邻极值点之间的距离个数。

WFEMD方法描述如下:

1) 初始化。r0=I(I为原数据, r0为趋势分量)。

2) 确定ri-1的所有局部极值点, 并组成极值点集(i为分解层数)。

3) 根据分解层数i执行下述技术流程:

① 设定当前最大局部尺寸N× N、初始局部尺寸M× M以及中间变量K(K=M=3);

② 以当前像素为中心, 如果在局部尺寸K内的极大值点和极小值点数相等, 则求取K内像素均值avg, 转到步骤④;

K=K+2, 如果K< N, 转到步骤; 否则求取局部尺寸K内像素均值avg;

④ 以avg作为当前像素的局部均值, 转到下个像素, K =M, 转到步骤②, 直至整幅图像所有像素点计算完成。

4) 用所有均值点构成均值平面hi-1, 并计算IMFi-1=ri-1-hi-1, ri=hi-1, i=i+1。

5) 重复步骤2)— 4), 直到ri极值小于2或指定的分解层数。

1.2 实验分析

为说明WFEMD方法的有效性, 将128像素× 128像素、256灰度级的标准Lena图像分别运用BIEMD, OSFEMD和WFEMD方法进行二层分解, 分解结果如图1所示。

图1-1 分别运用BIEMD, OSFEMD和WFEMD方法得到的分量Fig.1-1 Components decomposed by BIEMD, OSFEMD and WFEMD respectively

图1-2 分别运用BIEMD, OSFEMD和WFEMD方法得到的分量Fig.1-2 Components decomposed by BIEMD, OSFEMD and WFEMD respectively

由图1可见, BIEMD方法由于极值分布的不规则性, 造成插值方法引起不恰当的拟合, 导致分级图像出现斑块: 在图(b)上表现为明暗分布不均匀; 在图(c)上斑块更加清晰, 致使图像细节变得模糊。OSFEMD方法通过统计滤波器拟合上下包络的方式有效地避免了斑块, 但在分解图像细节边缘部分有较严重的边缘重影现象, 即双边缘现象(如帽圈边缘等): 图(e)中双边缘现象较轻; 图(f)中双边缘现象严重。与上述2种方法相比, WFEMD方法有效地消除了斑块的影响, 抑制了双边缘现象。表1列出了上述3种分解方法的运行速度。

表1 不同EMD方法的运算速度对比 Tab.1 Comparing operation speed of various EMD methods

运算平台为Intel i5 2.4GHz CPU, 2G内存, 程序为Matlab编写。BIEMD方法由于迭代停止条件造成循环次数过多, 且插值方法自身也比较耗时, 导致速度缓慢。OSFEMD运用统计滤波器估计上下包络面, 代替插值拟合上下包络面, 简化了拟合过程, 并舍弃标准偏差, 指定迭代次数(本实验的循环次数为1), 极大地提高了运算速度。WFEMD方法直接用加权滤波求取平均包络, 进一步得到简化, 运算速度得到进一步的提高。

综上所述, WFEMD方法优于传统二维经验模式分解方法。

2 基于自适应WFEMD方法的图像融合
2.1 融合方法

1) 将多个输入图像进行匹配, 修正图像间的位置偏差。

2) 运用WFEMD方法将待融合图像分别进行相同层数的分解, 得到内涵模式函数分量IMFij和剩余分量ri, 其中i=1, 2, …, m(m为待融合图像的数量), j=1, 2, …, n(n为分解得到的IMF的数量)。

3) 将相应层待融合图像的IMFij按照背景/细节融合规则进行处理, 产生融合图像的IMFj像素点:

① 对每一个IMFij用最大类间方差法[11]区分背景和细节;

② 对相同层的IMFij进行处理, 如果当前处理的像素都是细节或有细节有背景, 那么取相同层IMFij中相同位置绝对值最大的值; 如果当前处理的像素都是背景, 那么取相同层IMFij中相同位置数据的均值, 最终得到IMFj, 即

IMFj(x, y)=sgn[IMFij(x, y)]·max{abs[IMFij(x, y)]}, ifIMFij(x, y)其中之一或都是细节IMFj(x, y)=i=1mIMFij(x, y)/m, ifIMFij(x, y)都是背景。 (7)

4) 将待融合图像的ri按照平均原则进行处理, 得到融合图像的剩余分量r(x, y), 即

r(x, y)=[ i=1mri(x, y)]/m 。 (8)

5) 用式(1)将IMFjr反向重构, 得到融合图像。

2.2 融合实验

图2(a)(b)和图3(a)(b)分别为不同波段相同分辨率的图像。运用Wavelet和Curvelet方法得到融合图像的部分细节纹理信息出现较大的变形。与图2(a)相比, 图2(c)(d)矩形框中的暗滩保留了图像的轮廓, 而细节纹理信息不清晰; 与图3(a)相比, 图3(c)(d)椭圆中的机场草坪红外纹理特征在融合后的图像上几乎没有任何保留。运用OSFEMD融合方法, 图2(a)和图3(a)中标图位置的细节纹理信息得到了较好的保留; 但与WFEMD方法相比, 标图位置的细节纹理信息明暗对比不高, 显得较为模糊。

图2 不同融合方法得到的融合图像Fig.2 Fusion images with different methods

图3 不同融合方法得到的融合图像Fig.3 Fusion images with different methods

图4(a)(b)分别为高分辨率全色图像和低分辨率多光谱图像。在融合过程中, 首先对多光谱图像进行HIS变换, 然后将I分量和全色图像进行融合, 得到新的I分量, 最后进行反变换得到最终融合图像。从图像色彩上来看, 各种方法融合后的图像均存在一定的光谱扭曲现象。应用WFEMD方法融合的图像光谱扭曲度最小, 尤其是对植被和居民点的光谱扭曲程度较低, 其色彩几乎与原始图像的一致; 其次为OSFEMD方法, 其居民点、道路的光谱信息保留效果较好, 虽然植被信息有所扭曲, 但和原始图像基本接近; Wavelet和Curvelet变换的融合图像视觉效果较差。从清晰度和空间分辨力来看, 融合图像均比原始多光谱图像清晰, 空间分辨力更强。从图像上居民点及道路的清晰度可以明显看出, 基于WFEMD方法融合图像效果最好, 信息最丰富, 图像最清晰; 其次为OSFEMD方法, 融合信息保留较好; 基于Wavelet和Curvelet变换的融合图像信息保留较差, 如图4(a)中矩形标识中的细节纹理在这2种融合方法图像上均不够清晰。

图4 不同方法得到的融合图像Fig.4 Fusion images with different method

为更好地说明融合效果, 表2给出了不同融合方法的定量分析结果。平均梯度(average gradient)是反映图像对微小细节反差和纹理变化特征表达能力的指标, 也反映了图像的清晰度, 平均梯度越大,

表2 不同融合方法得到的融合图像质量比较 Tab.2 Quality comparison of fused remote sensing image by different methods

图像越清晰; 相关系数(correlation coefficient)体现了融合图像和参考图像间相似性, 相关系数愈大, 则图像的接近度越好; 扭曲度(degree of distortion)直接反应融合图像的失真程度, 其值愈小, 表示图像的失真程度愈小; 互信息(mutual information)体现了融合图像从原始图像中提取信息的多少, 其值愈大, 则提取的信息越多。这些参数的计算方法参见文献[12]

综合上述4种评价结果, 本文提出的图像融合方法具有最大的平均梯度、相关系数、互信息和最小的扭曲度, 融合效果最好, 与主观评测相吻合。因此, 新方法改善了传统小波、超小波变换方法部分纹理细节信息模糊的缺陷, 进一步提高了基于OSFEMD方法的融合效果, 达到了改善融合效果的目的。

3 结论

1)本文运用自适应调整的加权局部函数, 舍弃迭代循环过程, 提出了加权滤波经验模式分解(WFEMD)方法, 并与传统二维经验模式分解方法进行对比试验。新方法可有效解决传统二维经验模式分解方法中斑块、边缘重影及运算速度慢等问题。

2)利用WFEMD方法的优点, 结合本文提出的细节/背景融合规则进行图像融合, 其结果无论从清晰度和空间可分辨力, 还是从色彩上来看, 均比Wavelet, Curvelet和OSFEMD的融合效果好, 图像纹理更加清晰, 色彩扭曲度更小。

3)WFEMD方法中的最大局部尺寸是通过经验得到的, 可能对部分细节的分析造成不利影响。融合规则运用最大类间方差法区分背景、细节, 存在部分细节没有筛选出来的问题。下一步将进一步探索最大局部尺寸确定方法以及更好的背景、细节区分方法。

The authors have declared that no competing interests exist.

参考文献
[1] 吴艳, 杨万海, 李明. 基于小波分解和进化策略的图像融合方法[J]. 光学学报, 2003, 23(6): 671-676.
Wu Y, Yang W H, Li M. Image fusion based on wavelet decomposition and evolutionary strategy[J]. Acta Optica Sinica, 2003, 23(6): 671-676. [本文引用:1] [CJCR: 1.042]
[2] 董张玉, 赵萍, 刘殿伟, . 一种改进的小波变换融合方法及其效果评价[J]. 国土资源遥感, 2012, 24(3): 44-49.
Dong Z Y, Zhao P, Liu D W, et al. An improved wavelet transformation image fusion method and evaluation of its fusion result[J]. Remote Sensing for Land and Resources, 2012, 24(3): 44-49. [本文引用:1]
[3] 范文婷, 傅平. 一种基于小波变换的遥感图像融合方法[J]. 国土资源遥感, 2008, 20(3): 24-26.
Fan W T, Fu P. A remote sensing image fusion method on wavelet transform[J]. Remote Sensing for Land and Resources, 2008, 20(3): 24-26. [本文引用:1]
[4] 路雅宁, 郭雷, 李晖晖. 结合边缘信息和图像特征信息的曲波域遥感图像融合[J]. 光子学报, 2012, 41(9): 1118-1123.
Lu Y N, Guo L, Li H H. Remote sensing image fusion using edge information and features of SAR image based on curvelet transform[J]. Acta Photonica Sinica, 2012, 41(9): 1118-1123. [本文引用:1] [CJCR: 1.324]
[5] Huang N E, Shen Z, Long S R, et al. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J]. Proceedings of the Royal Society, London A, 1998, 454(1971): 903-995. [本文引用:1]
[6] Damerval C, Meignen S, Perrier V. A fast algorithm for bidimensional EMD[J]. IEEE Signal Processing Letters, 2005, 12(10): 701-704. [本文引用:1] [JCR: 1.674]
[7] Xu Y, Liu B, Liu J, et al. Two-dimensional empirical mode decomposition by finite elements[J]. Proceedings of the Royal Society, London A, 2006, 462(2074): 3081-3096. [本文引用:1]
[8] Xu G L, Wang X T, Xu X G. Improved bi-dimensional EMD and Hilbert spectrum for the analysis of textures[J]. Pattern Recognition, 2009, 42(5): 718-734. [本文引用:1] [JCR: 2.632]
[9] Wu Z H, Huang N E, Chen X Y. Multi-dimensional ensemble empirical mode decomposition[J]. Advances in Adaptive Data Analysis, 2009, 1(3): 339-372. [本文引用:1]
[10] Ahmed M U, Mand ic D P. Image fusion based on fast and adaptive bidimensional empirical mode decomposition[C]//2010 13th Conference on Information Fusion. London, UK: IEEE Conference Proceedings, 2010: 1-6. [本文引用:1]
[11] Ohta Y I, Kanade T, Sakai T. Color information for region segmentation[J]. Computer Graphic and Image Processing, 1980, 13(3): 222-241. [本文引用:1]
[12] 高绍姝, 金维其, 王玲雪, . 图像融合质量客观评价方法[J]. 应用光学, 2011, 32(4): 671-677.
Gao S H, Jin W Q, Wang L X, et al. Objective quality assessment of image fusion[J]. Journal of Applied Optics, 2011, 32(4): 671-677. [本文引用:1] [CJCR: 0.4821]