一种改进的小波变换融合方法及其效果评价
董张玉1,2, 赵萍3,4, 刘殿伟1, 王宗明1, 汤旭光1,2, 刘婧怡5
1.中国科学院东北地理与农业生态研究所,长春 130012
2.中国科学院研究生院,北京 100049
3.安徽师范大学GIS重点实验室,芜湖 241003
4.合肥工业大学资源与环境工程学院,合肥 230009
5.中国地质大学信息工程学院,武汉 430074

第一作者简介: 董张玉(1986-),男,博士研究生,主要从事遥感图像处理、信号融合以及遥感在湿地恢复决策中应用等方面的研究。E-mail: dzyhh1988@126.com

摘要

针对传统小波变换融合方法易导致空间纹理信息丢失的缺陷,结合局部方差和局部差异加权算法的优点,提出了一种基于局部算法改进的小波变换融合方法。采用该方法对IKONOS多光谱与全色波段图像进行融合实验,分别从基于视觉效果、数理统计以及面向对象分类精度3个方面分析评价该方法的融合效果。结果表明: 改进的融合方法综合了小波变换和局部算法的优点,显著地改善了图像的融合效果,是一种高效的图像融合方法。应用该方法融合后图像的方差由原来的98.28提高到164.32,信息熵由5.30增加到7.85,平均梯度从1.972提高到8.807,图像分类精度提高了10.24%。

关键词: 图像融合; 局部算法; 小波变换; 面向对象分类
中图分类号:TP75 文献标志码:A 文章编号:1001-070X(2012)03-0044-06 doi: 10.6046/gtzyyg.2012.03.09
An Improved Wavelet Transformation Image Fusion Method and Evaluation of Its Fusion Result
DONG Zhang-yu1,2, ZHAO Ping3,4, LIU Dian-wei1, WANG Zong-ming1, TANG Xu-guang1,2, LIU jing-yi5
1.Northeast Institute of Geography and Agricultural Ecology, Changchun 130012, China
2.Graduate University of Chinese Academy of Science, Beijing 100049, China
3.College of Territorial Resources and Tourism, Anhui Normal University, Wuhu 241003, China
4. College of Resources and Environmental Engineering, Hefei University of Technology, Hefei 230009, China
5. College of Information Engineering, China University of Geosciences, Wuhan 430074, China
Abstract

On the basis of a summary and analysis of wavelet transformation remote sensing image fusion method, in combination with the advantages of local variance and partial differential weighted criterion, and in the light of the deficiencies of wavelet transform method in enhancing space texture information, this paper has proposed an improved wavelet transformation remote sensing image fusion algorithm. With IKONOS multi-spectral and panchromatic as fusion experiments data, the new algorithm fusion effect was comprehensively evaluated from the subjective, the objective and the object-oriented classification accuracy. The results show that the improved algorithm combined with advantages of the wavelet transform and local algorithm is quite satisfactory. It greatly remedies the defects of traditional wavelet fusion method in remote sensing image texture information loss and serves as a kind of efficient remote sensing image fusion method. With the utilization of the new image fusion method, the remote sensing image variance is raised from the original 98.28 to 164.32, the information entropy increases from 5.30 to 7.85, the average gradient rises from 1.972 to 8.807, and the image classification accuracy increases by 10.24%.

Keyword: image fusion; partial algorithm; wavelet transformation; object-oriented classification
0 引言

随着现代传感器及其相关技术的不断发展, 遥感获取数据的能力不断增强, 为人们提供了大量不同特性的数据。但当前遥感信息的分析处理技术和利用程度还相对滞后, 致使丰富的遥感数据仍无法满足应用的需求[1, 2, 3]。遥感图像融合技术为人们对图像的处理、分析与应用提供了全新的途径, 成为遥感图像处理领域的一个研究热点[4, 5, 6, 7]

遥感图像融合主要包括像素级融合(如PCA变换、HIS变换、金字塔、小波变换融合[8, 9]等)、特征级融合(如贝叶斯、D-S理论融合等)和决策级融合(模糊理论、神经网络等)3种。其中, 小波变换以其多尺度分析特征已成为图像融合最热门的方法之一, 许多学者 [10, 11, 12]对该方法及其改进方法进行了实验研究, 但多数研究采用的是不同频率信息之间的替换, 没有从根本上改善融合规则, 显示出基于小波变换图像融合算法存在信息丢失严重的缺陷。本文结合能较好体现图像细节纹理的局部方差算法和能很好保留图像低频信息的局部差异加权法的特性, 采用局部算法改进传统的小波变换融合方法, 实现融合规则的优化, 弥补了因小波变换导致的图像融合信息丢失严重的缺陷, 并从视觉效果、数理统计及面向对象分类精度3方面对融合结果进行了评价。

1 研究方法

局部方差与局部差异加权算法在图像增强中应用比较广泛。其中, 局部方差算法能较好地体现图像的细节信息; 局部差异加权运算则能较好地保留图像的低频信息。

1.1 局部方差算法

局部方差算法主要用于处理高频信息, 它以其自身鲜明的特征在灰度拉伸、图像分割及边缘增强等领域得到了深入应用。计算方法及流程为:

首先, 确定一个适当大小的移动运算窗口, 计算窗口内像元的方差(Var), 并按照从左到右、从上到下的顺序依次计算高频信息影像内每一个窗口像元的方差值, 并通过运算确定最低阈值。计算公式为

Var= 1MNi=1Mj=1N(Xi, j- X¯)2 , (1)

式中: Xi, j为第ij列的像元亮度值; M, N分别为图像的行、列数; X¯为像元亮度均值。

然后, 将待融合的2幅图像(A, B)对应窗口内的方差值进行比较, 按照选取规则, 取出最大的方差值作为融合后高频分量对应窗口的中心像元值, 即

F(X, Y)= A(X, Y), VarA(X, Y)> VarB(X, Y)B(X, Y), VarA(X, Y)VarB(X, Y)。 (2)

依次类推, 最后得到高频分量[13]。式(2)中: F(X, Y)为融合结果图像的高频分量像元值; A(X, Y), B(X, Y)分别为2个待融合图像AB高频分量的像元值[14]

1.2 局部差异加权

局部差异加权是针对分解后低频信息的一种算法。在图像融合领域应用的算法(本文选择7像元× 7像元窗口进行运算)为

avgAB(x, y)= i=x-3x+3 j=y-3y+3|A(i, j)-B(i, j)|7×7, (3)

式中: A, B分别表示待融合的2幅图像; avgAB(x, y)表示以(x, y) 为中心像元的局部差异平均值。当avgAB(x, y)超过阈值时, 按照

I'(x, y)=α[aA(x, y)+bB(x, y)]+ββ=(1-α)i=1M j=1NB(i, j)MNb=avgAB(x, y)max[|A(i, j)-B(i, j)|1iM, 1jN]a=1-b(4)

确定像元的灰度值。式(4)中: A (x, y), B(x, y)分别表示多光谱和全色图像低频部分的像元灰度值; I'(x, y)为计算后得到的图像像元灰度值; α , β 为2个常量系数, α 表示计算得到的灰度值的可信度, 其值在(0, 1]范围内, 由具体的应用决定; β 表示针对α 值而补充的灰度值, 若取α =1 , 则β =0 , 表示对计算得到的灰度值完全信任, 这也是后面实验中所采用的值; a, b 为权值, 决定图像A, B信息在结果图像中所占的比重, 它们的值则由式(1)计算得到的局部差异值决定。经过这一处理后, 即得到新的I分量低频部分。若avgAB(x, y)未超过阈值, 则直接取A(x, y)的对应像元值, 取α =1, a=1, β =0, b=0[15]

1.3 改进融合算法

首先, 利用PCA变换增强图像的空间纹理信息; 其次, 应用小波变换对图像高低频信息分解(可以细化到每一个细节信息, 避免了传统替代中可能忽视某些细节信息的缺点); 最后, 利用局部算法(局部方差和局部差异加权)对多光谱与全色图像的高、低频信息进行融合处理, 并采用小波逆变换得到最终融合结果图像。其中, 局部方差用于处理高频信息, 局部差异加权用于处理低频信息。局部算法可以很好地改善传统小波分解后直接替换带来的信息丢失现象, 也避免了分解过程中出现的斑块效应, 因此, 通过新方法的运算可以获得一幅高质量的融合图像。具体流程如图1所示。

图1 改进算法的图像融合流程Fig.1 Flow chart of improved algorithm for image fusion

2 数据及融合实验

本研究使用的数据包括IKONOS多光谱、全色波段遥感数据, 地形图、土地利用调查数据, 以及利用GPS获得的实测数据等。

以2003年获取的安徽省芜湖市IKONOS多光谱和全色波段图像为遥感数据源。图像覆盖区域为安徽师范大学赭山校区, 图像大小为698像元× 680像元。为便于对分类结果精度进行评价, 根据图像区域的土地利用现状图集以及野外实地考察资料, 按照B4(R)B3(G)B2(B)波段组合对原始IKONOS多光谱图像进行彩色合成。采用多项式纠正法对原始图像进行几何精纠正, 用线性内插法进行重采样, 使得原始待融合图像的像元大小一致。

数据预处理基于ERDAS和ENVI软件完成。图像融合和统计分析评价的各种算法分别在Matlab7.0和IDL6.4中实现; 面向对象分类及其精度评价通过eCognition8.6结合GPS实地采样点完成。原始图像和几种融合方法的效果对比如图2所示。

图2 原始及融合图像Fig.2 IKONOS original and fusion images

3 结果分析

为了充分评价改进算法的融合效果, 从基于视觉效果的定性分析、数理统计的定量分析以及面向对象分类精度3个方面对融合效果进行评价[16]

3.1 基于视觉效果的定性分析

1)从色彩上来看, 各种方法融合后的图像均存在一定的光谱扭曲现象。但应用局部改进融合算法的扭曲度最小(图2(f)), 尤其是对植被和居民点的光谱扭曲程度较低, 其色彩几乎与原始图像的一致; 其次为小波变换融合(图2(d)), 其居民点、道路的光谱信息保留效果好, 虽然植被信息有所扭曲, 但和原始图像基本接近, 变化较小; 基于PCA变换的融合图像(图2(c))视觉效果最差。

2)从清晰度和空间可分辨力来看, 图2(c), (d), (e), (f)的图像均比原始IKONOS多光谱图像(图2(b))清晰, 空间可分辨力更强。从图像上居民点及道路的清晰度可以明显看出, 基于局部算法改进小波变换的融合图像(图2(f))效果最好, 信息最丰富、最清晰; 其次为小波变换融合(图2(d))及其与PCA相结合融合图像(图2(e)), 信息增强较好; 基于PCA变换的融合图像视觉效果最差(图2(c))。

3.2 基于数理统计的定量分析

选择均值、方差、信息熵、相关系数以及清晰度作为评价指标, 对IKONOS多光谱与全色图像融合结果的评价如表1所示。

表1 IKONOS多光谱与全色图像融合评价参数 Tab.1 Evaluation parameters of IKONOS image fusion

表1分析可知:

1)均值反映的是图像的亮度信息, 均值越接近128, 图像的亮度越适中, 效果越好。基于局部改进算法的均值为126.14, 图像的亮度信息最适中; 其次为PCA和小波变换方法; 小波变换与PCA变换相结合融合的效果最差。

2)方差和信息熵则表现图像的信息量, 其值越大, 信息越丰富。融合后图像的方差和信息熵均大于原始多光谱图像, 表明采用融合算法获得的图像比原始多光谱图像信息丰富, 达到了图像增强的效果。基于局部改进算法的方差和信息熵分别为164.32和7.85, 在各行数据中值最大, 说明局部改进算法的信息增强效果最好; PCA与小波变换相结合的方法次之, 保留了原始2幅图像的大部分信息; 其次为小波变换方法; 基于PCA变换融合图像的方差和信息熵分别为106.72和5.82, 说明效果较差。

3)相关系数表示图像的光谱扭曲程度, 相关系数越大, 光谱扭曲越小。表1中基于局部改进算法的相关系数最大(0.86), 说明其对原始图像的光谱扭曲最小; 基于小波变换融合方法次之, 相关系数值为0.83, 接近局部改进算法, 因此光谱保留效果也较好; PCA变换的值最小, 说明光谱扭曲最大。与基于视觉效果的定性分析结果一致。

4)平均梯度是反映图像的清晰程度, 值越高, 图像越清晰。表1数据显示, 基于局部改进算法将原始图像清晰度值由1.97提高到8.81, 说明该算法所获得的融合结果图像最清晰; 其次为基于小波及其改进算法, 图像的清晰度较好; 传统的PCA变换方法清晰度为4.30, 改善效果较差。

3.3 基于面向对象分类精度评价

用基于面向对象的图像分类方法对融合前后的IKONOS图像进行分类处理, 通过对分类精度评价, 进一步比较和分析各融合方法的优缺点。面向对象的图像分类主要包括2步: ①图像的尺度分割; ②分类规则的建立。为了提高评价的效果, 文中选择同一分割尺度和分类规则对原始图像和融合图像进行分类。分类结果如图3所示。

图3 面向对象的分类结果Fig.3 Object-oriented classification results

对分类结果均从总精度以及Kappa系数角度进行评价, 结果如表2所示。

表2 几种融合图像的分类精度评价 Tab.2 Precision evaluation of fusion images

表2可以看出, 局部改进算法的分类效果最好, 将图像的分类总精度从原始的79.54%提高到了89.78%, Kappa从原来的0.796提高到了0.904。融合方法对图像分类精度的改善效果从高到低依次是: 局部改进算法、小波变换与PCA相结合法、小波变换法和PCA变换法。这与前述的定性、定量评价结果相一致。其中, 小波变换及其与PCA相结合的方法分类精度相差不大, 而局部算法在小波变换的基础上有明显改善。

综合以上3种评价结果, 文中提出的“ 基于局部算法改进小波变换的图像融合算法” 效果较好, 改善了传统小波变换方法信息丢失的缺陷, 对小波变换与PCA相结合的方法做了进一步改进, 达到了改善融合效果的目的。

4 结论与讨论

1)结合局部算法与小波变换各自的优点, 提出了一种“ 改进的小波变换图像融合算法” , 以弥补传统方法融合效果的不足, 并分别用PCA、小波变换、PCA与小波变换相结合等方法与其进行对比实验。综合以上分析, 无论从空间信息增强, 还是从光谱信息保留上, 基于局部算法改进小波变换的融合方法效果最好, 提高了图像融合中的空间信息增强与光谱信息保留的协调性; 其次为小波变换与PCA相结合的方法, 传统的PCA变换方法效果最差。

2)采用面向对象分类精度评价几种图像融合方法的效果, 改进了基于视觉效果人为因素大、数理统计评价受指标限制的缺点, 其评价结果图像可直接面向应用。

3)文中提出的融合算法及其效果评价方法, 只是对现有图像融合研究做了相关改进, 但就方法而言, 仅仅是从融合规则方面提出了一种新的小波融合算法, 如何结合神经网络、数学形态学及专家系统等理论的优点, 采用特征级和决策级的方法实现图像的高效融合, 还有待进一步探索。

The authors have declared that no competing interests exist.

参考文献
[1] 贾永红. 多源遥感影像数据融合技术[M]. 北京: 测绘出版社, 2005: 3-10.
Jia Y H. Multi-source Remote Sensing Image Data Fusion Technology[M]. Beijing: Science Press, 2005: 3-10(in Chinese). [本文引用:1]
[2] Zhang J X. Multi-source Remote Sensing Data Fusion: Status and Trends[J]. International Journal of Image and Data Fusion, 2010, 1(1): 5-24. [本文引用:1]
[3] Tupin F, Bloch I, Maitre H. A First Step Toward Automatic Interpretation of SAR Images Using Evidential Fusion of Several Structure Detectors[J]. IEEE Trans Geosci Remote Sensing, 1999, 37(3): 1327-1343. [本文引用:1]
[4] 孙家柄, 刘继琳, 李军. 多源遥感影像融合[J]. 遥感学报, 1998, 2(1): 47-49.
Sun J B, Liu J L, Li J. Multi-source Remote Sensing Image Data Fusion[J]. Journal of Remote Sensing, 1998, 2(1): 47-49(in Chinese with English Abstract). [本文引用:1]
[5] 牟凤云, 朱博勤, 贺华中. 基于小波变换的多源遥感数据融合方法研究[J]. 国土资源遥感, 2003(4): 30-34.
Mou F Y, Zhu B Q, He H Z. Research on the Fusion of Multi-source Remotely Sensed Data Based on Wavelet Transform[J]. Remote Sensing for Land and Resources, 2003(4): 30-34 (in Chinese with English Abstract). [本文引用:1]
[6] Chen Y, Xue Z Y, Blum R S. Theoretical Analysis of an Information-based Quality Measure for Image Fusion[J]. Information Fusion, 2008, 9(2): 161-175. [本文引用:1]
[7] Maslov I V, Gertner I. Multi-sensor Fusion: An Evolutionary Algorithm Approach[J]. Information Fusion, 2006, 7(3): 304-330. [本文引用:1]
[8] 贾永红, 李德仁, 孙家柄, . 四种IHS变换用于SAR与TM影像复合的比较[J]. 遥感学报, 1998, 2(2): 103-106.
Jia Y H, Li D R, Sun J B, et al. Comparison of HIS Transformation for Integrating SAR and TM Images[J]. Journal of Remote Sensing, 1998, 2(2): 103-106 (in Chinese with English Abstract). [本文引用:1]
[9] Li S T, Wang Y N, James T, et al. Using the Discrete Wavelet Frame Transform to Merge Land sat TM and SPOT Panchromatic Images[J]. Information Fusion, 2002, 3(1): 17-23. [本文引用:1]
[10] Li H, Manjunath B S, Mttra S K. Multi-sensor Image Fusion Using the Wavelet Transform[J]. Graphical Models and Image Processing, 1994, 57(3): 235-246. [本文引用:1]
[11] 李军, 周月琴, 李德仁. 小波变换用于高分辨率全色影像与多光谱影像的融合研究[J]. 遥感学报, 1999, 3(2): 116-121.
Li J, Zhou Y Q, Li D R. Fusion of High-resolution Panchromatic and Multi-spectral Images by Using Wavelet Transform[J]. Journal of Remote Sensing, 1999, 3(2): 116-121(in Chinese with English Abstract). [本文引用:1]
[12] Zhang Y, Hong G. An IHS and Wavelet Integrated Approach to Improve Pan-sharpening Visual Quality of Natural Color IKONOS and QuickBird Images[J]. Information Fusion, 2005, 6(3): 225-234. [本文引用:1]
[13] 强赞霞, 彭嘉雄, 王洪群. 基于小波变换局部方差的遥感图像融合[J]. 华中科技大学学报: 自然科学版, 2003, 31(6): 89-91.
Qiang Z X, Peng J X, Wang H Q. Remote Sensing Image Fusion Based on Local Deviation of Wavelet Transform[J]. J Huazhong Univ of Sci & Tech: Nature Science Version, 2003, 31(6): 89-91 (in Chinese with English Abstract). [本文引用:1]
[14] 詹翔, 周焰. 一种基于局部方差的雾天图像增强方法[J]. 计算机应用, 2007, 27(2): 510-512.
Zhan X, Zhou Y. Algorithm Based on Local Variance to Enhance Contrast of Fog-degraded Image[J]. Journal of Computer Applications, 2007, 27(2): 510-512 (in Chinese with English Abstract). [本文引用:1]
[15] 胡晓东, 沈占锋, 王卫红, . 基于局部差异加权的遥感影像融合方法研究[J]. 武汉大学学报: 信息科学版, 2008, 33(11): 1162-1165.
Hu X D, Shen Z F, Wang W H, et al. A New Method Based on Local Difference Powering for Remote Sensing Image Fusion[J]. Geomatics and Information Science of Wuhan University, 2008, 33(11): 1162-1165 (in Chinese with English Abstract). [本文引用:1]
[16] 徐佳, 关泽群, 何秀凤, . 基于传感器光谱特性的全色与多光谱图像融合[J]. 遥感学报, 2009, 13(1): 97-102.
Xu J, Guan Z Q, He X F, et al. Novemethod for Merging Panchromatic and Multi-spectral Images Based on Sensor Spectral Response[J]. Journal of Remote Sensing, 2009, 13(1): 97-102(in Chinese with English Abstract). [本文引用:1]