基于多特征融合的遥感影像变化检测算法
Change detection based on adaptive fusion of multiple features
第一联系人: 第一作者: 王光辉(1982-),男,工程师,主要从事遥感影像数据处理、信息提取与变化检测等技术研究和软件开发工作。Email:
收稿日期: 2016-10-8 修回日期: 2016-12-3 网络出版日期: 2018-06-15
基金资助: |
|
Received: 2016-10-8 Revised: 2016-12-3 Online: 2018-06-15
Fund supported: |
|
针对传统的变化检测算法主要依赖像斑的光谱信息,未能有效地利用影像多特征检测优势的问题,基于面向对象的分析思想,提出一种多特征融合的遥感影像变化检测算法。首先,以多尺度分割的影像对象为基础,统计各对象的颜色直方图和边缘直线梯度直方图; 然后,利用推土机距离计算不同时期对象之间的颜色距离和边缘直线特征距离,采用自适应加权方法将颜色距离和边缘直线特征距离组合构建对象的异质性; 最后,采用直方图曲率分析获得像斑的变化检测结果。实验结果表明,该方法能够充分融合颜色和边缘直线特征,提高变化检测的精度。
关键词:
In view of the fact that the traditional change detection algorithm mainly depends on the spectral information and fails to effectively use image feature detection advantage, the authors put forward a multi-feature fusion of remote sensing image change detection algorithm. First, color histogram and edge histogram of gradient image object with multi-scale segmentation is statistically analyzed based on the calculation of each object. Then, the object color distance and edge linear characteristics distance between different periods are calculated by using the earth mover’s distance method; the adaptive weighted method is used to combine color distance and edge linear characteristics distance so as to construct object heterogeneity. Finally, the images change detection results are analyzed by using histogram curvature. The experimental results show that the method can fully fuse the color and edge line features and improve the accuracy of detection.
Keywords:
本文引用格式
王光辉, 李建磊, 王华斌, 杨化超.
WANG Guanghui, LI Jianlei, WANG Huabin, YANG Huachao.
0 引言
由影像派生的多特征是变化检测信息的载体,主要包括光谱、边缘和纹理等特征。利用影像对象特征进行多时相变化检测时传统的变化检测算法选用单一特征,如Bovolo等[4]采用像斑均值信息进行变化检测; 庄会富等[5]提出基于纹理特征的影像变化检测算法,通过多方向、多个纹理特征构建差异影像提高了变化检测的精度; 李松等[6]提出结合纹理分析与比率变换的变化检测算法,通过分析纹理特征,统计纹理的指标,有效地识别出滑坡灾害信息; 钟家强等[7]提出线特征变化检测算法,通过提取影像的边缘梯度信息、压缩、拟合等处理,获得变化检测结果,避免了线匹配的复杂过程,具有较强的实用性。虽然以上的算法都从不同的角度验证特征的有效性和可用性,但单一特征模型的适用性和精度并不理想。刘臻等[8]利用梯度和纹理相似度进行变化检测; 李亮等[9]将光谱信息与纹理信息结合提出多特征融合的变化检测算法; 魏立飞等[10]提出应用多特征流行嵌入模型,充分综合多特征的信息,获得了完整的变化信息。但上述多特征融合方法多采用光谱与纹理的特征,未能考虑颜色的空间分布信息以及影像的边缘特征。
鉴于上述情况,本文通过研究不同特征的特点,提出多特征自适应融合的变化检测方法,以影像对象的颜色直方图为依据,通过统计颜色直方图、边缘直线梯度直方图的最大概率差别自适应确定权值,实现颜色特征与边缘直线特征的自适应加权组合,为下一步变化强度阈值的选取做准备。
1 基于多特征融合的变化检测
为了充分利用遥感图像的颜色空间分布信息以及边缘直线梯度特征,本文提出一种基于面向对象思想的多特征融合变化检测方法。首先,运用多尺度分割算法(multi-solution segmentation)获得影像对象,并统计影像对象的颜色直方图和边缘直线梯度直方图信息; 然后,利用推土机距离(earth mover’s distance, EMD)计算不同时相影像对象之间的颜色距离和边缘直线距离,并自适应加权颜色距离和边缘直线距离,获得对象的异质性,对象的异质性越接近于0变化可能性越低,远离0则变化可能性越高; 最后,基于以上理论采用直方图曲率分析获得像斑的变化检测结果。
具体变化检测流程见图1。
图1
1.1 多尺度影像分割
fi=ωihcolor+(1-ωi)hshope , (1)
hshope=(1-ωsm)hcm+ωsmhsm , (2)
式中: ωi为第i波段光谱异质性hcolor的权重; hshope为形状异质性,通过形状平滑度的权重ωsm、形状平滑度hsm和形状紧凑度hcm确定。
1.2 颜色和边缘直线特征提取
直方图是一种空间统计特征,颜色和边缘直线梯度直方图能较好地表达对象的空间特征分布情况,为下一步计算前后2期差异提供依据。本文采用影像对象的颜色直方图和边缘直线梯度直方图来描述不同时相影像对象的光谱特征和空间特征。
1.2.1 颜色特征提取
颜色作为影像上一种直观显著的重要视觉特征,对影像的形态、大小、方向和视角依赖较小。窦建军等[13]曾将全局颜色直方图应用于图像检索领域。常用的RGB模型都存在以下不足: ①不符合人对颜色的感知心理; ②在颜色感知上存在较小差异的2个点,难以在非均匀分布的RGB颜色空间中以2个点来表示。HSV颜色空间是面向视觉感知的模型,符合人眼感知的色调、亮度和饱合度3要素,能更好地模拟人工变化检测的过程,因此能更好地用于提取颜色特征。颜色直方图的提取主要包括2步: ①RGB模型与HSV模型转换; ②HSV的量化。
首先,RGB模型转换成HSV模型,具体公式为
V=
S=1-
H=
θ=cos-1
式中: R,G和B分别为红光、绿光和蓝光波段影像。经过HSV颜色变换,影像上的每一个像素点都可以用H,S和V来表示; 然后,依据人眼对颜色感知的特性,对HSV 3分量均匀量化,将H,S和V分别空间量化为8,5和5份; 最后,统计获得影像对象的颜色直方图。
1.2.2 边缘直线特征提取
高空间分辨率遥感图像纹理比较丰富,采用canny,soble和lapace等算子可以直接提取低矮建筑物区的边缘,但边缘比较琐碎,难以表达影像对象的特征。本文采用line segment detector算子[14]检测遥感图像中几何形状明显的目标。由于直线区域的灰度通常是不连续的,直线上每一像素对应一个梯度方向,基于直线像素点的梯度方向建立的直方图能够表示影像对象的形状特征,对于发生变化的对象能很好地反映前后2期的差异。对于影像上点(x,y)处f(x,y)的梯度定义为
▽f(x,y)=
梯度是一个矢量,其大小和方向为
G(f(x,y))=|▽f(x,y) |=
θ(x,y)=arctan (Gy/Gx) , (9)
式中θ(x,y)为f(x,y)在该点的灰度变化最大的方向。根据直线像素点方向统计直线梯度方向直方图H(i)。直线梯度直方图表征影像对象直线取向的分布特征,不同时相变化的影像对象具有不同的直线分布。
1.3 直方图距离
2个不同时期的影像对象变化程度可以用对象之间的距离表示。距离越大,对象间变化的可能性越大。目前常用的直方图距离有欧式距离、巴氏距离、直方图相交距离和卡方距离等。这些距离测度,只比较直方图对应位置的差异,要求提取影像的颜色特征和边缘直线特征必须严格对应,而由于遥感影像“同物异谱,异物同谱”现象的存在,误差是不可避免的。而EMD对影像目标形变、光照变化及噪声具有更好的鲁棒性[15],能更好地描述对应对象之间的相似度。其数学模型描述如下: 直方图A有n个bin,每个bin的值为binA1,binA2,…,binAn,直方图B也有n个bin,每个bin的值为binB1,binB2,…,binBn,cij=
DEMD=
1.4 相似性自适应组合
颜色特征与边缘直线特征的组合是实现多特征融合的关键之一,常用方法为加权组合。设DHSVEMD和DLINEEMD分别为颜色相似度和边缘直线相似度,ωhsv和ωline分别为对应的权重,则颜色和边缘直线的加权组合为
DIS=
为此,本文提出一种自适应的权重确定方法。根据统计计算前后2期对象的颜色直方图和直线梯度直方图动态调整颜色和边缘直线特征的权重。首先,计算前后2期对象的颜色直方图和直线梯度直方图; 然后,以直方图所表达的信息动态调整权重。对于颜色比较单一的区域,颜色值会比较集中分布在某几个值附近,使得直方图中最大概率的值比较大; 对于边缘直线特征比较明显的对象,边缘直线梯度直方图差别就比较大。如图2所示,图2(a)中2个方框区域2013年为植被区域,图2(b)中2015年已被建设成道路。图2(c)和(d)分别为2013年和2015年的颜色直方图和边缘直线梯度直方图,可以看出2个区域2 a间的直线梯度直方图相接近,但是颜色直方图存在较大的差异。
图2
图3
通过以上分析,当前后2期的颜色差别较大时,颜色直方图的最大概率差别也较大; 当前后2期的边缘直线特征差别比较大时,直线梯度直方图的最大概率差别也就较大。据此,根据颜色直方图和直线梯度直方图的差别情况自适应地设置颜色与边缘直线权重,即
k1=abs[max(hsvt1)-max(hsvt2)] , (12)
k2=abs[max(linet1)-max(linet2)] , (13)
式中max(hsv)和max(line)分别为颜色直方图和直线梯度直方图的最大概率值。
颜色直方图的最大概率值一定程度上反映了颜色信息。因此当颜色信息占主导时,颜色权重应适当增大,反之颜色权重应适当减小。颜色权重的表达式为
ωhsv=
1.5 直方图曲率分析
令所有对象异质性值的集合为D={D1,D2,…,Dn},异质性值接近0,表示图像变化可能性越小; 越远离0值地区,则变化的可能性越大。影像上大部分是没有发生变化的,则异质性直方图是逐渐递减的一种形态。本文采用异质性直方图曲率分析(histogram curvature analysis,HCA)方法确定变化检测阈值,该方法自适应能力较强。
影像对象的异质性值呈现出单侧正态分布趋势,且对象中变化区域和非变化区域的异质性往往会有很明显的差异,通过分析直方图的曲率可以确定变化检测的阈值。依据微积分基本原理,曲率值越小表示曲线的弯曲程度比较缓,曲线发生突变的可能性就越小; 而对于离散数据其曲率值k可近似表达为
k=
式中f(i)为第i个位置对应的频率值。取k最大值对应的i作为变化检测的最优阈值,实现最终变化区域的提取。
2 结果与讨论
2.1 实验数据
实验数据采用苏州市某城区的2013年和2015年资源三号卫星遥感影像,尺寸大小为1 800像素×1 420像素,空间分辨率为2.1 m,由蓝光、绿光、红光和近红外4个波段组成; 影像已经经过影像配准和直方图匹配等预处理。实验数据如图4所示。
图4
2.2 实验分析
实验采用多尺度分割算法对配准和直方图匹配后的多时相遥感影像进行分割,获得具备光谱和形状同质性的对象。最优分割尺度根据经验和知识确定; 形状因子参与形状一致度的权重,最优的形状因子能够得到合理边界的影像对象; 紧致度表示影像对象的规则程度,紧致度过大则分割后影像地物不唯一,出现不纯净的对象。最终确定分割参数分别为: ①分割尺度为100、形状因子为0.45、紧致度为0.5; ②分割尺度为80、形状因子为0.5、紧致度为0.64。然后将前后2个时期的分割结果进行叠加生成最终的矢量文件如图5(a)所示。图5(b)为标准变化检测结果,其中黑色表示未变化区域,白色表示变化区域。为了验证多特征融合算法的有效性,将单一特征、固定权重算法同本文算法进行了比较,检测结果如图6所示。图6中椭圆为虚检区域,矩形为漏检区域。6种变化检测结果的精度评定如表1所示。
图5
图6
表1 不同权重变化检测结果精度比较
Tab.1
参数 | ωhsv=1 ωline=0 | ωhsv=0.7 ωline=0.3 | ωhsv=0.5 ωline=0.5 | |||
---|---|---|---|---|---|---|
变化 | 未变化 | 变化 | 未变化 | 变化 | 未变化 | |
实际变化/m2 | 684 947.40 | 781 227.60 | 926 630.50 | 575 792.40 | 814 214.35 | 739 430.11 |
实际未变化/m2 | 319 829.90 | 9 790 902.40 | 391 942.40 | 9 682 541.80 | 393 480.80 | 9 629 782.05 |
合计/m2 | 1 004 777.30 | 10 572 130.00 | 1 318 572.90 | 10 258 334.20 | 1 207 695.15 | 10 369 212.16 |
虚检率 | 0.32 | 0.30 | 0.33 | |||
漏检率 | 0.53 | 0.38 | 0.46 | |||
正确率 | 0.90 | 0.92 | 0.90 | |||
参数 | ωhsv=0.3 ωline=0.7 | ωhsv=0 ωline=1 | 本文算法 | |||
变化 | 未变化 | 变化 | 未变化 | 变化 | 未变化 | |
实际变化/m2 | 1 090 209.13 | 348 681.20 | 1 288 899.00 | 177 276.00 | 1 174 865.98 | 327 581.02 |
实际未变化/m2 | 583 248.27 | 9 554 768.70 | 867 573.00 | 9 243 159.20 | 374 527.02 | 9 699 933.08 |
合计/m2 | 1 673 457.40 | 9 903 449.90 | 2 156 472.00 | 9 420 435.20 | 1 549 393.00 | 10 027 514.10 |
虚检率 | 0.35 | 0.40 | 0.24 | |||
漏检率 | 0.24 | 0.12 | 0.22 | |||
正确率 | 0.92 | 0.91 | 0.94 |
表2 不同变化检测算法精度比较
Tab.2
3 结论
基于面向对象的分析思想,本文提出了一种多特征融合的遥感影像变化检测算法。实现了颜色特征与边缘直线特征的自适应加权组合,为融合HSV颜色直方图与边缘直线梯度直方图进行变化检测提供了一种思路。采用直方图曲率分析获得像斑的变化检测结果,实现了变化检测最优阈值的自动确定。实验结果表明,该方法依据像斑的光谱信息,充分、有效地挖掘和融合了影像多特征的检测优势,降低了虚检率和漏检率,提高了变化检测的正确率。为了进一步提高变化检测的精度,后继研究将在本文基础上,引入纹理和形状等特征信息。
参考文献
遥感影像融合的自适应变化检测(英文)
[J].提出一种基于影像融合和自适应阈值选择的遥感影像变化检测方法.首先利用经过改进的融合技术对原始数据的差值影像和比值影像进行处理,构造融合影像,在该融合影像的基础上进行自适应迭代运算得到初步变化阈值范围,然后通过分析阈值范围两侧影像像元的离散程度,求解最终的阈值范围,从而得到更优变化阈值,提取变化区域.实验结果表明,本文方法的检测精度优于传统的变化检测方法,同时具有一定的稳定性和智能性.
Adaptive change method of remote sensing image fusion
[J].
Object-level change detection based on full-scale image segmentation and its application to Wenchuan Earthquake
[J].
DOI:10.1007/s11431-008-6017-y
URL
[本文引用: 1]
Aiming at object fragmentation and poor detection results caused by discontinuous segmentation scale in object-level change detection, a new object-level change detection method based on the full-scale object tree is presented in this paper. The core idea of this new algorithm is to establish the full-scale object tree based on convexity model theory and integrate full-scale image segmentation techniques and change detection into the whole process. Some Wenchuan Earthquake images are taken as an example to discuss the new method for earthquake damage detection and evaluation in urban area, landslide detection, and extraction of barrier lake boundary. The application shows that the new method is robust and it provides an advanced tool for the quantitative detection and evaluation of earthquake damage.
A new approach toward object-based change detection
[J].
DOI:10.1007/s11431-010-3215-1
URL
[本文引用: 1]
Object-based change detection has been the hotspot in remote sensing image processing.A new approach toward object-based change detection is proposed.The two different temporal images are unitedly segmented using the mean shift procedure to obtain corresponding objects.Then change detection is implemented based on the integration of corresponding objects intensity and texture differences.Experiments are conducted on both panchromatic images and multispectral images and the results show that the integrated measure is robust with respect to illumination changes and noise.Supplementary color detection is conducted to determine whether the color of the unchanged objects changes or not when dealing with multispectral images.Some verification work is carried out to show the accuracy of the proposed approach.
A novel approach to unsupervised change detection based on a semisupervised SVM and a similarity measure
[J].
DOI:10.1109/TGRS.2008.916643
URL
[本文引用: 1]
This paper presents a novel approach to unsupervised change detection in multispectral remote-sensing images. The proposed approach aims at extracting the change information by jointly analyzing the spectral channels of multitemporal images in the original feature space without any training data. This is accomplished by using a selective Bayesian thresholding for deriving a pseudotraining set that is necessary for initializing an adequately defined binary semisupervised support vector machine classifier. Starting from these initial seeds, the performs change detection in the original multitemporal feature space by gradually considering unlabeled patterns in the definition of the decision boundary between changed and unchanged pixels according to a semisupervised learning algorithm. This algorithm models the full complexity of the change-detection problem, which is only partially represented from the seed pixels included in the pseudotraining set. The values of the classifier parameters are then defined according to a novel unsupervised model-selection technique based on a similarity measure between change-detection maps obtained with different settings. Experimental results obtained on different multispectral remote-sensing images confirm the effectiveness of the proposed approach.
纹理特征向量与最大化熵法相结合的SAR影像非监督变化检测
[J].合成孔径雷达(SAR)影像具有明显的斑点噪声,在变化检测中,一般需要考虑空间邻域信息。本文结合SAR影像丰富的纹理信息,提出一种考虑空间邻域信息的高分辨率SAR影像非监督变化检测方法,用基于灰度共生矩阵(GLCM)的32维纹理特征向量构造差异影像。通过最大化熵法自动选取阈值,对精度指标随窗口大小的变化进行回归分析,得到适合于变化检测的窗口为11×11。试验表明,本文方法优于马尔科夫随机场法,可以减小斑点噪声的影响,有效提高高分辨率SAR影像变化检测的精度。
SAR images unsupervised change detection based on combination of texture feature vector with maximum entropy principle
[J].
基于变化检测的滑坡灾害自动识别
[J].
DOI:10.3969/j.issn.1000-3177.2010.01.006
URL
[本文引用: 1]
在分析当前滑坡灾害信息识别方法的基础上,指出这些方法的适用性和不足之处,并针对这些不足之处,以滑坡的地学原理为依据,提出了以多时相遥感影像为数据源,结合纹理分析的变化检测自动识别滑坡灾害信息的方法。最后,以地震前(2006-5-14)后(2008-6-3)的北川县城及附近区域的福卫2号多光谱遥感影像作为数据源,以结合比率变换和纹理分析的变化检测进行滑坡灾害信息识别试验。结果表明,结合纹理分析的变化检测方法能够突破影像光谱特征的局限,对于滑坡灾害信息识别具有显著的适用性。
Automatic recognition of landslides based on change detection
[J].
基于自适应参数估计的多时相遥感图像变化检测
[J].
Multitemporal remote sensing image change detection based on adaptive parameter estimation
[J].
基于相似度验证的自动变化探测研究
[J].
DOI:10.3321/j.issn:1007-4619.2005.05.004
URL
Magsci
[本文引用: 1]
变化检测技术越来越多地应用于城市遥感分析和应用领域,但目前城市变化检测的研究主要基于中低空间分辨率的遥感数据,使用的方法也主要是像元直接比较法或者是分类后比较法。提出一种基于变化向量分析和相似度验证相结合的变化检测方法,应用高空间分辨率影像来快速实现城市建筑物、街道等目标的自动变化检测。并详细阐述了变化目标的提取以及验证的方法和过程,其结果真实地反映了地面目标的实际变化程度和类型。
Study on change detection automatically based on similarity calibration
[J].
融合多特征的遥感影像变化检测方法
[J].
DOI:10.13485/j.cnki.11-2089.2014.0138
Magsci
[本文引用: 4]
<p>本文提出了一种面向对象的多特征融合的变化检测方法。首先通过影像分割获取像斑,然后统计各像斑的光谱直方图和LBP(local binary patterns)纹理直方图,利用G统计量计算不同时期像斑之间的光谱距离和纹理距离,采用自适应的方法将光谱距离和纹理距离加权构建像斑的异质性,最后结合EM(expectation maximization)算法和贝叶斯最小错误率理论获取像斑的变化类别。在QuickBird影像上的实验表明该方法能够充分融合光谱特征和纹理特征,从而提高变化检测的精度。</p>
Change detection method for remote sensing images based on multi-features fusion
[J].
基于MSE模型的高分辨率遥感图像变化检测
[J].目前, 传统高光谱分辨率遥感图像变化检测方法大多基于单一特征信息进行处理, 没有综合影像所有特征信息, 难以检测出完整的变化信息。 为此, 提出了一种基于多特征流形嵌入模型(multiview spectral embedding, MSE)的高分辨遥感图像变化检测方法, 利用该模型对图像特征变化信息向量中所有的变化信息进行融合, 获得完整的检测结果。 实验结果表明, 本文方法的检测精度好于传统的变化检测方法, 并且稳定性良好。
Change detection from high-resolution remote sensing image based on MSE model
[J].
结合光谱、纹理与形状结构信息的遥感影像分割方法
[J].
On combining spectral,textural and shape features for remote sensing image segmentation
[J].
基于面向对象和规则的遥感影像分类研究
[J].
DOI:10.3321/j.issn:1671-8860.2006.04.009
[本文引用: 2]
讨论了面向对象和规则的光学遥感影像分类方法。首先利用多尺度分割形成影像对象,建立对象的层次结构,计算对象的光谱特征、几何特征、拓扑特征等,利用对象、特征形成分类规则,并通过不同对象层间信息的传递和合并实现对影像的分类。并以北京城市土地利用分类为例,对该方法进行了验证。
Classification of remot sensing image based on object oriented and class rules
[J].
基于颜色直方图的图像检索技术
[J].讨论了基于颜色直方图的图像检索中颜色空间和直方图距离的选择问题,提出了利用颜色直方图来检索图像的一般框架,建立了基于两种颜色空间(RGB和HSV)和四种直方图距离共八种图像检索算法,并且采用了两种客观评价标准对所建立算法的有效性进行评价.结果证明,在基于颜色直方图的应用中,HSV空间比RGB空间更有效,EMD距离在所有四种距离量度中性能较好,但计算量稍大,与EMD距离相比,虽交集距离性能稍有不足,但所需计算量较小.
Histogram-based color image retrieval
[J].
LSD:A line segment detector
[J].
DOI:10.5201/ipol.2012.gjmr-lsd
URL
[本文引用: 2]
LSD is a linear-time Line Segment Detector giving subpixel accurate results. It is designed to work on any digital image without parameter tuning. It controls its own number of false detections: On average, one false alarms is allowed per image. The method is based on Burns, Hanson, and Riseman's method, and uses an a-contrario validation approach according to Desolneux, Moisan, and Morel's theory. The version described here includes some further improvement over the one described in the original article.
目标再确认中基于推土机距离的关联度建立
[J].
DOI:10.13245/j.hust.15S1104
URL
[本文引用: 2]
提出了一种通过建立不同视角下目标间的关联度函数进行目标再确认的方法,用关联度值的高低来衡量目标间的同一性程度,并用于跨摄像头目标再确认.该方法首先提取目标整体和局部特征的直方图,然后对每种直方图分别计算推土机距离(EMD),并对不同的特征分量分配不同的加权值,建立不同视角下目标的关联度函数.通过对不同摄像头下的多组目标进行再确认实验,并与传统的基于余弦角距离度量算法相比较,结果表明该算法取得了较好的目标再确认结果,具有一定的优越性.
The establishment of correlative degree in target re-identification based on earth mover’s distance
[J].
Segmentation of multispectral high-resolution satellite imagery based on integrated feature distributions
[J].
DOI:10.1080/01431160903475308
URL
[本文引用: 3]
Texture features are useful for segmentation of high-resolution satellite imagery. This paper presents an efficient feature extraction method that considers the spatial and cross-band relationships of pixels in multispectral or colour images. The texture feature of an image region is represented by the joint distribution of two texture measures calculated from the first two principal components (PCs). Similarly, the spectral feature of the region is the joint distribution of greyscale pixel values of the two PCs. The texture distributions computed by a rotation invariant form of local binary patterns (LBP) and spectral distributions are adaptively combined into coarse-to-fine segmentation based on integrated multiple features (SIMF). The feasibility and effectiveness of the SIMF segmentation approach is evaluated with multispectral high-resolution satellite imagery and colour textured mosaic images under different conditions.
/
〈 |
|
〉 |
