基于边界信息的多尺度遥感影像分割质量非监督评价方法
A unsupervised quality valuation method for multi-scale remote sensing image segmentation based on boundary information
责任编辑: 李瑜
收稿日期: 2021-12-15 修回日期: 2022-03-16
基金资助: |
|
Received: 2021-12-15 Revised: 2022-03-16
作者简介 About authors
苏腾飞(1987-),男,硕士,主要研究方向为面向对象图像分析算法及农田遥感应用。Email:
多尺度分割是高分辨率遥感影像信息提取的关键步骤,但是如何评价分割质量、量化分割错误一直是具有挑战性的课题。本文在边界强度信息的基础上,构建了一种非监督的分割评价方法,用于多尺度遥感影像分割的最优尺度参数选择与局部分割质量评价。分割错误包括过分割与亚分割2种,该文利用归一化边界梯度特征,分别对2类分割错误进行了建模。对过分割错误的估计考虑了斑块边缘的梯度信息,而对亚分割错误的评估运用了斑块内部梯度信息。为了验证所提出的方法,利用2景高分辨率遥感影像,开展了多尺度分割结果的评价实验,所提出方法的分割评价与实际分割效果吻合度较高。结果表明,该文方法可以有效反映斑块的过分割与亚分割错误。
关键词:
Multi-scale segmentation is a key step in the information extraction of high-resolution remote sensing images. However, the evaluation of segmentation quality and the quantification of segmentation errors are still challenging. Based on boundary strength information, this study developed an unsupervised segmentation evaluation method of selecting the optimal scale parameter and elevating the local segmentation quality for multi-scale remote sensing image segmentation. Segmentation errors include over-segmentation and under-segmentation. This study modeled the two types of errors using normalized boundary gradient characteristics. The gradient information of patch edges was considered in the estimation of over-segmentation errors, while the intra-patch gradients were employed for the assessment of under-segmentation errors. To validate the proposed method, this study conducted an experiment on the evaluation of multi-scale segmentation results using two scenes of high-resolution remote sensing images. The segmentation evaluation results of the method coincided perfectly with the actual segmentation effects. The results indicate that the method proposed in this study can effectively reflect over- and under-segmentation errors.
Keywords:
本文引用格式
苏腾飞.
SU Tengfei.
0 引言
遥感影像分割评价可大致分为监督与非监督2类方法。前者需输入实际地物(ground truth,GT)数据,该类方法包括二重欧式距离[11]、精确率与召回率[3,12]、局部与全局分割评估[13]。然而,GT的准备需要繁重的人工解译。非监督评价不需GT,该类算法包括光谱方差与Moran指数[14]、光谱变化率评价策略[15]、亚分割与过分割意识(under- and over-segmentation aware,UOA)[16-17]。然而,以上非监督评价未能明确提供局部斑块的质量。此外,以上算法主要是基于光谱信息的,而光谱会随影像场景发生变化。边界强度是一种基础的影像信息,与影像场景变化的关系较小。本文以边界强度为基础,对过分割与亚分割错误进行了估计方法建模。
1 算法原理
本文的非监督分割评价算法包含3部分: ①边界强度特征提取; ②基于边界强度的过分割评估模型; ③基于边界强度的亚分割评估模型。
1.1 边界强度特征提取
目前已存在很多遥感影像边界强度的提取方法,它们大多是基于影像的滤波操作实现的。由于遥感影像中各类地物及其背景的光谱是多样的,地物边缘的梯度大小存在很高的任意性。为了克服该问题,本文提出了一种自适应双阈值的归一化边界强度提取方法,使较为模糊的地物边界具有较高的归一化梯度值,从而强化模糊边界的信息。该方法包含5个步骤:
1)多波段影像的梯度滤波,本文采用基础的Sobel算子将其实现。
2)把多波段的梯度滤波结果进行均值合并,以得到单一波段的边界强度特征,其计算公式为:
式中: vi为像素i的合并计算结果; vi,b为像素i在第b个滤波结果的梯度值; B为波段数。
3)计算上一步合并后影像的均值vm,即
式中: vm为均值合并后影像的均值; N为像素数。
4)计算阈值Ta与Tb,即
式中Ta,Tb分别为用作归一化的下限与上限。
5)利用Ta与Tb进行归一化计算,即
式中hi为像素i归一化后的梯度值。
1.2 基于边界强度的过分割估计
式中:
当一个斑块与所覆盖的地物完全吻合时,斑块的所有边界像素都具有很高的梯度值,这使得式(5)具有接近0的数值,即很低的过分割错误; 当一个斑块仅覆盖一部分地物时,斑块的一部分或全部边界像素都具有较低的hi值,使得式(5)的计算结果接近1,即较高的过分割错误。
式(5)给出的是单一斑块的过分割错误估计模型,对于整个分割结果,可以利用斑块面积进行加权,以累计所有斑块的过分割,从而反映全局的过分割程度,即
式中: EOSE为整景影像分割结果的过分割程度; Ns为分割结果中斑块的数量; aj为斑块j的面积,用其所包含的像素数表示。EOSE与
1.3 基于边界强度的亚分割估计
与过分割相反,亚分割一般被定义为分割结果斑块大于所对应的地物,使地物形状不能被分割结果准确描述。在亚分割发生时,斑块内部包含了一部分或全部的地物边界像素,鉴于此,笔者利用了斑块内部像素的梯度信息来反映亚分割错误,即
式中:
对于一个具有亚分割错误的斑块,其内部包含了具有较高边界强度值的像素,因此式(7)中右侧累加项的数值会偏高; 相反,对于无分割错误或仅包含过分割错误的斑块,式(7)的计算结果接近0,即亚分割程度很低。
与式(6)类似,在式(7)的基础上可以给出全局亚分割误差估计的计算式,即
式中: EUSE为分割结果的全局亚分割错误,其范围是[0,1]。在实际应用中,有时需要综合考虑两种分割错误来给出总体分割质量,由此利用下式来反映全局分割精度,即
式中: ETE为全局分割错误的指标; ρ为调节参数,可以通过它来调整过分割或亚分割对全局分割质量评价的作用; 如果用户非常介意亚分割错误,可将ρ值调高(例如1.5或2.0),相反可将其调低; 一般将ρ设置为1,即平等看待2种分割错误。
2 实验
2.1 实验数据
本文采用了2景高空间分辨率影像来开展多尺度分割精度评价实验。两景影像分别由高分2号、GeoEye-1卫星获取,下文分别将其简称为T1和T2。表1列出了两景影像数据的基本信息,且图1的(a)(b)为原始影像。图1(c)(d)分别显示了T1和T2的GT提取结果,其所提取地物的数目分别为105和97。图1(e)(f)为边界信息提取结果,从中可见,T1和T2里主要地物的边界都具有较高的数值。本文采用了主流的FNEA算法[7]生成多尺度分割结果。表2列出了本实验所采用的对比方法,表中除了Σ以外指标的数值越高,表示所对应的分割错误越严重; Σ的数值越接近0,其所对应的总分割错误越低; UOA与改进UOA的φ的定义是相同的。
表1 两景高空间分辨率遥感影像的基本信息
Tab.1
简称 | 获取卫星 | 成像日期 | 分辨率/m | 影像大小/像元 | 中心经纬度 | 光谱波段信息 |
---|---|---|---|---|---|---|
T1 | 高分2号 | 2021年7月13日 | 4.00 | 400×400 | 41°6'55″N,108°11'39″E | 近红外、红色、绿色、蓝色 |
T2 | GeoEye-1 | 2018年8月14日 | 1.65 | 400×400 | 41°3'14″N,108°16'16″E | 近红外、红色、绿色、蓝色 |
图1
图1
两景影像数据与实验准备所提取的信息
Fig.1
Two scenes of image data and their extracted information in the experimental preparation
表2 5种分割评价方法中用于反映分割错误种类的指标
Tab.2
2.2 T1实验结果
对T1的多尺度分割进行评价,其结果由图2展示。容易发现,在5种评价方法的结果中,随着尺度参数的增大,用于反映过分割的指标(见表2)均呈现逐渐降低的变化,而亚分割的指标逐渐上升。用△符号标识各个总分割错误指标最优时的位置可见,5种方法的△位置差异较大; SZ监督方法的△位置与尺度参数40对应,只有本文方法的结果(尺度参数为30)与其最为接近。为了进一步分析本文评价算法对T1分割错误的描述效果,在图3绘制了本文方法对2个尺度参数分割结果的局部评价结果,即绘制了各个斑块eOSE,eUSE值的分布图。从图3(a),(b)可以看出,尺度参数在30时,大部分农田被完整分割出来,但依旧有一部分农田存在较为明显的过分割错误; 对于尺度参数为70的分割结果,虽然很多斑块较为完整地对应了其覆盖的斑块,但存在不少斑块与背景合并,导致亚分割现象。通过对比图3(c),(d),大部分含有过分割的斑块具有较高的EOSE值,且一些过分割错误不明显的斑块也具有较高的EOSE值。通过对该类斑块的进一步分析发现,其原因是斑块的边界位于农田实际边界的内部,这使得斑块边界像素的归一化梯度值较小。
图2
图2
对T1多尺度分割的评价结果
Fig.2
Evaluation results for the multi-scale segmentation of T1
图3
图3
对T2多尺度分割的评价结果
Fig.3
Evaluation results for the multi-scale segmentation of T2
图3(a)显示了各斑块的EUSE分布。当尺度参数为30时,大部分农田都具有较低的亚分割错误,而乡村建筑、道路等一些斑块,其EUSE较高。当尺度参数为70时,一些与背景合并的农田斑块具有较高的EUSE值。
2.3 T2实验结果
图3展示了5种方法对T2多尺度分割结果的整体分割质量评价。5种算法的过分割、亚分割,以及总分割错误指标随尺度参数的变化趋势是相近的,即随着尺度增加,过分割降低、亚分割升高,总分割错误先降低后升高。值得注意的是,各方法所确定的最优尺度位置(由△表示)具有一定差异: 本文方法确定的最优尺度为30,而SZ监督方法的结果是70,另外3种非监督评价方法的结果都是60。T2局部分割评价结果与T1类似,为节省篇幅,此处不再赘述。
3 结论
本文提出了一种非监督的多尺度遥感影像分割评价算法,该方法是基于边界强度信息来实现的。通过对2景高分辨率遥感影像的多尺度分割结果进行评价实验发现,本文方法的评价结果与实际分割错误的吻合程度较高,得出结论如下:
1)本文方法不仅可以估算出某个分割结果的总体评价数值,还可以量化每个斑块的分割质量,从而为用户生成分割错误分布图;
2)本文方法是非监督的,因此可用于估算多尺度分割算法的最优尺度参数,从而为优化多尺度分割算法的性能提供重要参考;
3)本文的实验是基于2景高分辨率遥感影像取得的,且唯一参数ρ被设置为1,用户可根据实际情况来调节参数ρ,来得到最佳效果。
参考文献
Segmentation for object-based image analysis(OBIA):A review of algorithms and challenges from remote sensing perspective
[J].DOI:10.1016/j.isprsjprs.2019.02.009 URL [本文引用: 1]
Semi-supervised map regionalization for categorical data
[J].DOI:10.1080/2150704X.2019.1633485 URL [本文引用: 1]
Adaptive statistical superpixel merging with edge penalty for polsar image segmentation
[J].
Watershed segmentation algorithm based on luv color space region merging for extracting slope hazard boundaries
[J].
DOI:10.3390/ijgi9040246
URL
[本文引用: 1]
To accurately identify slope hazards based on high-resolution remote sensing imagery, an improved watershed segmentation algorithm is proposed. The color difference of the Luv color space was used as the regional similarity measure for region merging. Furthermore, the area relative error for evaluating the image segmentation accuracy was improved and supplemented with the pixel quantity error to evaluate the segmentation accuracy. An unstable slope was identified to validate the algorithm on Chinese Gaofen-2 (GF-2) remote sensing imagery by a multiscale segmentation extraction experiment. The results show the following: (1) the optimal segmentation and merging scale parameters were, respectively, minimum threshold constant C for minimum area Amin of 500 and optimal threshold D for a color difference of 400. (2) The total processing time for segmentation and merging of unstable slopes was 39.702 s, much lower than the maximum likelihood classification method and a little more than the object-oriented classification method. The relative error of the slope hazard area was 4.92% and the pixel quantity error was 1.60%, which were superior to the two classification methods. (3) The evaluation criteria of segmentation accuracy were consistent with the results of visual interpretation and the confusion matrix, indicating that the criteria established in this study are reliable. By comparing the time efficiency, visual effect and classification accuracies, the proposed method has a good comprehensive extraction effect. It can provide a technical reference for promoting the rapid extraction of slope hazards based on remote sensing imagery. Meanwhile, it also provides a theoretical and practical experience reference for improving the watershed segmentation algorithm.
Machine learning-assisted region merging for remote sensing image segmentation
[J].DOI:10.1016/j.isprsjprs.2020.07.017 URL [本文引用: 1]
一种超像素上Parzen窗密度估计的遥感图像分割方法
[J].
Remote sensing image segmentation based on Parzen window density estimation of super-pixels
[J].
Multiresolution segmentation:An optimizing approach for high quality multi-scale segmentation
[C].
基于面向对象的铁尾矿信息提取技术研究——以迁西地区北京二号遥感影像为例
[J].
Information extraction technologies of iron mine tailings based on object-oriented classification:A case study of Beijing-2 remote sensing images of the Qianxi Area,Hebei Province
[J].
基于多尺度超像素的高光谱图像分类研究
[J].
Hyperspectral image classification based on multiscale superpixels
[J].
Supervised methods of image segmentation accuracy assessment in land cover mapping
[J].DOI:10.1016/j.rse.2017.11.024 URL [本文引用: 2]
Optimizing multi-resolution segmentation scale using empirical methods:Exploring the sensitivity of the supervised discrepancy measure euclidean distance 2(ED2)
[J].DOI:10.1016/j.isprsjprs.2013.11.006 URL [本文引用: 1]
Multi-scale segmentation method based on binary merge tree and class label information
[J].DOI:10.1109/ACCESS.2018.2819988 URL [本文引用: 1]
Local and global evaluation for remote sensing image segmentation
[J].DOI:10.1016/j.isprsjprs.2017.06.003 URL [本文引用: 3]
Unsupervised image segmentation evaluation and refinement using a multi-scale approach
[J].DOI:10.1016/j.isprsjprs.2011.02.006 URL [本文引用: 2]
An automated method to parameterize segmentation scale by enhancing intrasegment homogeneity and intersegment heterogeneity
[J].DOI:10.1109/LGRS.2015.2393255 URL [本文引用: 1]
Unsupervised quantification of under- and over-segmentation for object-based remote sensing image analysis
[J].
Unsupervised evaluation-based region merging for high resolution remote sensing image segmentation
[J].
/
〈 |
|
〉 |
