自然资源遥感, 2023, 35(1): 35-40 doi: 10.6046/zrzyyg.2021444

技术方法

基于边界信息的多尺度遥感影像分割质量非监督评价方法

苏腾飞,

内蒙古农业大学水利与土木建筑工程学院,呼和浩特 010018

A unsupervised quality valuation method for multi-scale remote sensing image segmentation based on boundary information

SU Tengfei,

College of Water Conservancy and Civil Engineering, Inner Mongolia Agricultural University, Hohhot 010018, China

责任编辑: 李瑜

收稿日期: 2021-12-15   修回日期: 2022-03-16  

基金资助: 内蒙古自治区高等学校科学研究项目“对象级主动学习的河套灌区遥感作物分类算法研究”(NJZY22495)
与国家自然科学基金项目“面向对象的河套灌区遥感作物分类算法研究”(61701265)

Received: 2021-12-15   Revised: 2022-03-16  

作者简介 About authors

苏腾飞(1987-),男,硕士,主要研究方向为面向对象图像分析算法及农田遥感应用。Email: stf1987imau.edu.cn

摘要

多尺度分割是高分辨率遥感影像信息提取的关键步骤,但是如何评价分割质量、量化分割错误一直是具有挑战性的课题。本文在边界强度信息的基础上,构建了一种非监督的分割评价方法,用于多尺度遥感影像分割的最优尺度参数选择与局部分割质量评价。分割错误包括过分割与亚分割2种,该文利用归一化边界梯度特征,分别对2类分割错误进行了建模。对过分割错误的估计考虑了斑块边缘的梯度信息,而对亚分割错误的评估运用了斑块内部梯度信息。为了验证所提出的方法,利用2景高分辨率遥感影像,开展了多尺度分割结果的评价实验,所提出方法的分割评价与实际分割效果吻合度较高。结果表明,该文方法可以有效反映斑块的过分割与亚分割错误。

关键词: 边界信息; 多尺度分割; 分割质量; 非监督评价

Abstract

Multi-scale segmentation is a key step in the information extraction of high-resolution remote sensing images. However, the evaluation of segmentation quality and the quantification of segmentation errors are still challenging. Based on boundary strength information, this study developed an unsupervised segmentation evaluation method of selecting the optimal scale parameter and elevating the local segmentation quality for multi-scale remote sensing image segmentation. Segmentation errors include over-segmentation and under-segmentation. This study modeled the two types of errors using normalized boundary gradient characteristics. The gradient information of patch edges was considered in the estimation of over-segmentation errors, while the intra-patch gradients were employed for the assessment of under-segmentation errors. To validate the proposed method, this study conducted an experiment on the evaluation of multi-scale segmentation results using two scenes of high-resolution remote sensing images. The segmentation evaluation results of the method coincided perfectly with the actual segmentation effects. The results indicate that the method proposed in this study can effectively reflect over- and under-segmentation errors.

Keywords: boundary information; multi-scale segmentation; segmentation quality; unsupervised evaluation

PDF (3319KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

苏腾飞. 基于边界信息的多尺度遥感影像分割质量非监督评价方法[J]. 自然资源遥感, 2023, 35(1): 35-40 doi:10.6046/zrzyyg.2021444

SU Tengfei. A unsupervised quality valuation method for multi-scale remote sensing image segmentation based on boundary information[J]. Remote Sensing for Land & Resources, 2023, 35(1): 35-40 doi:10.6046/zrzyyg.2021444

0 引言

影像分割是遥感影像解译的基础步骤[1-2]。近年来,多种遥感影像分割算法应运而生[3-6],其中分型网演化算法(fractal net evolution approach,FNEA)[7-9]在多种遥感影像解译中成功应用,然而其分割错误依旧难以避免[10]。因此,发展分割错误评价方法具有重要意义。

遥感影像分割评价可大致分为监督与非监督2类方法。前者需输入实际地物(ground truth,GT)数据,该类方法包括二重欧式距离[11]、精确率与召回率[3,12]、局部与全局分割评估[13]。然而,GT的准备需要繁重的人工解译。非监督评价不需GT,该类算法包括光谱方差与Moran指数[14]、光谱变化率评价策略[15]、亚分割与过分割意识(under- and over-segmentation aware,UOA)[16-17]。然而,以上非监督评价未能明确提供局部斑块的质量。此外,以上算法主要是基于光谱信息的,而光谱会随影像场景发生变化。边界强度是一种基础的影像信息,与影像场景变化的关系较小。本文以边界强度为基础,对过分割与亚分割错误进行了估计方法建模。

1 算法原理

本文的非监督分割评价算法包含3部分: ①边界强度特征提取; ②基于边界强度的过分割评估模型; ③基于边界强度的亚分割评估模型。

1.1 边界强度特征提取

目前已存在很多遥感影像边界强度的提取方法,它们大多是基于影像的滤波操作实现的。由于遥感影像中各类地物及其背景的光谱是多样的,地物边缘的梯度大小存在很高的任意性。为了克服该问题,本文提出了一种自适应双阈值的归一化边界强度提取方法,使较为模糊的地物边界具有较高的归一化梯度值,从而强化模糊边界的信息。该方法包含5个步骤:

1)多波段影像的梯度滤波,本文采用基础的Sobel算子将其实现。

2)把多波段的梯度滤波结果进行均值合并,以得到单一波段的边界强度特征,其计算公式为:

vi=1BbBvi,b

式中: vi为像素i的合并计算结果; vi,b为像素i在第b个滤波结果的梯度值; B为波段数。

3)计算上一步合并后影像的均值vm,即

vm=1NiNvi

式中: vm为均值合并后影像的均值; N为像素数。

4)计算阈值TaTb,即

Ta=vm2Tb=Ta+vm

式中Ta,Tb分别为用作归一化的下限与上限。

5)利用TaTb进行归一化计算,即

hi=0    vi<Ta1    vi>Tbvi-TaTa-Tb 

式中hi为像素i归一化后的梯度值。

1.2 基于边界强度的过分割估计

影像分割的错误包含过分割与亚分割2种[10,13]。过分割通常被定义为分割结果斑块小于所对应的地物,使地物不能被完整表示。在过分割发生时,斑块的边界与地物边界的吻合度较低; 进一步而言,对于过分割的斑块,其一部分或全部边界是位于地物内部的。鉴于地物内部的像素具有较低的梯度,而地物边界的像素具有较高的梯度,因此提出以下模型,在地物边界强度信息的基础上量化某一斑块的过分割错误,即

eOSE,j=1-iNB,jhiNB,j

式中: eOSE,j为斑块j的过分割错误; NB,j为斑块j中边界像素的数目,它反映了斑块j的边界长度; hi为斑块j中第i个边界像素的归一化梯度值,其范围是[0,1]。

当一个斑块与所覆盖的地物完全吻合时,斑块的所有边界像素都具有很高的梯度值,这使得式(5)具有接近0的数值,即很低的过分割错误; 当一个斑块仅覆盖一部分地物时,斑块的一部分或全部边界像素都具有较低的hi值,使得式(5)的计算结果接近1,即较高的过分割错误。

式(5)给出的是单一斑块的过分割错误估计模型,对于整个分割结果,可以利用斑块面积进行加权,以累计所有斑块的过分割,从而反映全局的过分割程度,即

EOSE=1jNsajjNsaj·eOSE,j

式中: EOSE为整景影像分割结果的过分割程度; Ns为分割结果中斑块的数量; aj为斑块j的面积,用其所包含的像素数表示。EOSEeOSE,j的数值范围都是[0,1],值越高说明过分割越明显。

1.3 基于边界强度的亚分割估计

与过分割相反,亚分割一般被定义为分割结果斑块大于所对应的地物,使地物形状不能被分割结果准确描述。在亚分割发生时,斑块内部包含了一部分或全部的地物边界像素,鉴于此,笔者利用了斑块内部像素的梯度信息来反映亚分割错误,即

eUSE,j=min1,1200·exp(-0.001·aj)iNIN,jhi

式中: eUSE,j为斑块j的亚分割错误; aj为斑块j的面积,即其像素数目; exp(·)为以自然对数为底的幂函数; NIN,j为斑块j的内部像素数,即除去斑块j边界的所有像素数; hi与式(5)中的定义相同; 式(7)采用min(1,·)函数的目的是对亚分割错误进行归一化,防止亚分割显著(包含很多地物边界像素)的斑块具有过高的eUSE,j数值。值得一提的是,式(7)中的200和0.001都是经验常数,它们的大小是根据多次试验确定的; 此外,式(7)的分母项包含了斑块的面积信息,引入此信息的原因是基于一个较为广泛认可的事实: 当一个斑块具有较大面积时,其包含亚分割错误的概率越大,因此式(7)里min函数右侧项的计算结果也偏大,从而凸显亚分割的程度。

对于一个具有亚分割错误的斑块,其内部包含了具有较高边界强度值的像素,因此式(7)中右侧累加项的数值会偏高; 相反,对于无分割错误或仅包含过分割错误的斑块,式(7)的计算结果接近0,即亚分割程度很低。

与式(6)类似,在式(7)的基础上可以给出全局亚分割误差估计的计算式,即

EUSE=1jNsajjNsaj·eUSE,j

式中: EUSE为分割结果的全局亚分割错误,其范围是[0,1]。在实际应用中,有时需要综合考虑两种分割错误来给出总体分割质量,由此利用下式来反映全局分割精度,即

ETE=EOSE+ρ·EUSE

式中: ETE为全局分割错误的指标; ρ为调节参数,可以通过它来调整过分割或亚分割对全局分割质量评价的作用; 如果用户非常介意亚分割错误,可将ρ值调高(例如1.5或2.0),相反可将其调低; 一般将ρ设置为1,即平等看待2种分割错误。

2 实验

2.1 实验数据

本文采用了2景高空间分辨率影像来开展多尺度分割精度评价实验。两景影像分别由高分2号、GeoEye-1卫星获取,下文分别将其简称为T1和T2。表1列出了两景影像数据的基本信息,且图1的(a)(b)为原始影像。图1(c)(d)分别显示了T1和T2的GT提取结果,其所提取地物的数目分别为105和97。图1(e)(f)为边界信息提取结果,从中可见,T1和T2里主要地物的边界都具有较高的数值。本文采用了主流的FNEA算法[7]生成多尺度分割结果。表2列出了本实验所采用的对比方法,表中除了Σ以外指标的数值越高,表示所对应的分割错误越严重; Σ的数值越接近0,其所对应的总分割错误越低; UOA与改进UOA的φ的定义是相同的。

表1   两景高空间分辨率遥感影像的基本信息

Tab.1  Basic information of two remote sensing images of high spatial resolution

简称获取卫星成像日期分辨率/m影像大小/像元中心经纬度光谱波段信息
T1高分2号2021年7月13日4.00400×40041°6'55″N,108°11'39″E近红外、红色、绿色、蓝色
T2GeoEye-12018年8月14日1.65400×40041°3'14″N,108°16'16″E近红外、红色、绿色、蓝色

新窗口打开| 下载CSV


图1

图1   两景影像数据与实验准备所提取的信息

Fig.1   Two scenes of image data and their extracted information in the experimental preparation


表2   5种分割评价方法中用于反映分割错误种类的指标

Tab.2  The metrics used in the 5 evaluation approaches to reflect segmentation errors of different types

方法名称反映过分
割的指标
反映亚分
割的指标
反映总分
割质量的指标
本文方法EOSEEUSEETE
JX方法[14]全局Moran指数(vGMI)面积加权方差(vawv)指标分值(vGS)
UOA方法[16]θφΣL2
改进UOA方法[17]θφΣL2
SZ监督方法[13]全局过分割错误(vGOSE)全局亚分割错误(vGUSE)全局分割错误(vTE)

新窗口打开| 下载CSV


2.2 T1实验结果

对T1的多尺度分割进行评价,其结果由图2展示。容易发现,在5种评价方法的结果中,随着尺度参数的增大,用于反映过分割的指标(见表2)均呈现逐渐降低的变化,而亚分割的指标逐渐上升。用△符号标识各个总分割错误指标最优时的位置可见,5种方法的△位置差异较大; SZ监督方法的△位置与尺度参数40对应,只有本文方法的结果(尺度参数为30)与其最为接近。为了进一步分析本文评价算法对T1分割错误的描述效果,在图3绘制了本文方法对2个尺度参数分割结果的局部评价结果,即绘制了各个斑块eOSE,eUSE值的分布图。从图3(a),(b)可以看出,尺度参数在30时,大部分农田被完整分割出来,但依旧有一部分农田存在较为明显的过分割错误; 对于尺度参数为70的分割结果,虽然很多斑块较为完整地对应了其覆盖的斑块,但存在不少斑块与背景合并,导致亚分割现象。通过对比图3(c),(d),大部分含有过分割的斑块具有较高的EOSE值,且一些过分割错误不明显的斑块也具有较高的EOSE值。通过对该类斑块的进一步分析发现,其原因是斑块的边界位于农田实际边界的内部,这使得斑块边界像素的归一化梯度值较小。

图2

图2   对T1多尺度分割的评价结果

Fig.2   Evaluation results for the multi-scale segmentation of T1


图3

图3   对T2多尺度分割的评价结果

Fig.3   Evaluation results for the multi-scale segmentation of T2


图3(a)显示了各斑块的EUSE分布。当尺度参数为30时,大部分农田都具有较低的亚分割错误,而乡村建筑、道路等一些斑块,其EUSE较高。当尺度参数为70时,一些与背景合并的农田斑块具有较高的EUSE值。

2.3 T2实验结果

图3展示了5种方法对T2多尺度分割结果的整体分割质量评价。5种算法的过分割、亚分割,以及总分割错误指标随尺度参数的变化趋势是相近的,即随着尺度增加,过分割降低、亚分割升高,总分割错误先降低后升高。值得注意的是,各方法所确定的最优尺度位置(由△表示)具有一定差异: 本文方法确定的最优尺度为30,而SZ监督方法的结果是70,另外3种非监督评价方法的结果都是60。T2局部分割评价结果与T1类似,为节省篇幅,此处不再赘述。

3 结论

本文提出了一种非监督的多尺度遥感影像分割评价算法,该方法是基于边界强度信息来实现的。通过对2景高分辨率遥感影像的多尺度分割结果进行评价实验发现,本文方法的评价结果与实际分割错误的吻合程度较高,得出结论如下:

1)本文方法不仅可以估算出某个分割结果的总体评价数值,还可以量化每个斑块的分割质量,从而为用户生成分割错误分布图;

2)本文方法是非监督的,因此可用于估算多尺度分割算法的最优尺度参数,从而为优化多尺度分割算法的性能提供重要参考;

3)本文的实验是基于2景高分辨率遥感影像取得的,且唯一参数ρ被设置为1,用户可根据实际情况来调节参数ρ,来得到最佳效果。

参考文献

Hossain M, Chen D.

Segmentation for object-based image analysis(OBIA):A review of algorithms and challenges from remote sensing perspective

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150(1):115-134.

DOI:10.1016/j.isprsjprs.2019.02.009      URL     [本文引用: 1]

Beauchemin M.

Semi-supervised map regionalization for categorical data

[J]. International Journal of Remote Sensing, 2019, 40(24):9401-9411.

DOI:10.1080/2150704X.2019.1633485      URL     [本文引用: 1]

Xiang D, Wang W, Tang T, et al.

Adaptive statistical superpixel merging with edge penalty for polsar image segmentation

[J]. IEEE Transactions on Geo-scienceand Remote Sensing, 2019, 58(4):2412-2429.

[本文引用: 2]

Zhang M, Xue Y, Ge Y, et al.

Watershed segmentation algorithm based on luv color space region merging for extracting slope hazard boundaries

[J]. ISPRS International Journal of Geo-Information, 2020, 9(4):246.

DOI:10.3390/ijgi9040246      URL     [本文引用: 1]

To accurately identify slope hazards based on high-resolution remote sensing imagery, an improved watershed segmentation algorithm is proposed. The color difference of the Luv color space was used as the regional similarity measure for region merging. Furthermore, the area relative error for evaluating the image segmentation accuracy was improved and supplemented with the pixel quantity error to evaluate the segmentation accuracy. An unstable slope was identified to validate the algorithm on Chinese Gaofen-2 (GF-2) remote sensing imagery by a multiscale segmentation extraction experiment. The results show the following: (1) the optimal segmentation and merging scale parameters were, respectively, minimum threshold constant C for minimum area Amin of 500 and optimal threshold D for a color difference of 400. (2) The total processing time for segmentation and merging of unstable slopes was 39.702 s, much lower than the maximum likelihood classification method and a little more than the object-oriented classification method. The relative error of the slope hazard area was 4.92% and the pixel quantity error was 1.60%, which were superior to the two classification methods. (3) The evaluation criteria of segmentation accuracy were consistent with the results of visual interpretation and the confusion matrix, indicating that the criteria established in this study are reliable. By comparing the time efficiency, visual effect and classification accuracies, the proposed method has a good comprehensive extraction effect. It can provide a technical reference for promoting the rapid extraction of slope hazards based on remote sensing imagery. Meanwhile, it also provides a theoretical and practical experience reference for improving the watershed segmentation algorithm.

Su T F, Liu T X, Zhang S W, et al.

Machine learning-assisted region merging for remote sensing image segmentation

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 168(1):89-123.

DOI:10.1016/j.isprsjprs.2020.07.017      URL     [本文引用: 1]

张大明, 张学勇, 李璐, .

一种超像素上Parzen窗密度估计的遥感图像分割方法

[J]. 国土资源遥感, 2022, 34(1):53-60.doi:10.6046/gtzyyg.2021089.

[本文引用: 1]

Zhang D M, Zhang X Y, Li L, et al.

Remote sensing image segmentation based on Parzen window density estimation of super-pixels

[J]. Remote Sensing for Land and Resources, 2022, 34(1):53-60.doi:10.6046/gtzyyg.2021089.

[本文引用: 1]

Baatz M, Schäpe A.

Multiresolution segmentation:An optimizing approach for high quality multi-scale segmentation

[C]. Angewandte Geographich Informationsverarbeitung, 2000,XII,12-23.

[本文引用: 2]

范莹琳, 娄德波, 张长青, .

基于面向对象的铁尾矿信息提取技术研究——以迁西地区北京二号遥感影像为例

[J]. 自然资源遥感, 2021, 33(4):153-161.doi:10.6046/zrzyyg.2021027.

[本文引用: 1]

Fan Y L, Lou D B, Zhang C Q, et al.

Information extraction technologies of iron mine tailings based on object-oriented classification:A case study of Beijing-2 remote sensing images of the Qianxi Area,Hebei Province

[J]. Remote Sensing for Natural Resources, 2021, 33(4):153-161.doi:10.6046/zrzyyg.2021027.

[本文引用: 1]

王华, 李卫卫, 李志刚, .

基于多尺度超像素的高光谱图像分类研究

[J]. 自然资源遥感, 2021, 33(3):63-71.doi:10.6046/zrzyyg.2020344.

[本文引用: 1]

Wang H, Li W W, Li Z G, et al.

Hyperspectral image classification based on multiscale superpixels

[J]. Remote Sensing for Natural Resources, 2021, 33(3):63-71.doi:10.6046/zrzyyg.2020344.

[本文引用: 1]

Costa H, Foody G M, Boyd D S.

Supervised methods of image segmentation accuracy assessment in land cover mapping

[J]. Remote Sensing of Environment, 2018, 205(2):338-351.

DOI:10.1016/j.rse.2017.11.024      URL     [本文引用: 2]

Witharana C, Civco D L.

Optimizing multi-resolution segmentation scale using empirical methods:Exploring the sensitivity of the supervised discrepancy measure euclidean distance 2(ED2)

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 87(1):108-121.

DOI:10.1016/j.isprsjprs.2013.11.006      URL     [本文引用: 1]

Su T F, Zhang S W.

Multi-scale segmentation method based on binary merge tree and class label information

[J]. IEEE Access, 2018, 6(1):17801-17816.

DOI:10.1109/ACCESS.2018.2819988      URL     [本文引用: 1]

Su T F, Zhang S W.

Local and global evaluation for remote sensing image segmentation

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 130(1):256-276.

DOI:10.1016/j.isprsjprs.2017.06.003      URL     [本文引用: 3]

Johnson B, Xie Z.

Unsupervised image segmentation evaluation and refinement using a multi-scale approach

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011, 66(1):473-483.

DOI:10.1016/j.isprsjprs.2011.02.006      URL     [本文引用: 2]

Yang J, He Y, Weng Q.

An automated method to parameterize segmentation scale by enhancing intrasegment homogeneity and intersegment heterogeneity

[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(6):1282-1286.

DOI:10.1109/LGRS.2015.2393255      URL     [本文引用: 1]

Troya-Galvis A, Gançarski P, Passat N, et al.

Unsupervised quantification of under- and over-segmentation for object-based remote sensing image analysis

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 8(5):1936-1945.

[本文引用: 2]

Su T F.

Unsupervised evaluation-based region merging for high resolution remote sensing image segmentation

[J]. GIScience & Remote Sensing, 2019, 56(6):811-842.

[本文引用: 2]

/

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发