一种结合超像素和图论的高空间分辨率遥感影像分割方法

图1 像素搜索范围示意图

Fig.1 Pixel search scope

4)距离测量。对于每个搜索像素,计算它与种子点之间的距离,包括颜色距离和空间距离,即

(1)

D_{c} = \sqrt[]{(l_{j} - l_{i})^{2} + (a_{j} - a_{i})^{2} + (b_{j} - b_{i})^{2}}

(2)

D_{s} = \sqrt[]{(x_{j} - x_{i})^{2} + (y_{j} - y_{i})^{2}}

式中: j为种子点; i为影像中搜索像素点; D_c为影像中颜色距离; D_s为空间距离,随着聚类的改变而改变。则像素与种子点间的距离D'为

(3)

D' = \sqrt[]{{(\frac{D_{c}}{m})}^{2} + {(\frac{D_{s}}{s})}^{2}}

。

式中: D'为2个像素的相似程度,s为种子点的间距; m为平衡参数,通常选取一个不变的常数,将其取值范围设置为[1,40],用来平衡颜色值与空间信息在相似度的比重。

5)迭代优化。对步骤1)—4)进行迭代。理论上,直到误差收敛才会停止迭代(每个像素簇中心几乎是不变化的)。

6)增强连通性。经步骤5)后可能出现多重连接条件、超像素的范围不够大等问题,这些都可以使用增强连通性来处理。主要思想是: 创建一个标签列表,将表元素设置为-1,根据自顶到底、从左往右的顺序,把间断的超像素按照一定的次序将其与其他邻域的像素相结合,然后将标签与其对应像素点进行匹配,按照此种操作将所有的点都操作一遍。

1.2 图论算法

图由顶点(vertex)的集和边(edge)的集组成^[21]。在图中使用点或圆来表示顶点,连接2个顶点的线段的边代表2个对象的连接关系。图论算法首先将影像映射为带权无向图G=<V,E>,V,E分别为影像中的顶点和边。影像中每个节点也就是图的顶点对应于的每个像素,每条边连接着一对相邻的像素,边的权值表示相邻像素之间特征的非负相似度,而对影像的每一个分割就是对图的一个剪切,被分割的每个区域对应着图中的一个子图。V为图的顶点集合,E为图的边集合。e(v_i ,v_j) $\in$ E 定义为一对顶点的边,w(v_i ,v_j )为e(v_i ,v_j) $\in$ E 对应的2个像素之间的差异程度,是非负度量。在影像分割中,V被分割成独立的连通区域C_i,则有

(4)

C_{i} \in V \sum_{i = 1} C_{i} = 1, C_{i} ⋂ C_{j} = 0

使分割的子图在内部特征相似度最大,子图之间的差异性也最大。基于图论的分割方法的本质是不断移除特定的边,将图分割为若干子图,其优点在于可以充分利用各分割区域相似性与邻接关系进行区域划分。图论对SLIC算法获取的超像素进行合并方法的步骤如下:

1)设定初始影像分割数,采用SLIC算法初始化种子点(聚类中心),对遥感影像进行过分割生成超像素。利用生成的每个超像素看作一个数据点,用一个无向图G=<V,E>表示要分割的影像。

2)建立新的矩阵,输入期望的合并区域数量,图论算法检测到的所需合并的簇数,不断移除特定的边,构建多个连通子图,最终形成连通分量。

3)得到生成超像素的图论算法矩阵,2个相邻超像素的像素点i与j的距离为d_ij,根据训练数据使用曼哈顿距离定义超像素d_i和d_j 之间的相似性测度,其中d_i和d_j表示相应的超像素的特征属性。以每次分割生成图论算法中包含的超像素区域作为每次分割情况求残留误差。

4)在此基础上不断迭代,原始聚类中心在3像素×3像素种子点的邻域内,并在固定的窗口中将其移动,重新搜索标记,聚类中心终止的条件是残留误差在新聚类中心和原始聚类中心小于阈值范围,此数据点为聚类中心,直至残留误差最小。聚类中心重新建立,得到分割结果。

2 实验与分析

2.1 实验设计

本文选取了4幅不同空间分辨率、不同场景的高空间分辨率遥感影像来验证本文方法的有效性。为了更好地进行精度评价,实验设计了2种方法与本文方法进行对比,一是传统的SLIC方法,二是eCognition软件中的多尺度分割方法(即分形网络演化方法(fractal net evolution approach,FNEA)),其中FNEA算法使用2组不同尺度参数。SLIC方法的参数K设置为500; 2组FNEA方法的形状异质度和紧致度参数分别固定为0.4和0.5,尺度参数分别设置为50和100,下文记作FNEA(50)和FNEA(100); 本文方法合并参数设置为分别为68,26,25,108。

实验采用定性和定量2种方法进行精度评价。定性采用视觉比较的方法; 定量采用P-R方法^[22],具体计算公式为

(5)

Presici on = TP / (TP + FP)

(6)

Recall = TP / (TP + FN)

式中: Precision为分割精度; Recall为边界召回率; TP为地物被正确分割的样本个数; FP为背景像素被分为地物的样本个数; FN为地物像素被分为背景的样本个数。

实验环境为Inter(R)Pentium(R)四核CPU,4GB内存,Windows10操作系统,实验平台为MATLAB2018a和eCognition Developer。

2.2 实验结果

2.2.1 实验1结果与分析

实验1使用的数据为经Pansharpen融合后的QuickBird影像,包含红、绿、蓝和近红外4个波段,大小为2 480像素×975像素,空间分辨率为0.61 m。该影像主要包括道路、水体、植被等地物,如图2(a)所示; 图2(b)为遥感影像对应的参考分割结果; 影像SLIC方法生成的超像素结果如图2(c)所示,可以看出整体过分割严重,特别是水体分割破碎。为了更好地进行视觉比较,分别在图2(d)—(f)影像中的水体区域标注了红色矩形框。可以看出在内部光谱特征变化较大的水体区域内FNEA(50)产生了大量的过分割现象; 而采用FNEA(100)虽然提高尺度参数减少了过分割,但过分割的问题还是未得到很好地解决; 并且随着尺度参数的增加整个影像的过分割仍比较严重; 本文方法可以较好地区分植被与水体,水体有了很好的合并效果,分割完整,且解决了与水体光谱相近的非水体区域被错误合并的问题; 虽然由于影像空间分辨率相对较低造成了较多细小斑块的错误合并,但依然获得了较好的分割结果,对地物的总体分割结果与参考分割结果基本一致。

图2

图2 实验1影像数据及实验结果

Fig.2 Image data and experimental results of test1

根据图2,SLIC方法分割结果过分割明显,分割精度过低,因此不对其进行定量评价。表1列出了FNEA算法和本文方法对图2(a)分割结果的评价结果。从表1可以看出,本文方法分割结果的Precision大于0.8,而2个参数的FNEA算法均低于0.75,分割精度均低于本文方法。虽然空间分辨率对其结果造成一定影响,但本文方法的Recall指标(0.919 6)仍旧显著高于FNEA(50)的0.802 6和FNEA(100)的0.824 8,说明本文方法的实验分割结果与实际地物结果较为一致。

表1 实验1分割结果评价

Tab.1 Segmentation results evaluation of test1

方法	Precision	Recall
FNEA(50)	0.714 9	0.802 6
FNEA(100)	0.723 4	0.824 8
本文方法	0.805 6	0.919 6

2.2.2 实验2结果与分析

实验2使用的数据为无人机高空间分辨率遥感影像,包含红、绿、蓝3个波段,大小为726像素×468像素; 空间分辨率为0.05 m。该影像主要包括房屋、道路、植被等地物(图3(a)); 图3(b)为高空间分辨率遥感影像对应的参考分割结果; 影像过分割生成的超像素结果如图3(c)所示。从分割的区域可以看出,采用SLIC方法过分割情况明显。为了便于视觉比较分别在图3(d)—(f)的影像中标注了红色矩形框。红色矩形框所标定的是道路区域,在内部光谱特征变化较大的道路区域内FNEA(50)和FNEA(100)都产生了大量的过分割现象,FNEA(100)在50到100尺度参数不断变化的时候,过分割得到优化,但是小尺度地物依然存在过分割现象; 从图3(f)可以看出采用本文提出的方法道路被完整分割。裸地也得到了很好的合并; 植被由于光谱异质性较大,虽然也有了较好的合并但还存在过分割现象。这进一步说明了本文方法的优越性。

图3

图3 实验2影像数据及实验结果

Fig.3 Image data and experimental results of test2

同样由于SLIC方法分割结果过分割明显,分割精度过低,仅对FNEA算法和本文方法对图3(a)的分割结果进行评价,如表2所示。从表2中可以看出,本文方法分割结果的Precision为 0.856 3,大于0.85,与FNEA相比分割精度得到了显著的提高,能够将建筑物、道路、绿地等地物很好地区分开。虽然FNEA(50)和FNEA(100)的Recall指标分别达到0.823 6和0.896 3,都得到了不错的分割效果,但本文方法的Recall为0.956 8,高于0.95,分割效果更佳。

表2 实验2分割结果评价

Tab.2 Segmentation results evaluation of test2

方法	Precision	Recall
FNEA(50)	0.767 9	0.823 6
FNEA(100)	0.745 6	0.896 3
本文方法	0.856 3	0.956 8

2.2.3 实验3结果与分析

实验3使用的数据为无人机高空间分辨率遥感影像,包含红、绿、蓝3个波段,大小为979像素×586像素; 空间分辨率为0.05 m。该影像主要包括房屋、道路、植被等地物(图4(a)); 图4(b)为影像对应的参考分割结果; 影像过分割生成的超像素结果如图4(c)所示。从分割的区域可以看出,采用SLIC方法依然存在严重的过分割情况。同样分别在图4(d)—(f)的影像中标注了红色矩形框。红色矩形框所标定的是房屋区域,FNEA(50)和FNEA(100)都产生了大量的过分割现象,由于分割区域的建筑光谱异质性特别大,FNEA方法则难以区分出光谱相似的房屋对象,出现过分割现象。本文方法较好地区分了房屋与道路,较为完整地保留了房屋、植被等细小区域,可以较好地平衡影像过分割的情况。

图4

图4 实验3影像数据及实验结果

Fig.4 Image data and experimental results of test3

表3列出了2种方法对图4(a)分割结果的评价结果。从表3可以看出,本文方法分割结果的Precision为0.841 2,均高于于2种不同分割尺度FNEA方法(0.756 9和0.768 9),说明本文方法对地物分割结果优于FNEA方法; 此外本文方法的Precision高于0.84,说明它对地物的分割结果与实际地物较为一致。本文方法的Recall指标为 0.940 5,分割结果与对应参考对象的边界吻合程度都最高(但彼此间仍存在一定差异),均高于FNEA(50)的0.819 6和FNEA(100)的0.879 2,说明其分割结果更加合理有效。

表3 实验3分割结果评价

Tab.3 Segmentation results evaluation of test3

方法	Precision	Recall
FNEA(50)	0.756 9	0.819 6
FNEA(100)	0.768 9	0.879 2
本文方法	0.841 2	0.940 5

2.2.4 实验4结果与分析

实验4使用的数据为无人机高空间分辨率遥感影像,包含红、绿、蓝3个波段,大小为1 706像素×1 546像素。空间分辨率为0.05 m。该影像主要包括房屋、道路、裸地等地物(图5(a)); 图5(b)为影像对应的参考分割结果; 影像过分割生成的超像素结果见图5(c)。分别在图5(d)—(f)的影像中部分房屋区域标注了红色矩形框。从分割的区域可以看出,采用SLIC依然存在严重的过分割情况。红色矩形框中FNEA(50)和FNEA(100)依旧产生了大量的过分割现象。FNEA方法由于分割区域范围增大,相比小尺寸影像错误分割要多一些。该方法也难以区分光谱相似的房屋及裸地对象,出现了大量的过分割和欠分割现象。本文方法较好地区分了房屋与裸地,较为完整地保留了房屋、裸地的边界分割线; 绝大部分地物也被完整地分割出来。说明本文方法也适用于区域范围较大影像的分割。

图5

图5 实验4影像数据及实验结果

Fig.5 Image data and experimental results of test4

表4列出了2种方法对图5(a)分割结果的评价结果。从表4可以看出,本文方法分割结果的Precision均高于2种不同分割尺度FNEA方法,说明本文方法对尺寸较大影像的地物分割结果也同样优于FNEA方法。此外本文方法的Precision为0.801 3,精度高于0.8,说明其分割结果获得了良好效果。本文方法的Recall指标为0.855 6,分割结果与之对应参考对象的边界吻合是最高的,但是彼此之间仍然存在一定差异,精度受到了影响,但均高于FNEA(50)的0.752 6和FNEA(100)的0.798 6,虽然算法精度比尺寸较小影像的分割精度要低一些,但是2个评价指标都显著优于FNEA方法。说明本文方法对尺寸较大的高分遥感影像的分割结果也有一定的应用价值,是合理有效的。

表4 实验4分割结果评价

Tab.4 Segmentation results evaluation of test4

方法	Precision	Recall
FNEA(50)	0.698 2	0.752 6
FNEA(100)	0.724 3	0.798 6
本文方法	0.801 3	0.855 6

综上可知,本文方法对地物的分割结果与分割参考图较为一致。FNEA方法在实验的尺度下都存在明显的过分割现象。在较小分割尺度中,实验影像存在明显的过分割现象,如图3(a)中影像区域内的房屋。随着尺度参数的数值加大,房屋的分割效果显著变好,但是较小尺度地物如图3(f)中影像区域内却没有分割出来,即存在欠分割现象。本文方法很好地解决了消除过分割现象问题,而且较好地保持了分割对象边界的贴合度信息,分割的精度得到了明显提高。总而言之,对于影像内光谱特征变化较大的同种地物,FNEA易产生过分割现象,而本文方法可以较好地消除影像的过分割现象。总之,本文方法在超像素过分割结果的基础上,可进行对象合并和小尺度分割。实验表明,尺寸很小的建筑物细节能得到很好的保留; 较大尺度的地物,如水体、植被等,也可以得到完整、规则的分割。

3 结论

本文提出了一种结合SLIC超像素和图论的高分辨率遥感影像分割方法,解决了易形成过分割的问题,提升了高空间分辨率遥感图像的分割精度。本文算法将图论算法结合到超像素影像分割中,通过实验验证,得出如下结论:

1)将SLIC分割方法引入高空间分辨率影像分割算法中,产生的超像素对象边缘贴合度以及紧密度较好、超像素内部的同质性较高,避免了地物细节信息丢失的问题; 使影像更充分地利用空间背景信息,而且同时提高了分割效率。

2)将图论算法结合超像素,相比于SLIC分割方法,可以抑制超像素与实际地物过分割不完全符合造成的误差,该方法能够更为精确地完整分割地物,很好地解决了影像过分割的问题,获得了良好的合并结果,有利于提高分割精度。

3) 在结合SLIC超像素和图论的高分辨率遥感影像分割方法中,高空间分辨率影像的分辨率越高,分割效果越好,精度也越高; 地物类型越复杂,分割难度随之增加,分割精度会随之下降。

对实验结果的分析表明,不同影像的最佳参数选择可能存在差异; 不同空间分辨率影像的分割精度也会有差异。针对某些特殊目标和地物类型复杂的分割问题,以及如何合理选择初始样本以及初始样本中各类别样本数目提高算法的泛化能力和效率是后续研究的目标。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

刘婧, 李培军 .

结合结构和光谱特征的高分辨率影像分割方法

[J]. 测绘学报, 2014,43(5):466-473.

Liu

, Li P

A high resolution image segmentation method by combined structural and spectral characteristics

[J]. Acta Geodaetica Et Cartographica Sinica, 2014,43(5):466-473.

[2]

苏腾飞, 李洪玉, 屈忠义 .

高分辨率遥感图像道路分割算法

[J]. 国土资源遥感, 2015,27(3):1-6.doi: 10.6046/gtzyyg.2015.03.01.

<p>为了提高从高分辨率遥感图像(high-resolution remote sensing image,HRI)中提取道路信息的自动化程度和准确性,发展了一种HRI道路分割算法,主要包括光谱合并、边界合并和基于形状特征的道路区域提取等3个步骤。其中,前2个步骤是基于区域生长的图像分割算法。光谱合并综合考虑了区域的均值、方差等统计特征量,以提高分割精度; 边界合并采用了基于矢量梯度的边界计算方法,以准确提取多光谱HRI中的边界强度; 结合全局最优合并算法实现光谱和边界合并,以得到最优化的分割结果。在道路区域被完整分割出来的基础上,利用形状特征提取道路,采用圆形度特征区分道路和非道路。利用2景OrbView3多光谱图像进行道路提取实验的结果表明,该方法的道路提取结果总精度和Kappa系数分别在97%和0.8以上,明显优于SVM监督分类方法。</p>

Su T

, Li H

, Qu Z

A study of road segmentation from the high resolution remote sensing image

[J]. Remote Sensing for Land and Resources, 2015,27(3):1-6.doi: 10.6046/gtzyyg.2015.03.01.