一种改进的基于超像素的多光谱图像分割方法

doi:10.6046/gtzyyg.2019.01.08

一种改进的基于超像素的多光谱图像分割方法

张永梅¹, 孙海燕¹, 胥玉龙²

1.北方工业大学计算机学院,北京 100144

2.太钢型材厂,太原 030003

An improved multispectral image segmentation method based on super-pixels

ZHANG Yongmei¹, SUN Haiyan¹, XU Yulong²

1.Computer College, North China University of Technology, Beijing 100144,China

2.Section Steel Mill of Tisco, Taiyuan, 030003, China

责任编辑: 张仙

收稿日期: 2018-01-2 修回日期: 2018-05-11 网络出版日期: 2019-03-15

基金资助:

国家自然科学基金项目“多源遥感图像识别关键技术研究”. 61371143
北方工业大学学科建设项目“计算机科学与技术优势学科”共同资助. XN044

Received: 2018-01-2 Revised: 2018-05-11 Online: 2019-03-15

作者简介 About authors

张永梅(1967-),女,博士,教授,研究方向为图像处理。Email:zhangym@ncut.edu.cn。。

摘要

在面向对象多光谱图像分割方法中,初始对象特征往往无法反映真实区域的整体特征,从而产生错误的合并结果。针对以上问题,提出采用简单线性迭代聚类(simple linear iterative clustering, SLIC)超像素与结构张量粗分割相结合的方法对其进行改进。先采用SLIC超像素方法产生初始过分割结果,用结构张量产生尺度空间下的粗分割结果,再用粗分割结果指导超像素进行初步合并,使分形网络演化方法(fractal net evolution approach,FNEA)所面向的初始对象能够表达该区域的整体特征,增强后续合并过程对噪声的抗性。将该方法与传统FNEA的分割结果对比表明,该方法具有良好的抗噪能力,对复杂城区高空间分辨率多光谱图像能够得到较好的分割结果。

关键词： 超像素 ; 多光谱图像 ; 图像分割 ; 分形网络演化

Abstract

In the object-oriented multispectral image segmentation, the initial object feature may not reflect the global feature of the whole region and can lead to an incorrect merge. To solve the problem, this paper proposes a method that combines the result of the simple linear iterative clustering(SLIC) super pixel and the rough segmentation result of structure tensor. First, the SLIC process is executed to get an over-segmentation result. Then, make sure the feature of the initial object of the fractal net evolution approach can reflect the real distribution of the whole region, and do the pre-merging between the super pixels under the control of the rough segmentation result of the structure tensor in the scale space. This process can enhance the anti-noise capability of the following merging process. Finally, the final results are given; compared with the results of the traditional fractal net evolution approach(FNEA), the result shows that the method proposed in the paper has better anti-noise capability, and can get better segmentation results even in handling the complex city multispectral images.

Keywords： super pixel ; multispectral image ; image segmentation ; fractal net evolution approach

PDF (5121KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张永梅, 孙海燕, 胥玉龙. 一种改进的基于超像素的多光谱图像分割方法. 国土资源遥感[J], 2019, 31(1): 58-64 doi:10.6046/gtzyyg.2019.01.08

ZHANG Yongmei, SUN Haiyan, XU Yulong. An improved multispectral image segmentation method based on super-pixels. REMOTE SENSING FOR LAND & RESOURCES[J], 2019, 31(1): 58-64 doi:10.6046/gtzyyg.2019.01.08

0 引言

高空间分辨率多光谱图像蕴含丰富的信息,这些信息在测绘、导航、无人驾驶、城市规划等多个领域均获得了广泛应用,因此研究多光谱图像的自动处理与分析具有较高的理论及应用价值。多光谱图像自动处理最基础的一步就是多光谱图像的分割。好的多光谱图像分割结果不仅能够减少后续处理的计算量,同时还能够突出地物所具有的拓扑特征,从而提高后续识别结果的准确率。

目前影响最为广泛的多光谱图像分割方法是eCognition软件在面向对象分类过程中所使用的分形网络演化方法(fractal net evolution approach,FNEA)^[1]。该方法通过计算初始分割图斑的光谱相似性和形状相似性来度量各个对象间的异质度,通过异质度控制对象自下而上逐层聚合。这种自下而上、逐层合并的思想对多光谱图像分割产生了较为深远的影响,已有学者对诸如尺度选择、权值获取、合并条件等相关方面进行了深入研究,例如: 黄亮等^[2]考虑在面向对象影像分割过程中加入Canny边缘,从而降低了显著地物的破碎程度; 贾春阳等^[3]对FNEA中光谱与形状异质度权值的自适应获取进行研究,将各光谱分量对异质度的贡献引入到异质性权值的计算中,从而实现权值的自适应获取; Peng等^[4]将均值漂移方法与FNEA相结合,增强了其提取显著地物的能力,减少了分割后产生的对象数量; 邓富亮等^[5]则通过快速扫描法进行多次迭代,构建FNEA的初始对象,在提高计算效率的同时,提高了分割结果的准确性。

在多光谱图像中“同谱异物”和“同物异谱”现象较为普遍,因此仅仅将光谱相似度、形状相似度与尺度参数相结合并不能得到符合人类认知的分割结果,如何在上层知识指导下进行多光谱图像分割的问题亟待解决。本文提出采用简单线性迭代聚类(simple linear iterative clustering, SLIC)方法与结构张量(structure tensor, ST)^[6]相结合的多光谱图像分割方法,实现多种信息指导下的多光谱图像分割过程。

1 改进的多光谱图像分割方法

针对传统FNEA过程起点过低、光谱异质度与形状异质度难以平衡的问题,本文采用超像素分割方法限制分形网络演化过程所面向对象的尺度下限,利用ST粗分割结果指导超像素进行预合并。改进的多光谱图像分割方法基于FNEA框架,具体步骤包括图像预处理、基于SLIC的尺度下限约束、ST粗分割和面向对象分割等步骤。图像预处理主要采用双边滤波方法,采用SLIC超像素分割对预处理后图像进行初步过分割,结合ST矩阵的特征值对生成的超像素进行初步聚合,根据FNEA的异质度计算方法进行面向对象的合并过程,根据文献[7]中提供的最佳尺度选择方法选择尺度参数,从而得到最终分割结果。

1.1 面向对象分割过程

传统FNEA异质度的计算面向对象进行,即不论待合并的目标是单个像素还是已经合并过的区域,均将其视为一个对象。文献[3]中,传统异质度计算方法考虑对象的光谱异质度 $h_{colour}$ 和形状异质度 $h_{shape}$ ,计算公式分别为

(1)

h_{colour} = \overset{s}{\sum_{k = 1}} w_{k} [n_{mg} σ_{k}^{mg} - (n_{ob 1} σ_{k}^{ob 1} + n_{ob 2} σ_{k}^{ob 2})]

(2)

h_{shape} = w_{cpt} h_{cpt} + (1 - w_{cpt}) h_{smooth}

式中: s为光谱波段数量; w_k为第k波段的权值,k=1,2,…,s; ob1和ob2为相邻2个待合并对象; mg为2对象合并结果; n为其下标所示对象中像素的数量; $σ_{k}^{}$ 代表其上标所示对象第k波段的光谱方差; h_cpt为紧致度; h_smooth为光滑度,通过调整权值 $w_{cpt}$ 来调节二者间平衡,二者的计算公式为

(3)

h_{cpt} = n_{mg} \frac{l_{mg}}{\sqrt[]{n_{mg}}} - (n_{ob 1} \frac{l_{_{ob 1}}}{\sqrt[]{n_{_{ob 1}}}} + n_{ob 2} \frac{l_{ob 2}}{\sqrt[]{n_{ob 2}}})

(4)

h_{smooth} = n_{mg} \frac{l_{mg}}{b_{mg}} - (n_{ob 1} \frac{l_{_{ob 1}}}{b_{ob 1}} + n_{ob 2} \frac{l_{o b 2}}{b_{ob 2}})

式中: l为其下标所示对象的边界长度; b为其下标所示对象的最小外接矩形周长。

最后,通过形状权值 $w_{shape}$ 调节形状异质度和光谱异质度间平衡,得到总的异质度f,即

(5) $f = w_{shape} h_{shape} + (1 - w_{shape}) h_{colour}$ 。

在完成相邻2个对象间异质度的计算后,采用最小生成树方法,寻找近邻对象对中互为异质度最小的对象进行合并,更新合并产生的对象与其近邻对象的异质度,重复合并过程,直到生成的子树个数或异质度达到尺度参数阈值,停止合并,产生最终的分割结果。

由此可见,传统FNEA算法是一种自下而上进行聚合的算法,其在聚合过程中仅仅考虑对象对的局部最优特性,且聚合对象的起点为像素级,因此如果形状异质度权值较小,则很容易因为单个像素的粘连导致2个不相干区域被聚合成一类,使对象失去原有的拓扑特征。针对以上问题,本文方法通过超像素约束对象的最小尺度,通过ST粗分割使对象获得初步的形状特征,从而在对象的光谱异质度较高的情况下,依然能够产生反映地物拓扑特征的分割结果。

1.2 基于SLIC的尺度下限约束方法

通过将图像分割成超像素,能有效降低计算冗余,提升计算效率,而且更能反映图斑间的拓扑结构,有利于后续计算。超像素已经引起各界学者的广泛关注,是目标识别、智能解译、图像分割等领域的研究热点。本文选用的SLIC超像素分割方法于2010年由Achanta等^[8]首次提出,文献[9]将该方法与N-cut^[10],Graph-cut^[11],Turbopixel^[12]和Quick-shift^[13]等其他超像素分割方法进行了对比,结果表明SLIC超像素分割方法在边界拟合度、计算复杂度、区域紧致度等方面的表现均优于其他超像素分割算法,是一种分割结果比较符合人类认知的超像素分割法。因此本文选用该方法对多光谱图像进行预分割。

1.2.1 初始种子点选取

默认情况下,SLIC方法仅仅需要设定参数K给出希望获得的超像素的大体数量。但文献[7]在实际计算过程中通过设定种子点间的初始分布间距S来控制种子点在全图呈均匀分布,即

(6)

S = \sqrt[]{N / K}

式中: N为一幅图像包含的像素总数; K为想要获得的超像素个数。因此,也可以通过设定期望得到的超像素块的平均大小来间接得到K,即

(7)

K = N / p

式中p为期望获得的每个超像素所包含的平均像素个数。为了避免种子点的位置落在边缘上,令种子点在其初始位置周围3像素×3像素空间内进行搜索,从而确保种子点能够落在初始位置周边梯度最小的地方。

1.2.2 分类空间与相似度计算

SLIC依据像素间的CIELAB颜色空间相似性与x-y空间坐标相似性进行聚合。首先,将RGB颜色空间下的图像转换到LAB颜色空间; 然后,加上x坐标与y坐标,从而为每个像素i产生一个五维空间 $C^{i} = {l^{i}, a^{i}, b^{i}, x^{i}, y^{i}}$ ,每个像素与种子点像素间的加权距离D的计算公式为

(8)

D = \sqrt[]{d_{lab}^{2} + {(\frac{d_{s}}{S})}^{2} / m^{2}}

式中: m为权值; $d_{lab}$ 与 $d_{s}$ 分别为2个像素i和j在颜色空间与坐标空间中的距离,计算公式分别为

(9)

d_{lab} = \sqrt[]{(l_{i} - l_{j})^{2} + (a_{i} - a_{j})^{2} + (b_{i} - b_{j})^{2}}

(10) $d_{s} = \sqrt[]{(x_{j} - x_{i})^{2} + (y_{j} - y_{i})^{2}}$ 。

本文方法将 $d_{lab}$ 和 $d_{s}$ 分开计算后通过权值m合成最终距离D,有利于控制超像素的紧致度。m的取值范围为[1,40]。本文方法希望超像素分割结果能够较好地贴合地物边缘,同时又不过于毛躁,因此设定m为20。

1.2.3 迭代聚合

在初始种子点位置确定后,SLIC采用K-means方法进行聚类,与传统K-means方法的区别在于,SLIC在搜索过程中仅求取种子点周围2S像素×2S像素范围内每个像素与种子点像素间的加权距离D。执行一遍算法后,更新每个超像素的五维空间均值,即 $C^{i + 1} = {l^{i + 1}, a^{i + 1}, b^{i + 1}, x^{i + 1}, y^{i + 1}}$ 。重复进行上述步骤,直到聚类结果稳定或达到最大迭代次数限制,迭代结束。对于一些孤立点和面积过小的聚类,将其与最近邻类别进行聚合,获得最终的超像素分割结果。

图1给出了p为分别为300,500,800和1 000情况下的超像素分割结果,对应的最终超像素数量分别为2 834,1 705,1 062和854。可以看到,在非边缘处,在d_s距离约束下可以获得十分平整、近似棋盘网格般的分割结果。而在边缘部分,在较小尺度中超像素边缘与图像边缘贴合良好,但噪声滤除效果较差; 在更大尺度分割结果中,噪声部分被纳入其他超像素中,成为其他超像素的一部分,但在部分边缘处易发生过度聚合,因此选择合适的超像素尺度对于后续处理过程十分重要。在实验中发现,最理想的超像素分割粒度p应接近所关注地物的最小宽度的平方,例如,如果分割所面向的最小道路的宽度约为10像素,那么p的理想范围大约在50150之间。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 p分别为300,500,800和1000像素的超像素分割结果

Fig.1 Super pixel segmentation results while p is 300,500,800 and 1000

以SLIC分割结果作为FNEA的起点,不仅能有效减少后续对象合并过程中的计算量,还可以限制FNEA所面向对象的尺度下限,在滤除尺度小于下限噪声的同时,避免因像素粘连而导致的欠分割和误分割问题。

1.3 基于ST的预合并方法

生成超像素后,由于超像素所具有的局部区域特性,在形状异质度权值较小的情况下,像素粘连等导致的欠分割问题得到了很大改善,但如何凸显地物的固有形状特征问题仍需解决。针对以上问题,本文提出采用结构张量结合滤波方法提取图像的平滑区域,基于平滑区域对超像素进行预合并,从而使合并后对象能够反映该区域的初步光谱特征和形状特征。

对于二维图像 $I$ 每个像素处的结构张量 $ST$ 为

(11)

\begin{array}{l} S T_{(i, j)} = G_{σ} \times (▽ I▽ I^{T}) \\ = [\begin{array}{l} G_{σ} \times I_{x}^{2} & G_{σ} \times I_{x} I_{y} \\ G_{σ} \times I_{x} I_{y} & G_{σ} \times I_{y}^{2} \end{array}] \\ = [\begin{array}{l} J_{11} & J_{12} \\ J_{12} & J_{22} \end{array}] \end{array}

式中: $▽ I = (I_{x}, I_{y})^{T}$ 为图像在该像素点处的梯度向量; $G_{σ}$ 为相应的滤波方法; $σ$ 为相应参数; J₁₁,J₁₂,J₂₁和J₂₂分别为 $ST$ 的4个要素。

通过选取不同的滤波器及参数,ST能够将局部像素点信息与周围邻域信息相结合^[6],从而反映该处的纹理、角点、边缘等信息。常见的滤波器包括高斯滤波器、Gabor滤波器^[14]和各向异性滤波器^[15]。通常情况下,选择高斯滤波器会使边缘信息模糊而导致分割不准确,但本文方法中,分割的最终边缘来源于超像素的边缘,选择高斯滤波器能够通过控制 $σ$ 产生尺度空间滤波结果,因此本文选择 $G_{σ}$ 为高斯滤波器。

$λ_{1}$ 和 $λ_{2}$ 为 $ST$ 的2个特征值,即

(12) $λ_{1,2} = \frac{1}{2} (J_{11} + J_{22} \pm \sqrt[]{(J_{11} - J_{22})^{2} + 4 J_{12}^{2}})$ 。

这2个特征值反映了该点的区域模式: 当 $λ_{1} \approx λ_{2} \approx 0$ 时表明该区域变化较为平缓; 当 $λ_{1} > λ_{2} \approx 0$ 时,该处为图像的边缘区域; 而当 $λ_{1} \approx λ_{2} > 0$ 时,该点往往为角点^[16]。因此根据每个像素点处的特征值能够有效区分该像素所处区域的特征,根据 $λ_{1} \approx λ_{2} \approx 0$ 获得初步粗分割结果。之后结合超像素与连通域分析,如果超像素在阈值界定后的图像上是连通的,表明2个超像素周边区域具有较高一致性,则合并相应超像素,完成基于ST的预合并过程。

在图像预处理后,通过ST对图像进行预合并,使其形成内部具有一致性的小的分割区域,从而从每个分割区域中得到颜色、形状、纹理等区域特征。图2为对超像素分割结果进行预合并后的结果。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 p=300条件下预合并结果

Fig.2 Pre-merging result with p equals to 300

在加入ST预分割后,初始超像素个数由2 834被预合并成983个对象,减少了后续合并工作的计算量; 同时可以看到,区域相似性高的部分被优先合并,生成的更大对象,具有更稳定的区域特征; 并且道路等狭长区域被合并,从而优先产生形状特征较为突出的对象,使后续对象异质度的计算与合并更加准确。

2 实验结果与分析

在Matlab 2014a平台下进行2组实验。实验1为比较简单场景下的多光谱图像,图像来源为美国佛罗里达州郊区的多波段融合图像,空间分辨率为0.54 m,图像包含道路、绿地、建筑3类地物。实验2为较复杂的北京城区多波段融合图像,空间分辨率为0.46 m,本组图像同时包含停车场、道路、建筑、阴影、天桥、绿地和车辆等多种地物,场景比较复杂。对比实验选取eCognition的经典FNEA方法和加入超像素方法后的FNEA方法。

图3给出实验1的分割结果,图3中的4幅图像依次为原图像、eCognition的FNEA分割结果、加入超像素后SLIC+FNEA结果和本文方法结果,具体参数设置如下: eCognition分割参数选取为形状异质度权重为0.1,紧致度权重为0.5,尺度参数为160; 超像素选择p=300,m=20。根据文献[6]方法,确定最小生成树的子树个数为118,即2幅图像中分割结果包含118个区域。图3(c)和(d)中橙色方框区域为过分割和欠分割部分。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 实验1分割结果

Fig.3 Segmentation results of test 1

从图3可以看出,在形状异质度较小的情况下,FNEA分割结果的绿地部分分割较为完整,但在绿色和红色边框标识出的2个分割区域中,由于细小像素的粘连,道路与建筑物被联合在一起。FNEA方法得到的最终分割结果中对象数量为104个,且随着尺度参数增加,粘连现象更为严重,很难进一步推进分割结果的合并(图3(b))。加入SLIC超像素后,粘连现象被有效抑制,但在图中橙色方框的位置,可以看见道路区域存在过分割现象,同一条显著道路被分割成3块,随着形状异质度的增加,这种过分割会更加严重。可以看到,在最终分割结果中,道路区域分割较为完整,但在林地区域出现了部分过分割现象(图3(c))。在分割过程中加入ST预分割后,初始合并对象个数由2 834个减少到983个,合并过程计算时间由0.88 s缩短到0.79 s,缩短量较少,主要是由于合并过程中,对象间异质度计算涉及每个对象的均值与方差,面积较大的对象间异质度的计算更加耗时,提升程序运行速度需要进一步考虑更有效的对象间异质度计算方法。

为了定量说明实验结果的准确性,对实验1图像借助eCognition的manual editing功能进行了目视解译,解译结果如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 实验1目视解译结果

Fig.4 Visual interpretation result of test 1

经统计,解译结果中共有53个建筑物,1条道路,23片绿地,4片连续森林,10个较明显的独立树木或灌木,共91个地物。但观察实际分割结果可以发现,独立树木等地物因与周围草地具有的光谱特征相近,很难被分割,而在森林部分,阴影导致光谱特征变化剧烈,因此实际分割结果得到的分割对象数往往大于理想值。

根据文献[7],选择Kappa系数和区域一致性系数(object-level consistency error,OCE)作为定量描述指标,其中Kappa系数反映了分割结果与实际解译结果一致性的程度,而OCE系数则是从对象过分割与欠分割程度的角度对分割结果进行描述,OCE系数越接近0,说明分割结果越接近实际解译结果,越接近1,说明分割结果中过分割或者欠分割现象越严重。表1给出了在目视解译结果基础上,3种方法的量化分析结果,可以看到,在简单场景的分类结果中,传统FNEA因为存在将房屋与道路化为一类,Kappa系数较低,仅为0.543 1,OCE系数较高,而在加入超像素限制尺度下限和结构张量预处理后,道路区域提取结果被进一步优化,分类精度明显提升,OCE系数明显下降。本文方法Kappa系数仅为0.724 1,与单纯使用超像素方法的OCE系数相比差异不大,主要是因为林地区域的过分割带来的影响。

表1 实验1定量分析结果

Tab.1 Quantitative analysis results of test 1

	FNEA	SLIC+FNEA	本文方法
Kappa	0.543 1	0.694 4	0.724 1
OCE	0.672 5	0.451 3	0.321 0

新窗口打开| 下载CSV

实验2的实验图像为北京地区多光谱图像,实验结果如图5所示。图5中4幅图像依次为: 原图像、FNEA分割结果、SILC+FNEA分割结果和本文方法结果。具体参数设置如下: FNEA形状异质度权重为0.1,紧致度权重为0.5,尺度参数为160; 超像素选择p=300,m=20; 最小生成树的子树个数为190。此时超像素分割结果中含有3 043个超像素,合并用时0.98 s,经过ST预分割后,初始对象数为1 276,合并用时0.92 s。图5(b)中典型粘连区域用红色和绿色标出,图5(c)和(d)中的橙色方框区域为过分割和欠分割区域。可以看到,在复杂场景下,SLIC+FNEA分割结果存在严重过分割和欠分割现象,道路与周边停车场因“同谱异物”现象严重,不能很好地被区分开,并且分割结果严重破坏了道路地物自身的形状特征与拓扑特性。而添加了ST预分割过程后,道路部分与停车场等地物被较好地区分,且仍然保留有自身的形状特征与拓扑特性。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 实验2分割结果

Fig.5 Segmentation results of test 2

因实验2场景复杂,目视解译难度较大,因此将本场景中最容易与周边地物混淆的道路地物分割结果提取出来,比较3种方法的道路地物提取结果。图6给出了手工获取的道路区域分割图和3种方法的道路提取结果。其中图6(b)中,道路区域由红色标出,可以看到FNEA分割结果由于像素粘连,分割结果中出现明显空洞区域,空洞区域与周边粘连部分用绿色区域标出。加入空洞区域后,会对后续量化结果的计算造成较大影响。在其他2种方法进行道路区域提取过程中,也是基于这种区域最佳匹配思想进行提取的。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 实验2道路提取结果

Fig.6 Road extraction results of test 2

为了更加全面地对分割结果进行描述,在文献[17]对道路提取结果进行量化描述的准确率和遗漏率2个指标基础之上,添加错分率指标,来描述分割结果中误分割部分所造成的影响,其中错分率为错分面积与理想道路面积之比。定量分析结果如表2所示。从表2中可以看到,本文方法具有最高的准确率(0.851 8)和最低的遗漏率(0.147 2),而在错分率上,则是传统的FNEA方法分割结果占优,仅为0.382 2,这是因为像素级分割结果中,较差部分更容易被判定为非最佳匹配区域,而在基于超像素的分割结果中,错分的基础即为超像素,所以带来的错分率也会有所增大。

表2 实验2定量分析结果

Tab.2 Quantitative analysis results of test 2

	FNEA	SLIC+FNEA	本文方法
准确率	0.850 1	0.849 5	0.851 8
遗漏率	0.149 9	0.150 5	0.147 2
错分率	0.382 2	0.543 8	0.420 5

新窗口打开| 下载CSV

3 结论与展望

1)与传统FNEA分割结果相比较,引入SLIC方法后的分割结果能够兼顾图像边缘与尺度下限,有效减少因像素粘连导致的区域粘连或欠分割现象。

2)在超像素分割的基础上引入ST预分割,能够较好地考虑到被分割对象的局部统计特征,对道路、停车场等局部特征相似但实际分布有明显区别的地物分割结果改进较大,所得结果更加符合人类观测。

3)本文所选用超像素分割方法在进行CIELAB颜色空间的光谱相似性计算过程中,仅仅利用R,G,B波段下的信息,而多光谱图像所具有的多波段、多层次特性没有被充分利用,故在未来的工作中,拟考虑将多波段特征引入超像素分割方法中,进一步提升遥感图像的信息利用率。

4)本文方法对于纹理信息的考虑也仍有所欠缺,在复杂居民区和广场、林地等区域分割效果有待改进。在今后进一步的研究中,会考虑将纹理信息纳入对象间异质度分析,以提升分割结果的准确性。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

马燕妮, 明冬萍, 杨海平 .

面向对象影像多尺度分割最大异质性参数估计

[J]. 遥感学报, 2017,21(4):566-578.

DOI:10.11834/jrs.20176374 URL [本文引用: 1]

多尺度分割是遥感影像分析的关键步骤,影像分割过程中的尺度参数选择直接关系到面向对象影像分析的质量和精度.首先,总结了面向对象影像分析中尺度概念的内涵,分析遥感影像空间和属性两大基本特征,依据空间统计和光谱统计获得理论上最优的空间尺度分割参数、属性尺度分割参数.其次,运用了基于谱空间统计的高分辨率影像分割尺度估计方法,分析了分形网络演化多尺度分割与影像谱空间统计特征的关系,进而将基于谱空间统计的面向对象影像分析尺度参数应用于分形网络演化多尺度分割算法中,最后,对其参数的合理性进行验证.研究采用高空间分辨率IKONOS和SPOT 5影像数据,选择建筑实验区和农田实验区进行空间和光谱特征统计,以进一步估计分割中的最佳尺度参数.使用分形网络演化方法对图像进行分割,利用监督分类对本文提出的尺度估计方法进行验证,验证结果表明尺度估计方法可以一定程度上保证后续的面向对象影像分类的精度.不同于以往分割后评价的尺度选择方法会需要大量的运算量,本文方法不需要先验知识的参与,且在分割前就可以自适应地估计出相对较为合适的尺度参数,提高了面向对象信息提取的自动化程度.

Ma Y

, Ming D

, Yang H

Scale estimation of object-oriented image analysis based on spectral-spatial statistics

[J]. Journal of Remote Sensing, 2017,21(4):566-578.

[本文引用: 1]

[2]

黄亮, 左小清, 冯冲 , 等.

基于Canny算法的面向对象影像分割

[J]. 国土资源遥感, 2011,23(4):26-30.doi: 10.6046/gtzyyg.2011.04.05.

URL Magsci [本文引用: 1]

面向对象的影像分析方法是当前信息提取的研究热点,而影像分割是面向对象方法的核心技术,分割效果的好坏直接影响影像对象的提取。将Canny算法在边缘检测上的优势同面向对象信息提取软件eCognition 8.0提供的二次开发平台结合在一起,提出一种基于Canny算法的面向对象的影像分割新方法。试验结果表明,该方法不仅准确可靠,且分割结果连续,很好地解决了"淹没"和"破碎"现象; 而且结合了面向对象方法的优势,很好地解决了"椒盐"问题,最大限度地减小噪声对分类的影响,从而达到准确提取感兴趣地物对象的目的。

Huang

, Zuo X

, Feng

, et al.

Object-oriented image segmentation based on Canny algorithm

[J]. Remote Sensing for Land and Resources, 2011,23(4):26-30.doi: 10.6046/gtzyyg.2011.04.05.

Magsci [本文引用: 1]

[3]

贾春阳, 李卫华, 李小春 .

基于自适应权值FNEA算法的高分辨率遥感图像分割

[J]. 国土资源遥感, 2013,25(4):22-25.doi: 10.6046/gtzyyg.2013.04.04.

URL Magsci [本文引用: 2]

在高分辨率遥感图像分割方法中,分形网络演化算法(fractal net evolution approach,FNEA)是一种经典的影像对象构造方法。但在计算影像对象之间的异质性时,使用根据经验选择的固定权值会导致该算法不能很好地适应不同属性的影像对象分割。针对这一问题,提出了一种改进的FNEA方法,根据不同影像对象的空间和光谱特征,自适应地计算空间判据权值和紧凑度判据权值,并将不同光谱分量对光谱判据的贡献引入到影像对象之间异质性的计算中。计算机仿真实验结果表明,该文提出的算法对不同属性的影像对象具有很好的适应性,与同类算法相比,图像分割结果得到了较好的改善。

Jia C

, Li W

, Li X

High-resolution remote sensing image segmentation based on weight adaptive fractal net evolution approach

[J]. Remote Sensing for Land and Resources, 2013,25(4):22-25.doi: 10.6046/gtzyyg.2013.04.04.

Magsci [本文引用: 2]

[4]

Peng

, Gao

, Liu X

, et al.

An improved strategy for object-oriented multi-scale remote sensing imagesegmentation [C]//International Conference on Information Science and Engineering

.IEEE, 2010: 1149-1152.

[本文引用: 1]

[5]

邓富亮, 范协裕, 王刚 , 等.

一种FNEA影像分割算法中初始对象的快速构建方法

[J]. 中国科学院大学学报, 2014,31(4):484-491.

DOI:10.7523/j.issn.2095-6134.2014.04.007 URL [本文引用: 1]

针对分形网络演化法存在分割效率相对较低和区域合并准则无法适用于单像素区域对象2个问题,提出采用快速扫描法构建初始区域对象,进而采用基于异质性最小区域合并算法实现分形网络演化分割。实验证明,快速扫描法能快速构建初始区域对象。通过设置适当初始阈值参数,在不影响分割精度情况下,该方法较大程度上提高了整体分割效率。从可信度和通用性角度来看,具有较高的实用价值。

Deng F

, Fan X

, Wang

, et al.

A fast method for creation of the initial objects for FNEA image segmentation

[J]. Journal of University of Chinese Academy of Sciences, 2014,31(4):484-491.

[本文引用: 1]

[6]

张勇, 袁家政, 刘宏哲 , 等.

基于结构张量的GrabCut图像分割算法

[J]. 计算机工程, 2017,43(8):258-265,271.

DOI:10.3969/j.issn.1000-3428.2017.08.044 URL [本文引用: 3]

传统的Grab Cut图像分割方法大多基于图像的像素值建立图模型,未考虑到彩色图像中丰富的纹理信息。为此,提出一种新的Grab Cut模型图像分割算法。对比基于结构张量的Grab Cut分割方法和传统Grab Cut分割方法的结果,利用结构张量和像素值构建紧缩的结构张量。为提高计算的简洁性和高效性,将Grab Cut方法构建的混合高斯模型扩展到张量空间,并用Kullback-Leible散度代替常用的黎曼度量。在合成纹理图像和自然图像上进行的实验结果表明,与Carsten Rother,GACWRF等方法相比,该算法具有更精确的分割效果,不仅实现了纹理信息与颜色信息的无参融合,而且提高了计算效率。

Zhang

, Yuan J

, Liu H

, et al.

GrabCut image segmentation algorithm based on structure tensor

[J]. Computer Engineering, 2017,43(8):258-265,271.

[本文引用: 3]

[7]

董志鹏, 王密, 李德仁 .

一种融合超像素与最小生成树的高分辨率遥感影像分割方法

[J]. 测绘学报, 2017,46(6):734-742.

URL [本文引用: 3]

影像分割是面向对象高分辨率遥感影像分析的基础与关键。针对传统影像分割方法易受噪声影响,且难以确定合适的影像分割尺度的问题,本文提出了一种融合超像素与最小生成树的高分辨率遥感影像分割方法。首先用简单线性迭代聚类算法对影像进行过分割生成超像素;然后初始设定影像分割数,采用区域动态约束聚类算法对超像素进行合并,获得分割数-方差和、分割数-局部方差、分割数-局部方差变化率指标图,依据3个指标图确定合适的影像分割数;最后根据确定的合适影像分割数,采用区域动态约束聚类算法对超像素重新合并得到分割结果。定性对比试验和定量评价结果表明,本文方法可以有效地克服影像噪声对分割结果的影响,获得良好的影像分割结果。

Dong Z

, Wang

, Li D

A high resolution remote sensing image segmentation method by combining superpixels with minimum spanning tree

[J]. Acta Geodaeticaet Cartographica Sinica, 2017,46(6):734-742.

[本文引用: 3]

[8]

Achanta

, Shaji

, Smith

, et al. SLIC superpixels[EB/OL].

URL [本文引用: 1]

[9]

Achanta

, Shaji

, Smith

, et al.

SLIC superpixels compared to state-of-the-art superpixel methods

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012,34(11):2274-2282.

DOI:10.1109/TPAMI.2012.120 URL PMID:22641706 [本文引用: 1]

Abstract Computer vision applications have come to rely increasingly on superpixels in recent years, but it is not always clear what constitutes a good superpixel algorithm. In an effort to understand the benefits and drawbacks of existing methods, we empirically compare five state-of-the-art superpixel algorithms for their ability to adhere to image boundaries, speed, memory efficiency, and their impact on segmentation performance. We then introduce a new superpixel algorithm, simple linear iterative clustering (SLIC), which adapts a k-means clustering approach to efficiently generate superpixels. Despite its simplicity, SLIC adheres to boundaries as well as or better than previous methods. At the same time, it is faster and more memory efficient, improves segmentation performance, and is straightforward to extend to supervoxel generation.

[10]

Shi J

, Malik

Normalized cuts and image segmentation

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000,22(8):888-905.

DOI:10.1109/34.868688 URL [本文引用: 1]

[11]

Veksler

, Boykov

, Mehrani

Superpixels and supervoxels in an energy optimization framework

[C]//European Conference on Computer Vision, 2010: 211-224.

[本文引用: 1]

[12]

Levinshtein

, Stere

, Kutulakos K

, et al.

TurboPixels:Fast superpixels using geometric flows

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009,31(12):2290-2297.

DOI:10.1109/TPAMI.2009.96 URL PMID:19834148 [本文引用: 1]

Abstract We describe a geometric-flow-based algorithm for computing a dense oversegmentation of an image, often referred to as superpixels. It produces segments that, on one hand, respect local image boundaries, while, on the other hand, limiting undersegmentation through a compactness constraint. It is very fast, with complexity that is approximately linear in image size, and can be applied to megapixel sized images with high superpixel densities in a matter of minutes. We show qualitative demonstrations of high-quality results on several complex images. The Berkeley database is used to quantitatively compare its performance to a number of oversegmentation algorithms, showing that it yields less undersegmentation than algorithms that lack a compactness constraint while offering a significant speedup over N-cuts, which does enforce compactness.

[13]

Vedaldi

, Soatto

Quick shift and kernel methods for mode seeking

[C]//European Conference on Computer Vision. 2008: 705-718.

[本文引用: 1]

[14]

闵永智, 程天栋, 殷超 , 等.

基于GLCM与自适应Gabor滤波器组的纹理图像分割

[J]. 计算机工程, 2017,43(1):280-286.

DOI:10.3969/j.issn.1000-3428.2017.01.048 URL [本文引用: 1]

基于Gabor滤波器的纹理图像分割算法存在参数难以选择的问题。为此,提出一种预测图像纹理类型数与Gabor滤波器组参数的分割算法。将图像分割成大小相等的区域块,根据各类纹理特性预测Gabor滤波器组参数,利用各区域块的纹理特征向量预测纹理类型数,并使用预测的滤波器组提取图像纹理特征,通过预测的纹理类型数对图像进行聚类分割。实验结果表明,该算法能以较高的精度与较快的速度分割纹理图像,且受纹理类型数量影响较小。

Min Y

, Cheng T

, Yin

, et al.

Texture image segmentation based on GLCM and self-adaptive Gabor filter bank

[J]. Computer Engineering, 2017,43(1):280-286.

[本文引用: 1]

[15]

崔兆华, 李洪军, 李文娜 , 等.

基于自适应结构张量的FCM改进算法

[J]. 东北大学学报(自然科学版), 2013,34(5):637-641.

URL [本文引用: 1]

针对传统模糊C均值聚类算法对图像特征描述单一,易受图像复杂纹理干扰而出现误分割的问题,提出一种基于自适应结构张量的FCM算法,并将其应用于图像分割.打破传统高斯滤波器在滤波方向和角度上所受限制,采用基于各向异性滤波的结构张量；引入图像边缘密度函数,用以衡量图像节点的平滑性,自适应地计算各向异性滤波函数所占比例；定义一种自适应结构张量相似性度量标准,用以计算图像中节点与聚类中心点的结构相似性,有效地代替了传统FCM中的灰度相似性度量标准；采用一种新颖的节点间距离度量公式来计算图像中节点与聚类中心点的差异.仿真结果表明,对结构复杂的图像,改进算法获得了更加精确的分割结果.

Cui Z

, Li H

, Li W

, et al.

An improved FCM algorithm based on adaptive structure tensor

[J]. Journal of Northeastern University (Natural Science), 2013,34(5):637-641.

[本文引用: 1]

[16]

李梦

图像分割的结构张量几何活动轮廓模型

[J]. 计算机应用研究, 2014,31(12):3890-3893.

DOI:10.3969/j.issn.1001-3695.2014.12.095 URL [本文引用: 1]

基于水平集方法和结构张量,提出几何活动轮廓模型应用于图像分割,解决水平集方法轮廓初始化和弱边缘处易于边缘泄露问题.该方法利用张量图像的散度算子构造新的外力,引导水平集函数的自适应运动,使得其可以初始为常值函数,消失其演化对初始轮廓的需要;在偏微分方程中引入张量迹信息,减少噪声对其演化的影响,避免轮廓在弱边缘处泄露.实验结果表明,该方法对噪声图像鲁棒,能提取深度凹陷目标轮廓和红外图像中的弱目标.

Geometric active contours based on structure tensor for image segmentation

[J]. Application Research of Computers, 2014,31(12):3890-3893.

[本文引用: 1]

[17]

周绍光, 陈超, 岳建平 .

形状先验和图割的高分辨率遥感影像道路段提取

[J]. 测绘学报, 2014,43(1):60-65.

DOI:10.13485/j.cnki.11-2089.2014.0009 URL Magsci [本文引用: 1]

给出一种从高分辨率遥感影像中提取道路的方法。先对遥感影像进行滤波预处理获取纹理特征；再以图割解算经典能量函数获取道路图斑，其中利用高斯混合模型构建T链；接着利用直线匹配法获得初始道路段；最后用图割解算融合了两种形状先验的能量函数，结合动态外推的思路连接道路段。对不同遥感影像的实验证明了算法的有效性。

Zhou S

, Chen

, Yue J

Extracting roads from high-resolution rs image based on shape priors and GraphCuts

[J]. Acta Geodaetica et Cartographica Sinica, 2014,43(1):60-65.

Magsci [本文引用: 1]

面向对象影像多尺度分割最大异质性参数估计

2017

... 目前影响最为广泛的多光谱图像分割方法是eCognition软件在面向对象分类过程中所使用的分形网络演化方法(fractal net evolution approach,FNEA)^[1].该方法通过计算初始分割图斑的光谱相似性和形状相似性来度量各个对象间的异质度,通过异质度控制对象自下而上逐层聚合.这种自下而上、逐层合并的思想对多光谱图像分割产生了较为深远的影响,已有学者对诸如尺度选择、权值获取、合并条件等相关方面进行了深入研究,例如: 黄亮等^[2]考虑在面向对象影像分割过程中加入Canny边缘,从而降低了显著地物的破碎程度; 贾春阳等^[3]对FNEA中光谱与形状异质度权值的自适应获取进行研究,将各光谱分量对异质度的贡献引入到异质性权值的计算中,从而实现权值的自适应获取; Peng等^[4]将均值漂移方法与FNEA相结合,增强了其提取显著地物的能力,减少了分割后产生的对象数量; 邓富亮等^[5]则通过快速扫描法进行多次迭代,构建FNEA的初始对象,在提高计算效率的同时,提高了分割结果的准确性. ...

面向对象影像多尺度分割最大异质性参数估计

2017

基于Canny算法的面向对象影像分割

2011

基于Canny算法的面向对象影像分割

2011

基于自适应权值FNEA算法的高分辨率遥感图像分割

2013

... 传统FNEA异质度的计算面向对象进行,即不论待合并的目标是单个像素还是已经合并过的区域,均将其视为一个对象.文献[3]中,传统异质度计算方法考虑对象的光谱异质度

h_{colour}

和形状异质度

h_{shape}

,计算公式分别为 ...

基于自适应权值FNEA算法的高分辨率遥感图像分割

2013

h_{colour}

和形状异质度

h_{shape}

,计算公式分别为 ...

An improved strategy for object-oriented multi-scale remote sensing imagesegmentation [C]//International Conference on Information Science and Engineering

2010

一种FNEA影像分割算法中初始对象的快速构建方法

2014

一种FNEA影像分割算法中初始对象的快速构建方法

2014

基于结构张量的GrabCut图像分割算法

2017

... 在多光谱图像中“同谱异物”和“同物异谱”现象较为普遍,因此仅仅将光谱相似度、形状相似度与尺度参数相结合并不能得到符合人类认知的分割结果,如何在上层知识指导下进行多光谱图像分割的问题亟待解决.本文提出采用简单线性迭代聚类(simple linear iterative clustering, SLIC)方法与结构张量(structure tensor, ST)^[6]相结合的多光谱图像分割方法,实现多种信息指导下的多光谱图像分割过程. ...

... 通过选取不同的滤波器及参数,ST能够将局部像素点信息与周围邻域信息相结合^[6],从而反映该处的纹理、角点、边缘等信息.常见的滤波器包括高斯滤波器、Gabor滤波器^[14]和各向异性滤波器^[15].通常情况下,选择高斯滤波器会使边缘信息模糊而导致分割不准确,但本文方法中,分割的最终边缘来源于超像素的边缘,选择高斯滤波器能够通过控制

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

... 图3给出实验1的分割结果,图3中的4幅图像依次为原图像、eCognition的FNEA分割结果、加入超像素后SLIC+FNEA结果和本文方法结果,具体参数设置如下: eCognition分割参数选取为形状异质度权重为0.1,紧致度权重为0.5,尺度参数为160; 超像素选择p=300,m=20.根据文献[6]方法,确定最小生成树的子树个数为118,即2幅图像中分割结果包含118个区域.图3(c)和(d)中橙色方框区域为过分割和欠分割部分. ...

基于结构张量的GrabCut图像分割算法

2017

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

一种融合超像素与最小生成树的高分辨率遥感影像分割方法

2017

... 针对传统FNEA过程起点过低、光谱异质度与形状异质度难以平衡的问题,本文采用超像素分割方法限制分形网络演化过程所面向对象的尺度下限,利用ST粗分割结果指导超像素进行预合并.改进的多光谱图像分割方法基于FNEA框架,具体步骤包括图像预处理、基于SLIC的尺度下限约束、ST粗分割和面向对象分割等步骤.图像预处理主要采用双边滤波方法,采用SLIC超像素分割对预处理后图像进行初步过分割,结合ST矩阵的特征值对生成的超像素进行初步聚合,根据FNEA的异质度计算方法进行面向对象的合并过程,根据文献[7]中提供的最佳尺度选择方法选择尺度参数,从而得到最终分割结果. ...

... 默认情况下,SLIC方法仅仅需要设定参数K给出希望获得的超像素的大体数量.但文献[7]在实际计算过程中通过设定种子点间的初始分布间距S来控制种子点在全图呈均匀分布,即 ...

... 根据文献[7],选择Kappa系数和区域一致性系数(object-level consistency error,OCE)作为定量描述指标,其中Kappa系数反映了分割结果与实际解译结果一致性的程度,而OCE系数则是从对象过分割与欠分割程度的角度对分割结果进行描述,OCE系数越接近0,说明分割结果越接近实际解译结果,越接近1,说明分割结果中过分割或者欠分割现象越严重.表1给出了在目视解译结果基础上,3种方法的量化分析结果,可以看到,在简单场景的分类结果中,传统FNEA因为存在将房屋与道路化为一类,Kappa系数较低,仅为0.543 1,OCE系数较高,而在加入超像素限制尺度下限和结构张量预处理后,道路区域提取结果被进一步优化,分类精度明显提升,OCE系数明显下降.本文方法Kappa系数仅为0.724 1,与单纯使用超像素方法的OCE系数相比差异不大,主要是因为林地区域的过分割带来的影响. ...

一种融合超像素与最小生成树的高分辨率遥感影像分割方法

2017

... 通过将图像分割成超像素,能有效降低计算冗余,提升计算效率,而且更能反映图斑间的拓扑结构,有利于后续计算.超像素已经引起各界学者的广泛关注,是目标识别、智能解译、图像分割等领域的研究热点.本文选用的SLIC超像素分割方法于2010年由Achanta等^[8]首次提出,文献[9]将该方法与N-cut^[10],Graph-cut^[11],Turbopixel^[12]和Quick-shift^[13]等其他超像素分割方法进行了对比,结果表明SLIC超像素分割方法在边界拟合度、计算复杂度、区域紧致度等方面的表现均优于其他超像素分割算法,是一种分割结果比较符合人类认知的超像素分割法.因此本文选用该方法对多光谱图像进行预分割. ...

SLIC superpixels compared to state-of-the-art superpixel methods

2012

Normalized cuts and image segmentation

2000

Superpixels and supervoxels in an energy optimization framework

2010

TurboPixels:Fast superpixels using geometric flows

2009

Quick shift and kernel methods for mode seeking

2008

基于GLCM与自适应Gabor滤波器组的纹理图像分割

2017

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

基于GLCM与自适应Gabor滤波器组的纹理图像分割

2017

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

基于自适应结构张量的FCM改进算法

2013

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

基于自适应结构张量的FCM改进算法

2013

σ

产生尺度空间滤波结果,因此本文选择

G_{σ}

为高斯滤波器. ...

图像分割的结构张量几何活动轮廓模型

2014

... 这2个特征值反映了该点的区域模式: 当

λ_{1} \approx λ_{2} \approx 0

时表明该区域变化较为平缓; 当

λ_{1} > λ_{2} \approx 0

时,该处为图像的边缘区域; 而当

λ_{1} \approx λ_{2} > 0

时,该点往往为角点^[16].因此根据每个像素点处的特征值能够有效区分该像素所处区域的特征,根据

λ_{1} \approx λ_{2} \approx 0

获得初步粗分割结果.之后结合超像素与连通域分析,如果超像素在阈值界定后的图像上是连通的,表明2个超像素周边区域具有较高一致性,则合并相应超像素,完成基于ST的预合并过程. ...

图像分割的结构张量几何活动轮廓模型

2014

... 这2个特征值反映了该点的区域模式: 当

λ_{1} \approx λ_{2} \approx 0

时表明该区域变化较为平缓; 当

λ_{1} > λ_{2} \approx 0

时,该处为图像的边缘区域; 而当

λ_{1} \approx λ_{2} > 0

时,该点往往为角点^[16].因此根据每个像素点处的特征值能够有效区分该像素所处区域的特征,根据

λ_{1} \approx λ_{2} \approx 0

形状先验和图割的高分辨率遥感影像道路段提取

2014

... 为了更加全面地对分割结果进行描述,在文献[17]对道路提取结果进行量化描述的准确率和遗漏率2个指标基础之上,添加错分率指标,来描述分割结果中误分割部分所造成的影响,其中错分率为错分面积与理想道路面积之比.定量分析结果如表2所示.从表2中可以看到,本文方法具有最高的准确率(0.851 8)和最低的遗漏率(0.147 2),而在错分率上,则是传统的FNEA方法分割结果占优,仅为0.382 2,这是因为像素级分割结果中,较差部分更容易被判定为非最佳匹配区域,而在基于超像素的分割结果中,错分的基础即为超像素,所以带来的错分率也会有所增大. ...

形状先验和图割的高分辨率遥感影像道路段提取

2014

〈

〉