基于多尺度分割的高分辨率遥感影像镶嵌线自动提取

doi:10.6046/zrzyyg.2020386

基于多尺度分割的高分辨率遥感影像镶嵌线自动提取

温银堂^,, 王铁柱, 王书涛^,, 王贵川, 刘诗瑜, 崔凯

燕山大学电气工程学院河北省测试计量技术及仪器重点实验室,秦皇岛 066004

Automatic extraction of mosaic lines from high-resolution remote sensing images based on multi-scale segmentation

WEN Yintang^,, WANG Tiezhu, WANG Shutao^,, Wang Guichuan, LIU Shiyu, CUI Kai

Hebei Key Laboratory of Measurement Technology and Instruments, School of Electrical Engineering, Yanshan University, Qinhuangdao 066004, China

通讯作者: 王书涛(1978-),男,博士,教授,主要从事环境检测和遥感影像分析方向的研究。Email:wangshutao@ysu.edu.cn。

责任编辑: 张仙

收稿日期: 2020-12-1 修回日期: 2021-03-17

基金资助:

国家自然科学基金项目“基于光谱吸收与荧光机理的环境有机污染物检测及系统研究”(61771419)
河北省自然科学基金项目“基于光谱分析方法的环境污染气体检测与系统实现”(F2017203220)

Received: 2020-12-1 Revised: 2021-03-17

作者简介 About authors

温银堂(1978-),男,博士,研究员,主要从事智能传感和无损检测方向的研究。Email: ytwen@ysu.cn。

摘要

镶嵌线的提取是遥感影像镶嵌的重要步骤,针对现阶段高分辨率遥感影像镶嵌技术中镶嵌线提取存在的问题,提出了一种基于多尺度分割和A*算法的镶嵌线提取方法。首先使用简单线性迭代聚类(simple linear iterative cluster,SLIC)算法对影像重叠区域进行预分割,对明显地物区域进行聚类生成紧密的超像素,获取提取影像中地物纹理信息; 然后通过不断增大区域相异度阈值对相邻区域进行合并,使用尺度集模型记录区域合并过程; 同时根据光谱特征的局部方差和莫兰指数决定最佳分割尺度,解决过分割问题; 最后使用A*算法在分割路径上寻找最佳镶嵌线。实验结果证明,该方法有效解决了镶嵌线穿过建筑、农田、河流等明显区域的问题,减少拼接痕迹,使用尺度集模型记录合并过程能有效选择最优分割尺度,可以广泛应用于高分辨率遥感影像拼接镶嵌,对遥感影像自动镶嵌有实用意义。

关键词： 正射影像; 多尺度分割; 镶嵌线提取; A*算法

Abstract

The extraction of mosaic lines is an important step in the mosaic of remote sensing images. To address the problems related to mosaic line extraction existing in current mosaic techniques of high-resolution remote sensing images, the authors propose a mosaic line extraction method based on multi-scale segmentation and the A* algorithm and the steps are as follows. First, pre-segment the overlapping regions of images using the simple linear iterative cluster (SLIC) algorithm, and conduct the clustering of regions with notable surface features to generate compact superpixels to obtain and extract the texture information of the surface features in the images. Then, merge the adjacent regions by continuously increasing the regional dissimilarity threshold while recording the region merging process using a scale set model. Meanwhile, determine the optimal segmentation scale according to the local variance of spectral characteristics and the Moran index to solve the problem of over-segmentation. Finally, find out the best mosaic lines on the segmentation paths using the A* algorithm. Experimental results prove that this method can effectively solve the problem that mosaic lines pass through distinct areas such as buildings, farmlands, and rivers, thus reducing splicing traces. Meanwhile, the optimal segmentation scale can be effectively selected by recording the merging process using a scale set model. Therefore, the mosaic line extraction method proposed in this study can be widely applied in the mosaic of high-resolution remote sensing images and is practically significant for the automatic mosaic of remote sensing images.

Keywords： orthoimage; multi-scale segmentation; extraction of mosaic line; A* algorithm

PDF (6024KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

温银堂, 王铁柱, 王书涛, 王贵川, 刘诗瑜, 崔凯. 基于多尺度分割的高分辨率遥感影像镶嵌线自动提取[J]. 自然资源遥感, 2021, 33(4): 64-71 doi:10.6046/zrzyyg.2020386

WEN Yintang, WANG Tiezhu, WANG Shutao, Wang Guichuan, LIU Shiyu, CUI Kai. Automatic extraction of mosaic lines from high-resolution remote sensing images based on multi-scale segmentation[J]. Remote Sensing For Natural Resources, 2021, 33(4): 64-71 doi:10.6046/zrzyyg.2020386

0 引言

随着我国航天事业的蓬勃发展,高分辨遥感影像凭借覆盖范围广、包含信息丰富、周期性观测等优势逐步走入大众的视线,在城市规划、抢险救灾、生态环境监测等方面发挥了重要作用^[1]。由于卫星相机视角限制,单景的遥感影像覆盖范围有限,难以展现大范围地区的地物特征。为了获取更大范围、更加完整的高质量遥感影像数据,通常需要将多景影像进行镶嵌处理。遥感影像的镶嵌,就是将从传感器中获取的两幅或两幅以上的遥感影像数据根据一系列的遥感技术手段拼接在一起,形成一整幅大范围影像的过程^[2]。镶嵌线的提取是其中非常关键的一步,为避免因不同影像间的灰度差异产生明显的接缝线,镶嵌线不能直接横穿建筑物、湖泊、农田等地物区域。在遥感影像制作过程中,选择合适镶嵌线是消除接缝痕迹的重要手段^[3]。

目前常用的商业软件对于镶嵌线的提取结果并不理想,不能有效避让建筑物等明显的地物目标^[4],无法满足较高要求的镶嵌任务,常常还需要人工进行多次编辑修改,耗费大量人力物力,使用算法提取最优镶嵌线仍然是研究难点。现阶段镶嵌线提取方法主要可以分为3种,分别是基于影像重叠区域差异的方法^[5]、基于辅助数据的方法^[6]和基于形态学的方法^[7]。基于重叠区影像差异的方法通常对重叠区域像素对比计算差值,利用一定搜索策略选择最优镶嵌线^[8],方法简单容易实行,但计算量通常较大,重叠区域差异主要是针对单个像素或局部纹理,镶嵌线难免穿过房屋建筑等区域。基于辅助数据的提取方法需要道路矢量、激光雷达(light detection and ranging,LiDAR)点云等数据配合,能够精准有效避开目标地物^[9],镶嵌线质量较高,但辅助数据的获取有一定的难度。基于形态学的方法使用影像分割手段将重叠区域划分成不同的区域,然后利用寻优算法选择镶嵌线通过区域,使接缝线沿着地物本身的边界实现自然过渡,如韩天庆^[10]使用标记的分水岭算法和Dijkstra算法寻找最佳接缝线,但分割过程可能产生过分割现象; 岳桂杰等^[11]使用Canny边缘检测和A*算法,避开边缘图像的边缘信息寻找最短路径,边缘特征不能很好地反映地物完整性。本文使用超像素合并的方法对遥感影像进行多尺度分割,以保留影像地物纹理信息,使用A*算法在分割线上进行路径寻优,有效减少镶嵌线穿过明显地物,确保地物完整性,对镶嵌线的提取具有重要意义。

1 研究方法

首先对影像进行正射校正等必要的预处理。校正后影像四周会出现无效的黑色区域,通过采样判断有效区域的范围并生成每张影像的有效区域多边形,并以多边形交点作为镶嵌线的起始点。利用简单线性迭代聚类(simple linear iterative cluster,SLIC)算法对于重叠区域影像进行预分割,使颜色、亮度位置等特征相似的像素聚集成紧密的像素块,然后通过区域连接图对相邻相似区域进行合并生成不同尺度的数据集,减少过分割。完成分割后对影像进行掩模,对于分割区域内部设置为障碍,分割线作为可行区域,利用A*算法完成重叠区域从起点到终点的搜索,生成镶嵌线,具体过程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于多尺度分割的镶嵌线自动提取技术

Fig.1 Automatic extraction of mosaic line based on multi-scale segmentation

1.1 SLIC超像素分割

使用SLIC算法对重叠区域影像进行预分割,对明显地物区域进行聚类生成紧密的超像素。超像素是由空间位置相邻,颜色、亮度和纹理等特征相似的像素点组成的图像子区域。SLIC分割能有效避免椒盐噪声带来的影响,可以更好地保留图像地物的纹理信息^[12]。生成具有较好边界附着性且具有一定视觉意义的像素块,分割结果的边界紧凑度较高,且是当前效率最高的超像素分割算法^[13]。首先要将图像从RGB颜色空间转到Lab颜色空间,图像每个像素对应的( $l$ , $a$ , $b$ )颜色值和所处的位置坐标(x,y)共同构成一个5维的特征向量^[14],根据特征向量将相似的像素聚类生成为超像素块,具体算法步骤^[15]:

1)设置生成超像素的个数 $K$ ,生成 $K$ 个种子点。将尺寸为 $M \times N$ 的影像分割为 $K$ 个像素块,每个像素块的大小就是 $M \times N / K$ ,邻近的两个种子的距离为:

(1)

S = \sqrt[]{M \times N / K}

。

2)调整生成的种子位置。为了防止初始种子点位落在影像物体的轮廓边缘或噪声点上,计算种子点3×3窗口邻域所有像素的梯度值,把初始种子点位置调整到梯度值最小的像素位置,图像梯度计算如下:

(2)

\begin{array}{l} G (x, y) = ‖ I (x + 1, y) - I (x - 1, y) ‖^{2} + \\ ‖ I (x, y + 1) - I (x, y - 1) ‖^{2} \end{array}

式中: $I (x, y)$ 为 $(x, y)$ 点的Lab向量; ‖‖为求欧几里得范数。

3)计算距离迭代聚类。为了增加算法的运算效率,SLIC只对种子 $2 S \times 2 S$ 的邻域范围内的像素进行搜索,计算像素点与种子点之间的距离,将与种子点距离最近的若干个像素归于一类,距离由颜色距离和空间距离共同决定,计算公式如下:

(3)

d_{lab} = \sqrt[]{(l_{k} - l_{i})^{2} + (a_{k} - a_{i})^{2} + (b_{k} - b_{i})^{2}}

(4)

d_{xy} = \sqrt[]{(x_{k} - x_{i})^{2} + (y_{k} - y_{i})^{2}}

(5)

D = \sqrt[]{d_{lab}^{2} + {(\frac{m}{S})}^{2} d_{xy}^{2}}

式中: [ $l_{k}, a_{k}, b_{k}, x_{k}, y_{k}$ ]为种子点的特征向量; [ $l_{i}, a_{i}, b_{i}, x_{i}, y_{i}$ ]为像素块内待判断的像素点的特征向量; $d_{lab}$ 为两个像素点在Lab颜色空间内欧式距离; $d_{xy}$ 为两个像素在空间位置上的欧式距离; $D$ 为待测像素点和种子点的总距离,可以表示两个像素的相似度; $S$ 为种子点的间距大小; $m$ 为紧凑度因子,调整颜色信息和距离信息的相对重要程度,值越大则越强调空间的邻近性,在这里取经验值10。SLIC算法种子点搜索范围限制在 $2 S \times 2 S$ 之内,可以减少不必要的计算,有效地提高收敛速度。

所有像素归类完毕后计算超像素里所有像素点的平均向量值,把区域内最接近平均向量值的点调整为聚类中心点,然后重复迭代2)— 3)步骤,直到收敛或达到迭代次数停止计算。多数情况下,10次迭代对于绝大多数影像都能取得比较好的分割效果^[16]。对于迭代聚类后的影像进行遍历筛选,其中会有未聚类的孤立点和面积过小的像素点,直接加入到就近的超像素中,以增强连通性。

1.2 基于区域合并的多尺度分割

经过SLIC分割后,图像中生成紧密的过分割超像素块,保留了图像中的纹理信息,但生成过程中只考虑到图像局部特征,对图像分割过于破碎,因此需要对相似区域进行合并消除过分割,只保留相似度差值较大的区域。本文方法通过不断重复提高阈值,使用层次区域合并的方法生成不同的分割尺度集,以超像素里所有像素点的平均向量值为特征,Lab空间和位置的加权和表示超像素间相异度,采用区域邻接连接图(region adjacency graph,RAG)记录超像素间的邻接关系和相似度,逐步合并相似区域。区域连接图的定义为 $R = (V, E)$ ,其中 $V$ 为像素区域, $E$ 为与之相邻的区域和相似度。生成RAG如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 区域邻接示意图

Fig.2 Schematic of region adjacency graph

多尺度分割主要通过“增大阈值”和“搜索合并小于阈值邻接区域”两部分完成,图2(a)是经过SLIC分割后的超像素的分布关系图,首先对邻接图进行初始化,可以由图2(b)表示,连线表示像素间的相交关系,连线的长度表示超像素间的相似度,然后设定较小的初始阈值,采用深度优先的搜索策略寻找小于合并阈值的相邻超像素对,找到满足条件的相邻像素对( $S_{1}$ , $S_{2}$ )后初始化合并后的区域 $S_{12}$ 属性信息和连接信息,在RAG中删除原始区域 $S_{1}$ , $S_{2}$ 的信息,将 $S_{12}$ 插入到RAG中,并更新所有与 $S_{12}$ 相邻区域的邻接关系, $S_{1}$ 和 $S_{2}$ 合并后的邻接关系如图2(c)所示,然后继续搜索合并直至所有区域相似度大于阈值。随着阈值的增加,像素块根据相异性不断被合并,当图像由过分割进入欠分割状态时结束,利用二元分割树记录合并过程,可以快速回溯合并中的任意阈值,生成多尺度分割数据集,合并过程如图3所示,选择合适的阈值分割结果。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 尺度集层次结构图

Fig.3 Illustration of scale-sets hierarchy

分割结果可以通过两个相对的指标来评估: 区域内部同质性和区域间异质性,最优分割需要平衡这两个指标。区域内部同质性表现的是一个区域内像素的一致性,通过光谱特征的局部方差(local variance,LV)来评估,整个分割结果的整体同质性可以通过各个区域加权计算:

(6)

LV (k) = \frac{1}{MN} \overset{n}{\sum_{i = 1}} s_{i} σ_{i}

式中: $M$ 和 $N$ 分别为图像的宽度和高度; $n$ 为当前阈值的区域数量; $s_{i}$ 和 $σ_{i}$ 分别为区域i的面积和光谱的标准差。分割结果的整体同质性通过区域的面积来衡量,合并后的较大区域比未合并的小区域权重大,光谱标准差 $σ_{i}$ 的值越小内部同质性越好。

区域间异质性是相邻区域间的相互差异,可以通过空间自相关指标评价,这里使用莫兰指数(Moran’s index,MI)来计算衡量区域间异质性:

(7)

MI (k) = \frac{n [\overset{n}{\sum_{i = 1}} \overset{n}{\sum_{j = 1, j \neq i}} ω_{i, j} (x_{i} - \bar{x}) (x_{j} - \bar{x})]}{(\overset{n}{\sum_{i = 1}} \overset{n}{\sum_{j = 1, j \neq i}} ω_{i, j}) \cdot [\overset{n}{\sum_{i = 1}} (x_{i} {- \bar{x})}^{2}]}

式中: $n$ 为当前阈值的区域数量; $ω_{i, j}$ 为区域i和区域j间的权重,若相邻则为1,否则为0; $x_{i}$ 为区域i的光谱均值; $\bar{x}$ 为影像的光谱均值。MI的值越低,区域间异质性越强,分割效果越好。

利用区域内部同质性和区域间异质性来估计最优尺度参数,随着阈值的增加区域合并范围变大,区域内同质性逐渐减小,区域间异质性增大,为选择图像由过分割到欠分割的邻接阈值,将LV和MI结合的目标函数GS的最小值作为最优尺度,公式为:

(8)

GS (k) = M I_{norm} (k) + L V_{norm} (k)

。

$M I_{norm}$ 和 $L V_{norm}$ 分别是MI和LV的归一化后的值,即

(9)

M I_{norm} (k) = \frac{MI (k) - M I_{\min}}{M I_{\max} - M I_{\min}}

(10)

L V_{norm} (k) = \frac{LV (k) - L V_{\min}}{L V_{\max} - L V_{\min}}

。

1.3 A*算法路径搜索

A*搜索算法是启发式搜索算法中的一种,可以高效地求解在复杂结构中寻找路径的问题,在电脑游戏寻径计算、最短路径计算、机器人路径规划及最佳航线规划等领域具有广泛的应用^{[17,18,19,20]}。A*算法结合了Dijkstra算法和最佳优先算法优势,减少了计算同时找到一条最佳的路径。由配准影像有效区域轮廓交点作为路径寻优的起始点,多尺度分割的区域内部作为障碍物,提取所带纹路信息的分割线作为通路,A*算法在图像分割线中搜索步骤如下:

1)将点A作为起点放入open列表中,然后检测和A相邻的点,如果是障碍物则忽略,如果是可走路径则放入open列表中,同时将A点从open列表移到close列表中,并设置A为父节点。

2)计算open列表中的点的移动属性 $F$ ,根据属性值 $F$ 从列表中选择新的扩展点, $F$ 可以由以下公式计算:

(11)

F = G + H

式中: $G$ 为由起点A点到指定点位移动代价; $H$ 为由指定点位不考虑障碍因素移动到终点B的估算代价,这里使用Manhattan距离,即当前点位不考虑斜角,只横向或纵向移动到终点经过的点位数。

3)选取 $F$ 值为最小的点T作为扩展点并检测其相邻点位,其相邻点位是障碍物或已经在close列表中的直接忽略,作为通路的相邻点没有在open列表中则直接加入open列表中。如果已经在open列表中则按照当前路径重新计算 $G$ 值并与原 $G$ 值比较,如果当前路径 $G$ 值大于原列表 $G$ 值,则原列表中点位属性不变,如果当前路径 $G$ 值小于原列表 $G$ 值,更新列表中的点位属性,并将T作为父节点移入close列表中。

重复步骤2)直到终点B加入open列表中,完成搜索后由B回溯父节点构成镶嵌线。

2 实验及分析

2.1 实验数据

高分二号(GF-2)卫星于2014年8月19日在太原卫星发射中心用长征四号乙运载火箭发射成功,是目前我国分辨率最高的民用光学对地观测卫星,其幅宽相比于高分一号和资源三号卫星是最小的^[21],所以更需要对影像进行拼接。高分二号卫星参数见表1。

表1 高分二号卫星参数

Tab.1 Gaofen-2 satellite parameters

载荷	谱段号	波段范围/mm	分辨率/m	幅宽/km	侧摆能力	重访周期/d
全色	1	0.45~0.90	1	45(两台相机组合)	±35°	5
多光谱	2	0.45~0.52	4
	3	0.52~0.59
	4	0.63~0.69
	5	0.77~0.89

新窗口打开| 下载CSV

本次实验研究影像使用3组正射校正影像,其中2组为天津市地区(图4(a)和(d),图4(b)和(e)),1组为青岛市地区(图4(c)和(f)),可以看出3组数据中包含农田、建筑、河流、道路等常见典型地物,由于拍摄时间不同,每组影像间的色调有所不同。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 正射校正影像数据

Fig.4 Orthorectified image

2.2 实验结果

可以看到GF-2影像经过校正后影像四周出现无效区域,通过采样可以判断有效区域的范围,通过生成影像有效区域多边形并求交集,可以获取重叠区域影像,并以多边形的交点A和B作为镶嵌线的起始点(图5)。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 重叠影像获取

Fig.5 Overlapping image acquisition

对重叠区域影像,SLIC生成超像素,经过不断地提高阈值和区域合并,得到不同阈值合并后的一系列影像,计算影像的LV和MI同时进行归一化,图6是经过归一化的LV和MI的变化趋势图, 可以看出随着合并阈值的增加局部方差逐渐增大,MI逐渐减小,当GS最小时即图像由过分割状态进入欠分割状态,因此可以选择尺度为25的分割结果作为镶嵌线提取的基础。图7展现了在建筑、河流、农田等不同地物的分割效果。分水岭算法是一种基于拓扑理论的数学形态学的分割方法,也是一种优秀且得到广泛应用的分割技术,但可以从图6(b)看出分水岭算法对小面积的建筑区域轮廓提取时不够精细,同时根据图7(f)可以看出对于大区域的河流进行了过分割,不利于后续对镶嵌线的提取。图7中的(c)和(g)是SLIC预分割生成影像,可以看出超像素间非常紧密,内部特性单一,虽然对图像分割过于破碎,但对地物的轮廓非常敏感,很好地保留了地物轮廓信息。图7中的(d)和(h)是区域合并后的影像,从结果可以看出无论对于小面积的区域的农田,还是对于大区域的河流农田,基于区域合并的多尺度分割均保持良好的分割效果。对多尺度分割后的遥感影像进行镶嵌线的提取,设置分割区域内部区域为障碍物不能通过,因此镶嵌线只能在分割线上进行提取,镶嵌线提取结果如图8所示。其中红色的线是使用ENVI软件基于Voronoi图的镶嵌方案提取的镶嵌线,基本只是对于重叠影像的面积进行平分,没有考虑影像特征,接缝线明显; 黄色线是基于重叠影像差异的方法使用Dijkstra算法进行寻优提取得到的,提取的镶嵌线为影像间灰度差异最小,但由于在差值影像上建筑、河流等区域像素是不连续的,提取过程不能考虑图像地物信息,会导致穿越大片建筑、内部均匀的农田和河流等区域; 绿色为使用本文方法提取的镶嵌线,本文方法提取的镶嵌线尽量沿着图像中的道路、农田和河流等地物的边界,镶嵌线可以很好地隐藏在地物信息之中,通过纹路信息达到自然地过渡,避免穿过明显地物特征。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 不同分割尺度下LV,MI和GS的变化图

Fig.6 Variation diagram of LV, MI and GS under different segmentation scales

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 典型地物分割效果图

Fig.7 Typical feature segmentation effect diagram

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 镶嵌线提取结果对比

Fig.8 Mosaic line extraction contrast

如表2所示,通过对比ENVI软件和Dijkstra模型穿越地物情况,ENVI软件穿越地物最多,提取的镶嵌线不能直接用于影像间的镶嵌; Dijkstra模型基于影像重叠区域最小差异能够一定程度降低镶嵌痕迹,但穿越明显地物数量仍然很多,在不能满足高质量镶嵌要求; 本文方法穿过障碍物数量最少,可以大幅度减少由于地物被分割而产生的错位现象,保留影像中真实地物特征,镶嵌线自动提取方法获得较好的影像拼接结果,能够满足大范围数字正射影像拼接生产的需求。

表2 各方法穿越明显地物数量

Tab.2 The number of obvious objects traversed by each method(个)

方法	区域1	区域2	区域3
ENVI软件	69	60	58
Dijkstra模型	37	36	30
本文方法	4	5	2

新窗口打开| 下载CSV

3 结论

本文提出了一种基于多尺度分割的高分辨率遥感影像镶嵌线自动提取方法,使用天津地区和青岛地区3组GF-2数据进行测试,并与商业软件ENVI软件和基于重叠区域差异的Dijkstra算法对比,可以得出以下结论:

1)本文方法可以有效地处理高分辨率遥感影像镶嵌,生成的镶嵌线能够较好地避免穿过建筑,河流及农田等内部区域处理结果优于ENVI和基于重叠区域差异的Dijkstra算法。

2)对SLIC超像素区域合并能够更精准地分割地物,使用尺度集模型解决调整分割尺度参数问题。与现有镶嵌线提取技术相比,本文方法的优点在于无需辅助数据,充分利用图像地物信息,根据区域对象的差异而不是像元的差异进行镶嵌线的提取,能够避免镶嵌线穿过地物内部,提高镶嵌质量,可广泛应用于高分辨率遥感影像地图制作。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

徐冠华, 柳钦火, 陈良富, 等.

遥感与中国可持续发展:机遇和挑战

[J]. 遥感学报, 2016,20(5):679-688.