基于多尺度多特征的高空间分辨率遥感影像建筑物自动化检测
武汉大学遥感信息工程学院,武汉 430079
Automatic building detection of high-resolution remote sensing images based on multi-scale and multi-feature
School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
通讯作者: 胡翔云(1973-),男,博士,教授,主要从事遥感影像分析、解译和特征提取的理论与算法研究。Email:huxy@whu.edu.cn。
责任编辑: 张仙
收稿日期: 2017-09-11 修回日期: 2018-02-21 网络出版日期: 2019-03-15
基金资助: |
|
Received: 2017-09-11 Revised: 2018-02-21 Online: 2019-03-15
作者简介 About authors
吴柳青(1994-),女,硕士研究生,主要从事特征提取和图像识别方面的研究。Email:morningmor@whu.edu.cn。 。
建筑物检测在城市规划、变化检测、地表覆盖等方面均起到重要作用。然而高空间分辨率遥感影像(简称“高分影像”)中建筑物朝向不一,形态颜色各异,大小尺寸也有着较大差别,使得建筑物检测成为一道难题。为此,提出一种基于多尺度多特征来自动化检测高分影像中建筑物的方法: 首先,对影像降采样构建高斯金字塔模型,固定尺度的滑动窗口在不同层影像中对应着不同的实际地面面积; 然后,对影像进行超像素分割并计算滑动窗口中多种描述建筑物特性的特征值,通过多特征融合来衡量建筑物目标在不同尺度影像中的显著性; 最后,计算超像素块的显著性均值,结合Otsu算法自动求取阈值,进一步设置长宽比等约束条件,从而准确、自动地提取建筑物目标。分别采用空间分辨率为0.5 m和0.2 m的影像进行实验,并和基于颜色和纹理建模的马尔科夫随机场模型算法进行定性和定量的比较。实验结果表明,该方法对高分影像中建筑物的提取有更好的实际效果和检测精度。
关键词:
Building detection plays an important role in urban planning, change detection, surface coverage and so on. However, in high resolution remote sensing images, buildings vary in shape, color, and size, which makes building detection a difficult problem. Therefore, this paper proposes a method based on multi-scale and multi-feature to automatically extract buildings in high resolution images: Firstly, down sampling images are used to construct Gauss pyramid model, while fixed size windows in different layers of pyramid image represent different ground areas. Then multi features are calculated which describe building characteristics by sliding windows, and multi features are fused to evaluate the saliency of building in different scales. Then the saliency of superpixels is calculated, and Otsu algorithm is used to automatically determine the threshold, and furthermore, some constraints such as the aspect ratio were combined to extract buildings accurately and automatically. Experiments were made by 0.5 m and 0.2 m high resolution remote sensing images in comparison with the markov random field model based on color and texture modeling algorithm for qualitative and quantitative comparison. The results show that the method suggested in this paper can obtain more satisfactory precision and has higher effect on building detection from high-resolution remote sensing images.
Keywords:
本文引用格式
吴柳青, 胡翔云.
WU Liuqing, HU Xiangyun.
0 引言
目前国内外学者针对这一课题已经提出了许多较为成熟的模型和方案,这些方案可以归纳为3类:
1)基于建筑物的光谱、纹理、结构等特征建模,实现建筑物的自动检测。该方法是目前常用的方法,吕凤华等[3]通过结合纹理和光谱融合特征来剔除误检的非建筑物从而进行建筑物提取; 谭衢霖[4]通过融合多光谱影像,依据光谱信息对影像进行监督分类提取建筑物; 徐宏根等[5]通过对建筑物特殊的阴影结构进行提取从而获知建筑物信息; 庞池海等[6]通过提取影像中的直线段构建直线关系图来搜索候选建筑物。但在高空间分辨率遥感影像(以下简称“高分影像”)中,建筑物形状多样、大小不一、朝向各异,因此仅考虑建筑物的纹理和光谱信息难以取得很好的效果; 且建筑物被邻近树木遮挡造成的形状缺失现象普遍存在,给提取直线段来分析建筑物的存在带来了很大的困难。
综上所述,当前的已有相关研究主要是针对形状较为规则或建筑物屋顶材料较为单一的简单情况,或借助外部数据(如数字高程模型(digital elevation model,DEM)或地籍图)来提取城区建筑物,或通过大量先验样本进行深度学习来训练模型。对于不规则或复杂的建筑物场景,当缺乏充足的先验知识或其他的外部数据时,以上方法在提取高分影像中的建筑物时都难以取得很好的效果。针对以上局限性,本文提出一种基于多尺度多特征的高分影像建筑物自动化检测算法。通过构建高斯金字塔实现多尺度建筑物同步检测,同时结合超像素分割算法计算超像素的多特征显著性来检测建筑物目标,以解决高分影像中建筑物形状大小各异、存在树木遮挡以及阴影导致建筑物难以检测的问题,提高建筑物检测精度。
1 算法原理
本文算法具体流程如图1所示。
图1
本文算法主要由3部分组成:
1)对高分影像进行高斯降采样构建影像金字塔。
2)超像素分割及多尺度窗口下的多种特征值提取,包括边缘密度和边缘分布、主方向正交性、亮度和色彩反差,以及基于超像素分割结果的目标完整性等; 通过多尺度多特征融合计算目标显著性得分,并进行局部非极大值抑制得到显著图。
3)计算超像素的显著性均值,并通过Otsu算法[11]求取自适应阈值,进一步设置长宽比等约束条件,自动检测建筑物。
1.1 构建影像金字塔
建筑物在高分影像中的大小、位置和朝向等都有很大的区别,仅用一个尺度,很难将不同大小的建筑物检测出来。因此本文算法首先通过高斯卷积核对高分影像做降采样,得到一个空间分辨率逐级递减的图像序列
式中:
金字塔底层高分影像细节保存完好,而顶层低空间分辨率影像则更注重全局特征,因此通过金字塔影像进行建筑物检测能兼顾细节和整体,达到更高的检测精度。且固定尺度的窗口在不同空间分辨率的影像中对应着不同的实际地面面积,如图2所示,假设原影像空间分辨率为1 m,则10像素×10像素大小的窗口在第一层原始影像中对应的实际地面面积为10 m×10 m,在经过一次降采样的第2层影像中对应的实际地面面积为20 m×20 m,而在第3层影像中对应的实际地面面积为40 m×40 m。根据不同大小的建筑物在不同尺度的窗口中反应的显著性强度不同,通过计算多个尺度窗口下的建筑物显著性,实现对不同大小建筑物的准确定位。
图2
图2
高斯金字塔影像实现多尺度检测建筑物示意图
Fig.2
Sketch map of multi-scale building detection by Gauss pyramid images
设检测的最小建筑物尺寸
1.2 多特征计算显著性
建筑物作为独特的一类地物,在颜色、边缘、结构等特征上都和背景有着明显的反差。本文算法通过计算滑动窗口中的多种特征值来衡量建筑物的显著性,将建筑物同背景区分出来。
1.2.1 边缘密度与边缘分布
边缘是描述目标的一种重要特征,边缘信息可以反映出目标的光谱不连续性、反差、方向信息以及结构类型。尤其对于建筑物这样有着特殊结构和纹理的目标,边缘信息对于目标提取可以起到很好的指示作用。
定义边缘密度
式中:
图3
定义边缘特征
1.2.2 主方向正交性
相比起其他的目标而言,建筑物的结构信息明显,大多是由较为规则的矩形结构或者多边形结构组成,具有明显的主方向并显现出一定的正交性,即具有2个相互垂直的主方向
图4
图4
建筑物主方向正交性及边缘点在12个方向级的分布直方图
Fig.4
Orthogonality of main direction of building and histogram of distribution of edge points at 12 direction bins
因此在边缘影像
以15°为一个方向级将梯度方向划分为12个区间
将这2个相互垂直的方向级的比值作为该区域的正交指数r,即
相互垂直的边缘结构会在2个垂直主方向级上同时包含更密集的边缘点,因此具有更大的正交指数
1.2.3 亮度反差
在高分影像中,建筑物大多和周围的树、道路等背景形成较为明显的亮度反差,因此设计了一个和窗口大小相等的中间亮、周围暗的正方形模板
图5
用模板
式中:
1.2.4 色彩反差
建筑物在色彩上通常与周围的道路、阴影和草地等背景表现出不一样的颜色分布,因此采用色彩反差
式中:
1.2.5 目标完整性
式中
1.3 基于超像素显著性的建筑物自动检测
相较于固定尺寸的矩形窗口,超像素能够更好地描述目标的形状和统计目标的显著性,因此对影像进行超像素分割,计算每一块超像素的显著性均值来代表该超像素的目标显著性,并通过阈值去掉一些响应的虚警。建筑物表现出强烈的显著性,但是有些田地和道路段也因为和背景存在较为明显的反差或具有结构规则性而计算出一定的显著性,因此需要通过设置约束条件来进一步精确提取建筑物。
基于超像素显著性的建筑物自动检测步骤描述如下:
1)如图6所示,将影像金字塔每一层计算的多
图6
图6
多尺度多特征融合计算显著图
Fig.6
Multi-scale and multi-feature fusion computing saliency map
特征进行线性组合计算每一层的显著性,并使用双线性内插将多个尺度的显著性图像内插为和原始影像空间分辨率相同的大小,进行局部非极大值抑制得到最终的显著图。
2)在之前计算目标显著性的超像素分割结果的基础上,计算每个超像素所包含的所有像素的显著性得分和与该超像素面积的比值代表该超像素的显著性,即
式中:
然后,采用Otsu算法根据超像素的显著性大小通过最大化背景和目标之间的类间方差,将超像素分成背景和目标2类。
3)进一步设置约束条件筛选检测结果,设置原则包括: ①目标长宽比不能过大,主要除去误判为建筑物的城市道路段; ②目标面积应该在一定范围内,图斑面积大于阈值的将被剔除,主要除去误检的大面积田地和池塘、湖泊; ③对于面积过小的碎图斑则计算其邻接超像素的灰度均值,将其与灰度均值最接近的邻接超像素合并。
4)输出最终得到的结果。
2 实例验证
本文选用2种不同空间分辨率的高分影像来评估算法性能。
图7
图7
实验1影像建筑物检测结果及参考结果
Fig.7
Detection results and reference results of experiment 1 images
由图7可以看出本文算法通过多尺度多特征计算建筑物显著性,可以很好地提取出绝大部分建筑物。尤其是S1右上角的不规则建筑物,由于结构特性明显,也经由本文算法得以检测出来,而马尔科夫随机场算法对于色彩和周围背景差异不太明显或者被树木遮挡的建筑物则难以达到很好的实验效果,漏检建筑物个数较多。
为了定量评价本文算法和马尔科夫随机场算法的检测精度,将2种算法的检测结果和参考结果进行对比,定义当一个建筑物80%以上的面积被检测出来的时候,算作正确检测出该建筑物,否则认为该建筑物没有被检测出来(影像边界上不完整的建筑物不算在内)。并计算查准率(Precision)、准确率(Accuracy)和召回率(Recall)3个指标作为衡量标准,即
式中:
表1 实验1中2种算法的检测精度比较
Tab.1
影像 | 算法 | 查准率 | 准确率 | 召回率 |
---|---|---|---|---|
S1 | 本文算法 | 92.4 | 84.6 | 90.9 |
马尔科夫随机场 | 88.5 | 70.0 | 78.6 | |
S2 | 本文算法 | 92.6 | 78.8 | 83.3 |
马尔科夫随机场 | 92.4 | 70.1 | 74.4 | |
S3 | 本文算法 | 95.8 | 88.5 | 92.0 |
马尔科夫随机场 | 87.7 | 78.0 | 87.7 |
实验2选取了巫山市0.2 m空间分辨率遥感影像上的局部影像,相较于实验1的3幅影像,实验2影像地物类型复杂,建筑物更加破碎和不规则,且存在密集的建筑物群,大大增大了建筑物的检测难度。实验2影像和2种方法的建筑物检测结果如图8所示。
图8
从图8可以看出,马尔科夫随机场算法对于颜色反差较大、纹理丰富而有规则的建筑物可以达到很好的检测效果,但是当建筑物屋顶纹路零乱,形状多变,色彩和背景反差不大时,马尔科夫随机场算法会造成大量的漏检现象。而本文算法则因兼顾了建筑物的结构、多尺度变化、颜色以及亮度反差等特征,对于复杂建筑物的检测也可以达到较好的实验效果,能够基本将建筑物和其他地物分离开来,对于精细化的建筑物信息提取具有实用意义。
3 结论
本文提出了一种基于多尺度多特征的高分影像建筑物的自动化检测算法。经实验得到如下结论:
1)基于高斯金字塔选取滑动窗口进行建筑物特征计算,可实现不同尺寸建筑物的同步检测。
2)考虑边缘密度和分布、主方向正交性、亮度反差、色彩反差、目标完整性等多种用于计算建筑物显著性的有效特征,并进行融合,从而提高建筑物检测精度。
3)结合超像素分割算法,以超像素为单位计算建筑物显著性并提取建筑物,保留了建筑物的轮廓特征。
通过选取不同空间分辨率的2组实验数据,并与基于颜色和纹理特征的马尔科夫随机场算法的实验结果进行定性和定量比较,证明本方法对于高分影像中建筑物的检测具有令人满意的实验效果和检测精度。
本文算法还存在一些不足,主要表现在: ①对于一些边缘较为模糊的建筑物仍会存在漏检现象; ②一些和建筑物一样具有明显结构性的操场等目标有时会被当作建筑物误检出来; ③对于破碎而且密集的建筑物群的检测效果尚存在较大的进步空间。在今后的研究中,将考虑机器学习的方法,通过样本训练确定更优的特征模型,以解决上述不足,实现复杂建筑物检测的精确性和完整性。
参考文献
基于3S技术的违章建筑物检测关键技术研究
[D].
Key Technologies Research of Illegal Building Detection Based on 3S Technology
[D].
遥感技术在军事地理测绘中的应用
[J].
DOI:10.3969/j.issn.2079-3111.2014.08.252
URL
[本文引用: 1]
遥感技术具有宏观性强、信息丰富、客观真实、动态监测及跨国界性等特点,在地质、资源和环境等领域得到了广泛应用。遥感技术在军事领域应用主要集中在军事目标探测、侦察、制导和监视等方面。海湾战争后,有学者指出武器“高技术”主要体现在遥感技术和计算机技术等方面。本文将主要探讨遥感技术在军事地理测绘中的应用。
Application of remote sensing technology in military geographical mapping
[J].
利用多特征进行航空影像建筑物提取
[J].
DOI:10.13203/j.whugis20140781
URL
[本文引用: 1]
高分辨率遥感影像在不同的尺度下表现出不同的特征,根据这一特性,提出了一种基于多层次特征的航空影像规则建筑物提取方法。该方法先利用大尺度特征——方向梯度直方图(histograms of oriented gradient,HOG)特征对建筑物进行识别,然后提出了一种小尺度特征——纹理和光谱融合特征,该特征能够有效地将HOG特征识别结果中的道路、草地等非建筑物剔除,最终获取建筑物边缘信息。实验结果表明,该方法不仅对矩形建筑物有较好的提取效果,对结构复杂的规则建筑物也有较好的提取效果。
Regular building extraction from high resolution image based on multilevel-features
[J].
高分辨率多光谱影像城区建筑物提取研究
[J].城区高空间分辨率遥感数据由于存在大量同物异谱和异物同谱现象,应用传统的基于像元光谱分类的方法进行建筑物分类提取难以取得满意的效果。本文发展了一种从高分辨率Ikonos卫星影像上基于知识规则的面向对象分类提取城区建筑物方法,包括如下步骤:(1)融合1m全色和4m多光谱波段影像,生成1m分辨率的多光谱融合影像;(2)分割融合影像;(3)执行基于对象光谱的最近邻监督分类;(4)应用模糊逻辑分类器结合光谱、空间、纹理和上下文特征等知识规则进行建筑物分类。精度统计结果表明,本文提出的分类方法提取城区建筑物取得了93%的精度。
Urban building extraction from VHR multi-spectral images using object-based classification
[J].
顾及阴影信息的高分辨率遥感图像变化检测方法
[J].<p>阴影是遥感图像的解译标志之一,然而在利用高分辨率遥感图像对城市建筑物进行变化检测时,阴影的存在会对变化检测结果造成不利的影响。为此,提出一种顾及阴影信息的遥感图像变化检测方法。首先对遥感图像中的阴影进行提取,然后用提取的阴影补偿初始的变化检测结果以提高变化检测精度。该方法的关键在于阴影提取的准确性。在面向对象分类方法的框架下,从阴影的光谱信息和几何信息2个方面对阴影进行约束,从而较好地提取出阴影。实验证明,上述方法能够较好地解决阴影所引起的变化检测中的错判问题,有效地提高遥感图像变化检测的精度。</p>
Change detection method taking into account shadow information for high resolution remote sensing image
[J].
基于直线检测算法的卫星图片中建筑物轮廓提取
[J].提出一种方法,可以从卫星图像中自动检测建筑物。介绍了直线提取和直线合并的算法,分别讨论算法的实现结果和对结果的评价。建筑物检测的结果为矢量的二维候选数据,缩短了原始图像数据和最后对图像理解之间的差距。
Building figure extraction in satellite images based on line detection algorithm
[J].
一种基于LiDAR点云的建筑物提取方法
[J].
DOI:10.13474/j.cnki.11-2246.2017.0044
URL
[本文引用: 1]
从机载雷达点云数据中快速准确提取建筑物是当前研究的难点和热点.在对现有建筑物点云提取方法充分研究和分析的基础上,本文提出了一种基于LiDAR点云的建筑物提取方法.首先根据建筑物的几何特性提取初始建筑物轮廓点;然后构建局部协方差矩阵计算点云分布特征,剔除非建筑物轮廓点;最后利用DBSCAN聚类算法对建筑物轮廓点聚类,以聚类结果为基础构建缓冲区,以缓冲区内所有建筑物轮廓点为初始种子点,采用圆柱体邻域进行多种子点区域增长,实现建筑物点云的提取.通过两组试验,共5组数据验证本文算法的性能.试验结果表明,该方法能够准确、有效地提取多层复杂的建筑物点云,效率高,且具有一定的适用性.
A method of extracting building based on LiDAR point clouds
[J].
利用机载LiDAR数据和高分辨率图像提取复杂城区建筑物
[J].<p>在复杂城区内部通常存在大量的阴影,建筑物的屋顶也有多种类型,这使得利用高分辨率遥感图像自动提取建筑物变得困难。针对上述2个问题,提出了一种综合利用高分辨率图像与机载LiDAR数据的城市建筑物提取新方法。首先,对归一化植被指数(normalized difference vegetation index,NDVI)和LiDAR高度数据设定阈值得到初步的建筑物提取结果; 然后,分别利用阴影区NDVI、图像纹理和形态学滤波来改进结果; 最后,采用局部的机载LiDAR数据和QuickBird图像,对提出的方法进行验证,并与现有方法进行比较。研究结果表明,该方法可有效减少由阴影和不同屋顶特征所造成的错误识别,显著提高了建筑物提取精度。</p>
Building extraction using airborne LiDAR data and very high resolution imagery over a complex urban area
[J].
Building detection in very high resolution multispectral data with deep learning features [C]//Geoscience and Remote Sensing Symposium
,
基于深度学习的农村建筑物遥感影像检测
[J].
DOI:10.3969/j.issn.1674-5019.2016.05.010
URL
[本文引用: 1]
如何快速高效地从遥感影像中检测农村建筑物对农村地区发展研究有着重要意义。传统的目标检测依赖人工提取特征并不能充分挖掘数据之间的关联,以至于检测精度不高。本文利用建筑物和非建筑物影像在Caffe深度学习框架下对几种卷积神经网络进行训练和测试,改进后的Caffe Net网络结构提高了建筑物训练和测试速度。通过对比两个结构相似的神经网络,发现将池化层置于归一层前能显著提升卷积神经网络在遥感影像检测中的精度。实验结果表明,改进后的Caffe Net性能得到了提升,检测精度达到了95.00%,更适合大量数据的训练和测试。
Remote sensing image detection of rural buildings based on deep learning algorithm
[J].
Fast algorithm for two-dimensional Otsu adaptive threshold algorithm
[J].
DOI:10.1360/aas-007-0968
URL
[本文引用: 2]
As a classical image segmentation method, Otsu adaptive threshold algorithm has applied widely in image processing. The application of the two-dimensional Otsu threshold algorithm based on the Otsu threshold algorithm has been restricted for the long-paying computation. This paper gives a fast algorithm for two-dimensional Otsu adaptive threshold algorithm that overcomes the disadvantage of high computational complexity. The fast algorithm changes the two-dimensional threshold to one-dimensional threshold by using new area partition method, and enhances the computational speed of the two-dimensional Otsu algorithm. The experimental result has demonstrated that the computational time of the fast method is far less than that of the source two-dimensional one.
Local edge distributions for detection of salient structure textures and objects
[J].
DOI:10.1109/LGRS.2012.2210188
URL
[本文引用: 1]
Automatic detection of regions of salient texture and objects is useful for analysis of remotely sensed imagery, such as for land cover classification, object detection, and change detection. Intuitively, the local edges on an image indicate spectral discontinuity and the existence of structure texture or objects. This letter explores a simple method for measuring the saliency of texture and objects based on the edge density and spatial evenness of the edge distribution in the local window of each pixel. This method generates a saliency map by computing the saliency index of each pixel. By segmenting the saliency map, the salient structure texture regions and the locations of objects can be extracted. The algorithm requires only the window size as the input parameter and is relatively simple to implement. Experiments using high-resolution images show its effectiveness and accuracy in the detection of salient structure texture regions, such as crops and residential areas, and man-made objects, such as airplanes, cars, etc.
Measuring the objectness of image windows
[J].
DOI:10.1109/TPAMI.2012.28
URL
PMID:22248633
[本文引用: 1]
We present a generic objectness measure, quantifying how likely it is for an image window to contain an object of any class. We explicitly train it to distinguish objects with a well-defined boundary in space, such as cows and telephones, from amorphous background elements, such as grass and road. The measure combines in a Bayesian framework several image cues measuring characteristics of objects, such as appearing different from their surroundings and having a closed boundary. These include an innovative cue to measure the closed boundary characteristic. In experiments on the challenging PASCAL VOC 07 dataset, we show this new cue to outperform a state-of-the-art saliency measure, and the combined objectness measure to perform better than any cue alone. We also compare to interest point operators, a HOG detector, and three recent works aiming at automatic object segmentation. Finally, we present two applications of objectness. In the first, we sample a small numberof windows according to their objectness probability and give an algorithm to employ them as location priors for modern class-specific object detectors. As we show experimentally, this greatly reduces the number of windows evaluated by the expensive class-specific model. In the second application, we use objectness as a complementary score in addition to the class-specific model, which leads to fewer false positives. As shown in several recent papers, objectness can act as a valuable focus of attention mechanism in many other applications operating on image windows, including weakly supervised learning of object categories, unsupervised pixelwise segmentation, and object tracking in video. Computing objectness is very efficient and takes only about 4 sec. per image.
Mean Shift,mode seeking,and clustering
[J].
DOI:10.1109/34.400568
URL
[本文引用: 1]
Mean shift, a simple interactive procedure that shifts each data point to the average of data points in its neighborhood is generalized and analyzed in the paper. This generalization makes some k-means like clustering algorithms its special cases. It is shown that mean shift is a mode-seeking process on the surface constructed with a "shadow" kernal. For Gaussian kernels, mean shift is a gradient mapping. Convergence is studied for mean shift iterations. Cluster analysis if treated as a deterministic problem of finding a fixed point of mean shift that characterizes the data. Applications in clustering and Hough transform are demonstrated. Mean shift is also considered as an evolutionary strategy that performs multistart global optimization.
Change Detection Method for Remote Sensing Images Based on An Improved Markov Random Field
[M].
/
〈 |
|
〉 |
