Please wait a minute...
 
国土资源遥感  2020, Vol. 32 Issue (1): 66-74    DOI: 10.6046/gtzyyg.2020.01.10
     技术方法 本期目录 | 过刊浏览 | 高级检索 |
图像语义分割辅助的车载激光点云道路提取方法
于博1, 张军军2, 李春庚1(), 安居白1
1. 大连海事大学信息科学技术学院,大连 116026
2. 北京迪路科技有限公司,北京 100193
Automated extraction of roads from mobile laser scanning point clouds by image semantic segmentation
Bo YU1, Junjun ZHANG2, Chungeng LI1(), Jubai AN1
1. School of Information Science and Technology, Dalian Maritime University, Dalian 116026, China
2. Beijing Dilu Technology Co., Ltd., Beijing 100193, China
全文: PDF(7256 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

针对车载激光扫描系统获得的点云数据量大,难以获得有效特征进行分割分类提取道路的现状,提出一种深度学习图像语义分割辅助的激光点云道路提取方法。采用二维图像语义分割、数据融合配准粗分类、三维霍夫变换点云平面分割拟合和局部优化点云细分类的四步工作流程对车载激光点云进行道路提取。在2段不同的城市道路点云数据中进行提取与评测,获取的道路数据正确率与完整率均达到99%以上,提取质量优异,可满足实际应用需求。经实验分析,该方法可有效提取不同道路情况的道路点云,对点云数据的原始条件约束较少,相比其他方法在普适性和鲁棒性上都有大幅的提升。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
于博
张军军
李春庚
安居白
关键词 道路提取语义分割深度学习融合配准霍夫变换    
Abstract

Mobile laser scanning can acquire lots of dense point clouds. Therefore, how to get high-quality road point clouds is a problem worthy of further study. This paper proposes a method for automatic extraction of roads from mobile laser scanning point clouds by image semantic segmentation. The authors use a four-step strategy: First, semantic segmentation images are created using 2D panoramic images. Then, fusion and matching are conducted to get rough classification results. After that, the 3D Hough transform is used to get the segmentation plane before fitting. Finally, a finely classified point cloud is obtained through local optimization operations. The authors extracted and evaluated two different points of cloud data on urban roads. The accuracy and integrity are all over 99%. The extraction quality is high enough to adapt the application requirements in practice. The method proposed by the authors can extract road point clouds in different situations and has less primitive constraints on point cloud data. It shows a significant improvement in both universality and robustness compared with other methods.

Key wordsroad extraction    semantic segmentation    deep learning    fusion and matching    Hough transform
收稿日期: 2018-12-28      出版日期: 2020-03-14
:  P208  
  TP183  
基金资助:国家自然科学基金项目“基于激光技术的溢油乳化进程不同阶段判别方法研究”(编号: 61471079)
通讯作者: 李春庚
作者简介: 于 博(1994-),男,硕士研究生,研究方向为计算机视觉、深度学习、数字图像处理。Email: yubo@dlmu.edu.cn。
引用本文:   
于博, 张军军, 李春庚, 安居白. 图像语义分割辅助的车载激光点云道路提取方法[J]. 国土资源遥感, 2020, 32(1): 66-74.
Bo YU, Junjun ZHANG, Chungeng LI, Jubai AN. Automated extraction of roads from mobile laser scanning point clouds by image semantic segmentation. Remote Sensing for Land & Resources, 2020, 32(1): 66-74.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2020.01.10      或      https://www.gtzyyg.com/CN/Y2020/V32/I1/66
Fig.1  路面点云提取流程
Fig.2  语义分割网络结构示意图
Fig.3  2种卷积方式对比
Fig.4  空洞卷积示意图
Fig.5  空洞空间金字塔池化结构示意图
Fig.6  球坐标变换示意图
Fig.7  三维霍夫变换示意图
Fig.8  平面霍夫空间
Fig.9  生长算法示意图
Fig.10  全景图像及分割
Fig.11  点云与图像的融合配准
Fig.12  整体点云分类
Fig.13  道路点云分类
Fig.14  第二段点云数据道路分类结果
数据 p t q
第一段 99.93 99.88 99.81
第二段 99.78 99.52 99.31
Tab.1  点云数据精度评价
[1] Yang B, Wei Z, Li Q . Automated extraction of street-scene objects from mobile LiDAR point clouds[J]. International Journal of Remote Sensing, 2012,33(18):5839-5861.
[2] Yu Y, Li J, Guan H . Semiautomated extraction of street light poles from mobile LiDAR point-clouds[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,53(3):1374-1386.
[3] Wang H, Cai Z, Luo H . Automatic road extraction from mobile laser scanning data[C]// International Conference on Computer Vision in Remote Sensing.IEEE, 2012: 136-139.
[4] Smadja L, Ninot J, Gavrilovic T . Road extraction and environment interpretation from LiDAR sensors[J]. IAPRS, 2010,38:281-286
[5] Cabo C, Ordoñez C, García-Cortés S . An algorithm for automatic detection of pole-like street furniture objects from mobile laser scanner point clouds[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014,87:47-56.
[6] Yang B, Fang L, Li Q . Automated extraction of road markings from mobile LiDAR point clouds[J]. Photogrammetric Engineering and Remote Sensing, 2012,78(4):331-338.
[7] Yu Y, Li J, Guan H . Learning hierarchical features for automated extraction of road markings from 3-D mobile LiDAR point clouds[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015,8(2):709-726.
[8] Jaakkola A, Hyyppä J, Hyyppä H . Retrieval algorithms for road surface modelling using laser-based mobile mapping[J]. Sensors, 2008,8(9):5238-5249.
[9] Yuan X, Zhao C, Cai Y . Road-surface abstraction using ladar sensing[C]// 10th International Conference on Control,Automation,Robotics and Vision.IEEE, 2008: 1097-1102.
[10] Zhang W . LiDAR-based road and road-edge detection[C]// Intelligent Vehicles Symposium (IV).IEEE, 2010: 845-848.
[11] Boyko A, Funkhouser T . Extracting roads from dense point clouds in large scale urban environment[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2011,66(6):S2-S12.
[12] Wu B, Yu B, Huang C . Automated extraction of ground surface along urban roads from mobile laser scanning point clouds[J]. Remote Sensing Letters, 2016,7(2):170-179.
[13] 方莉娜, 杨必胜 . 车载激光扫描数据的结构化道路自动提取方法[J]. 测绘学报, 2013,42(2):260-267.
Fang L N, Yang B S . Automated extracting structural roads from mobile laser scanning point clouds[J]. Acta Geodaetica et Cartographica Sinica, 2013,42(2):260-267.
[14] 张达, 李霖, 李游 . 基于车载激光扫描的城市道路提取方法[J]. 测绘通报, 2016,(7):30-34,47.
Zhang D, Li L, Li Y . Urban roads automated extracting from mobile laser scanning point clouds[J]. Bulletin of Surveying and Mapping, 2016,(7):30-34,47.
[15] 刘如飞, 田茂义, 许君一 . 车载激光扫描数据中高速公路路面点滤波[J]. 武汉大学学报(信息科学版), 2015,40(6):751-755.
Liu R F, Tian M Y, Xu J Y . Expressway road surface point filtering for mobile laser scanning data[J]. Geomatics and Information Science of Wuhan University, 2015,40(6):751-755.
[16] 刘如飞, 卢秀山, 岳国伟 , 等. 一种车载激光点云数据中道路自动提取方法[J]. 武汉大学学报(信息科学版), 2017,42(2):250-256.
Liu R F, Lu X S, Yue G W , et al. An automatic extraction method of road from vehicle-borne laser scanning point clouds[J]. Geomatics and Information Science of Wuhan University, 2017,42(2):250-256.
[17] 张康, 黑保琴, 李盛阳 , 等. 基于CNN模型的遥感图像复杂场景分类[J]. 国土资源遥感, 2018,30(4):49-55.doi: 10.6046/gtzyyg.2018.04.08.
Zhang K, Hei B Q, Li S Y , et al. Complex scene classification of remote sensing images based on CNN[J]. Remote Sensing for Land and Resources, 2018,30(4):49-55.doi: 10.6046/gtzyyg.2018.04.08.
[18] 周询, 王跃宾, 刘素红 , 等. 一种遥感影像自动识别耕地类型的机器学习算法[J]. 国土资源遥感, 2018,30(4):68-73.doi: 10.6046/gtzyyg.2018.04.11.
Zhou X, Wang Y B, Liu S H , et al. A machine learning algorithm for automatic identification of cultivated land in remote sensing images[J]. Remote Sensing for Land and Resources, 2018,30(4):68-73.doi: 10.6046/gtzyyg.2018.04.11.
[19] Chen L C, Zhu Y, Papandreou G , et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[EB/OL]. (2018- 08- 22)[2018-12-28]. http://arxiv.org/abs/1802.02611v1.
[20] 李金洪 . 深度学习之TensorFlow入门、原理及进阶实战[M]. 北京: 机械工业出版社, 2018.
Li J H. Getting Started and Best Practices with TensorFlow for Deep Learning[M]. Beijing: China Machine Press, 2018.
[21] Wang H, Wang C, Chen Y . Extracting road surface from mobile laser scanning point clouds in large scale urban environment[C]// 17th International Conference on Intelligent Transportation Systems(ITSC).IEEE, 2014: 2912-2917.
[1] 薛白, 王懿哲, 刘书含, 岳明宇, 王艺颖, 赵世湖. 基于孪生注意力网络的高分辨率遥感影像变化检测[J]. 自然资源遥感, 2022, 34(1): 61-66.
[2] 郭晓征, 姚云军, 贾坤, 张晓通, 赵祥. 基于U-Net深度学习方法火星沙丘提取研究[J]. 自然资源遥感, 2021, 33(4): 130-135.
[3] 冯东东, 张志华, 石浩月. 基于多元数据的省会城市城中村精细提取[J]. 自然资源遥感, 2021, 33(3): 272-278.
[4] 郭文, 张荞. 基于注意力增强全卷积神经网络的高分卫星影像建筑物提取[J]. 国土资源遥感, 2021, 33(2): 100-107.
[5] 武宇, 张俊, 李屹旭, 黄康钰. 基于改进U-Net的建筑物集群识别研究[J]. 国土资源遥感, 2021, 33(2): 48-54.
[6] 卢麒, 秦军, 姚雪东, 吴艳兰, 朱皓辰. 基于多层次感知网络的GF-2遥感影像建筑物提取[J]. 国土资源遥感, 2021, 33(2): 75-84.
[7] 安健健, 孟庆岩, 胡蝶, 胡新礼, 杨健, 杨天梁. 基于Faster R-CNN的火电厂冷却塔检测及工作状态判定[J]. 国土资源遥感, 2021, 33(2): 93-99.
[8] 刘钊, 赵桐, 廖斐凡, 李帅, 李海洋. 基于语义分割网络的高分遥感影像城市建成区提取方法研究与对比分析[J]. 国土资源遥感, 2021, 33(1): 45-53.
[9] 蔡祥, 李琦, 罗言, 齐建东. 面向对象结合深度学习方法的矿区地物提取[J]. 国土资源遥感, 2021, 33(1): 63-71.
[10] 仇一帆, 柴登峰. 无人工标注数据的Landsat影像云检测深度学习方法[J]. 国土资源遥感, 2021, 33(1): 102-107.
[11] 裴婵, 廖铁军. 面向遥感目标检测的多尺度架构搜索方法[J]. 国土资源遥感, 2020, 32(4): 53-60.
[12] 刘钊, 廖斐凡, 赵桐. 基于PSPNet的遥感影像城市建成区提取及其优化方法[J]. 国土资源遥感, 2020, 32(4): 84-89.
[13] 刘尚旺, 崔智勇, 李道义. 基于Unet网络多任务学习的遥感图像建筑地物语义分割[J]. 国土资源遥感, 2020, 32(4): 74-83.
[14] 郑智腾, 范海生, 王洁, 吴艳兰, 王彪, 黄腾杰. 改进型双支网络模型的遥感海水网箱养殖区智能提取方法[J]. 国土资源遥感, 2020, 32(4): 120-129.
[15] 杜方洲, 石玉立, 盛夏. 基于深度学习的TRMM降水产品降尺度研究——以中国东北地区为例[J]. 国土资源遥感, 2020, 32(4): 145-153.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发