Please wait a minute...
 
国土资源遥感  2021, Vol. 33 Issue (1): 63-71    DOI: 10.6046/gtzyyg.2020111
     技术方法 本期目录 | 过刊浏览 | 高级检索 |
面向对象结合深度学习方法的矿区地物提取
蔡祥1,2(), 李琦1, 罗言1, 齐建东1
1.北京林业大学信息学院,北京 100083
2.国家林业草原林业智能信息处理工程技术中心,北京 100083
Surface features extraction of mining area image based on object-oriented and deep-learning method
CAI Xiang1,2(), LI Qi1, LUO Yan1, QI Jiandong1
1. School of Information Science & Technology, Beijing Forestry University, Beijing 100083, China
2. Engineering Research Center for Forestry-oriented Intelligent Information Processing of National Forestry and Grassland Administration, Beijing 100083, China
全文: PDF(5420 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

为了快速准确获取煤炭矿区的地物信息,以达到辅助安排和部署矿区安全生产工作的目的,采用无人机低空遥感拍摄的方式获取了矿区内的高清影像数据,并提出一种基于面向对象和深度学习的矿区无人机影像地物提取方法。首先利用面向对象的分类方法配合人工校正,制作用于深度学习语义分割的标签,再采用FCN-32s,FCN-8s和U-Net 3种深度学习语义分割模型提取图像特征,训练出3种不同的分类模型,并基于此提出多数投票和打分算法2种集成模型改进地物提取精度。实验结果表明,面向对象结合深度学习方法的地物提取准确率、Kappa系数较传统面向对象方法均有明显提升。其中打分集成模型识别效果最好,在测试集上的整体准确率为94.55%,高出面向对象方法5.96百分点; Kappa系数为0.819 1。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
蔡祥
李琦
罗言
齐建东
关键词 无人机影像面向对象深度学习矿区地物提取语义分割    
Abstract

Acquisition of surface features of the mining area is greatly helpful to safe mining operation and management. In this paper, the authors propose an object-oriented combined with deep-learning classification method to extract surface features of the mining area based on unmanned aerial vehicle (UAV) images. Firstly, images are segmented by object-oriented method with manual correction to make annotation data set for deep learning models. Secondly, prepared training image data set is used to train 3 deep learning models (FCN-32s, FCN-8s and U-Net) and obtain 3 trained deep learning models respectively. Thirdly, classification accuracy is improved, and 2 integrate algorithms, which are majority voting algorithm and scoring algorithm based on these deep learning models, are proposed. The experimental results show that, compared with the single object-oriented classification method, the proposed methods have higher surface feature extraction accuracy and higher Kappa coefficient, from which the scoring integrate model has the best recognition effect. The overall accuracy of feature extraction on the testing image data set is 94.55%, which is 5.96 percentage points higher than the single object-oriented classification method, with the Kappa coefficient being 0.819 1.

Key wordsUAV aerial images    object-oriented    deep learning    mining area feature extraction    semantic segmentation
收稿日期: 2020-04-17      出版日期: 2021-03-18
ZTFLH:  TP79  
基金资助:国家重点研发计划项目“西北干旱荒漠区煤炭基地生态安全保障技术”(2017YFC0504400);“矿区生态修复与生态安全保障技术集成示范研究”(2017YFC0504406);国家自然科学基金项目“保墒造林技术水分涵养效果检测方法研究”共同资助(31400621)
作者简介: 蔡 祥(1985-),男,博士,副教授,主要从事基于机器学习的智能检测方法研究。Email: caixiang617@163.com
引用本文:   
蔡祥, 李琦, 罗言, 齐建东. 面向对象结合深度学习方法的矿区地物提取[J]. 国土资源遥感, 2021, 33(1): 63-71.
CAI Xiang, LI Qi, LUO Yan, QI Jiandong. Surface features extraction of mining area image based on object-oriented and deep-learning method. Remote Sensing for Land & Resources, 2021, 33(1): 63-71.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2020111      或      https://www.gtzyyg.com/CN/Y2021/V33/I1/63
Fig.1  煤炭矿区无人机航拍影像拼接、校正结果图
Fig.2  基于面向对象方法不同分割参数的图像分割效果(分割尺度,形状因子,紧致度因子)
Fig.3  面向对象方法结合人工校正的数据标注流程
Fig.4  矿区地物识别集成模型结构
Fig.5  FCN基本结构
Fig.6  U-Net结构
Fig.7  不同语义分割模型对测试集数据的识别结果
Fig.8  面向对象方法的漏分和错分
分类方法 准确率/%
传统面向对象分类方法 88.59
U-Net 90.21
FCN-32s 93.50
FCN-8s 94.40
多数投票法 94.55
打分法 94.55
Tab.1  不同方法地物分类结果的整体准确率
分类方法 预测地物类别 实际地物类别 Kappa系数
矿区地面 道路 车辆 建筑 总数

面向对象分类方法
矿区地面
道路
车辆
建筑
合计
786
9
44
18
857
2
35
1
0
38
14
0
14
0
28
21
6
0
50
77
823
50
59
68
1 000

0.597 8
用户精度/% 91.72 92.11 50.00 64.94

U-Net
矿区地面
道路
车辆
建筑
合计
849
2
3
3
857
5
30
0
3
38
15
0
12
1
28
46
1
0
30
77
915
33
15
37
1 000

0.626 2
用户精度/% 99.07 78.95 42.86 38.96

FCN-32s
矿区地面
道路
车辆
建筑
合计
825
10
13
9
857
1
37
0
0
38
3
0
25
0
28
16
0
0
61
77
845
47
38
70
1 000

0.805 7
用户精度/% 96.27 97.37 89.29 79.22
分类方法 预测地物类别 实际地物类别 Kappa系数
矿区地面 道路 车辆 建筑 总数

FCN-8s
矿区地面
道路
车辆
建筑
合计
833
3
13
8
857
2
36
0
0
38
8
0
19
1
28
17
0
0
60
77
860
39
32
69
1 000

0.796 3
用户精度/% 97.20 94.74 67.86 77.92

多数投票法
矿区地面
道路
车辆
建筑
合计
844
0
7
6
857
1
37
0
0
38
9
0
19
0
28
21
0
0
56
77
875
37
26
62
1 000

0.819 1
用户精度/% 98.48 97.37 67.86 72.73

打分法
矿区地面
道路
车辆
建筑
合计
845
1
6
5
857
1
37
0
0
38
10
0
18
0
28
22
0
0
55
77
877
38
24
60
1 000

0.813 8
用户精度/% 98.60 97.37 64.29 71.43
Tab.2  不同方法地物分类结果的混淆矩阵
Fig.9  腐蚀膨胀算法优化前后准确率对比
[1] 张勇. 矿山安全监控系统的应用发展研究[J]. 石化技术, 2019(5):265-274.
Zhang Y. Research on application and development of mine safety monitoring system[J]. Petrochemical Industry Technology, 2019(5):265-274.
[2] 李娜, 李素荣, 包妮沙, 等. 基于多源遥感数据的矿区典型地物最优尺度分割研究[J]. 河北遥感, 2014(2):25-28.
Li N, Li S R, Bao N S, et al. Research on optimal scale segmentation of typical land objects based on multi-source remote sensing data[J]. Hebei Remote Sensing, 2014(2):25-28.
[3] 王飞红, 任晓敏. 基于CBERS-02B的矿区地物信息的提取[J]. 电子世界, 2013(21):121-122.
Wang F H, Reng X M. Features information extraction of the mining area based on CBERS-02B[J]. Electronics World, 2013(21):121-122.
[4] 贾玉娜, 高雅, 白洋. 基于GF-1影像的矿区地物提取与分析[J]. 山西建筑, 2019,45(5):202-203.
Jia Y N, Gao Y, Bai Y. Extraction and analysis of mining features based on GF-1[J]. Shanxi Architecture, 2019,45(5):202-203.
[5] 朱元峰, 况润元, 张刚华. 基于资源一号02C卫星影像的稀土矿区地物提取研究[J]. 江西理工大学学报, 2018,39(3):40-47.
Zhu Y F, Kuang R Y, Zhang G H. Research on the extracted information on ground objects in rare earth mining area based on ZY-1 02C image[J]. Journal of Jiangxi University of Science and Technology, 2018,39(3):40-47.
[6] 孙家波, 张晓艳, 牛鲁燕, 等. 基于高分辨率遥感影像的耕地信息快速提取方法研究[J]. 山东农业科学, 2018,50(3):132-136,141.
Sun J B, Zhang X Y, Niu L Y, et al. Farmland information extraction method based on high-resolution remotely-sensed images[J]. Shandong Agricultural Sciences, 2018,50(3):132-136,141.
[7] 荆平平, 李兵, 贾宗仁, 等. 基于无人机遥感的信息提取研究[J]. 测绘与空间地理信息, 2017,40(12):77-80.
Jing P P, Li B, Jia Z R, et al. Research on information extraction based on UAV remote Sensing[J]. Geomatics & Spatial Information Technology, 2017,40(12):77-80.
[8] 何少林, 徐京华, 张帅毅. 面向对象的多尺度无人机影像土地利用信息提取[J]. 国土资源遥感, 2013,25(2):107-112.doi: 10.6046/gtzyyg.2013.02.19
He S L, Xu J H, Zhang S Y. Land use classification of object-oriented multi-scale by UAV image[J]. Remote Sensing for Land and Resources, 2013,25(2):107-112.doi: 10.6046/gtzyyg.2013.02.19
[9] 张建勇, 赵艳玲, 肖武, 等. 利用低空无人机摄影测量快速构建矿区线状地物信息[J]. 测绘通报, 2017(10):106-110.
Zhang J Y, Zhao Y L, Xiao W, et al. Rapid construction of mine line infrastructure using low-altitude unmanned aerial vehicle photogrammetry[J]. Bulletin of Surveying and Mapping, 2017(10):106-110.
[10] 韦国钧. 基于无人机影像快速发现可疑变化地物技术研究[D]. 南京:东南大学, 2018.
Wei G J. A research on the key technology of quickly detecting suspicious changed land-use based on UAV images[D]. Nanjing:Southeast University, 2018.
[11] 徐晓萍. 无人机航测技术在矿区地形测量中的应用[J]. 资源信息与工程, 2018,33(3):114-115.
Xu X P. Application of UAV aerial surveying technology in landform measurement of mining area[J]. Resource Information and Engineering, 2018,33(3):114-115.
[12] 师文杰, 张文君. 解析无人机航空摄影测量技术在矿山地质环境治理中的应用[J]. 环球人文地理, 2017(9):81.
Shi W J, Zhang W J. Analyze the application of drone aerial photogrammetry technology in mine geological environment management[J]. Cultural Geography, 2017(9):81.
[13] Mnih V, Hinton G E. Learning to detect roadsin high-resolution aerial images[C]// European Conference on Computer Vision.Berlin:Springer, 2010: 210-223.
[14] 郑重, 张敬东, 杜建华. 基于深度学习的遥感图像中地面塌陷识别方法研究[J]. 现代商贸工业, 2017(35):189-192.
Zheng Z, Zhang J D, Du J H. Research on ground collapse recognition in remote sensing images based on deep learning[J]. Modern Business Trade Industry, 2017(35):189-192.
[15] 向阳, 赵银娣, 董霁红. 基于改进UNet孪生网络的遥感影像矿区变化检测[J]. 煤炭学报, 2019,44(12):3773-3780.
Xiang Y, Zhao Y D, Dong J H. Remote sensing image mining area change detection based on improved UNet siamese network[J]. Journal of China Coal Society, 2019,44(12):3773-3780.
[16] 马浩然. 基于多层次分割的遥感影像面向对象森林分类[D]. 北京:北京林业大学, 2014.
Ma H R. Object-based remote sensing image classification of forest based on multi-level segmentation[D]. Beijing:Beijing Forestry University, 2014.
[17] 周龙君, 陈晓芬, 杨利娟. 面向对象标准最邻近分类法在地理国情监测中的应用[J]. 测绘与空间地理信息, 2016,39(5):155-157.
Zhou L J, Chen X F, Yang L J. Object-based standard nearest neighbor classification used in national geomatics monitoring[J]. Geomatics & Spatial Information Technology, 2016,39(5):155-157.
[18] Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014,39(4):640-651.
pmid: 27244717
[19] Ronneberger O, Fischer P, Brox T. U-Net:Convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention.Berlin:Springer, 2015: 234-241.
[1] 牛祥华, 黄微, 黄睿, 蒋斯立. 基于注意力特征融合的高保真遥感图像薄云去除[J]. 自然资源遥感, 2023, 35(3): 116-123.
[2] 林佳惠, 刘广, 范景辉, 赵红丽, 白世彪, 潘宏宇. 联合改进U-Net模型和D-InSAR技术采矿沉陷提取方法[J]. 自然资源遥感, 2023, 35(3): 145-152.
[3] 刘立, 董先敏, 刘娟. 顾及地学特征的遥感影像语义分割模型性能评价方法[J]. 自然资源遥感, 2023, 35(3): 80-87.
[4] 梁茜亚, 王卷乐, 李朋飞, DAVAADORJ Davaasuren. 基于GF-1影像的蒙古高原干旱半干旱地区自然道路提取——以蒙古国古尔班特斯苏木为例[J]. 自然资源遥感, 2023, 35(2): 122-131.
[5] 邱磊, 张学志, 郝大为. 基于深度学习的视频SAR动目标检测与跟踪算法[J]. 自然资源遥感, 2023, 35(2): 157-166.
[6] 张仙, 李伟, 陈理, 杨昭颖, 窦宝成, 李瑜, 陈昊旻. 露天开采矿区要素遥感提取研究进展及展望[J]. 自然资源遥感, 2023, 35(2): 25-33.
[7] 石敏, 李慧颖, 贾明明. 基于GEE云平台与Landsat数据的山口自然保护区红树林时空变化分析[J]. 自然资源遥感, 2023, 35(2): 61-69.
[8] 李天驰, 王道儒, 赵亮, 凡仁福. 基于Landsat8遥感数据的西沙群岛永乐环礁底质分类与变化分析[J]. 自然资源遥感, 2023, 35(2): 70-79.
[9] 刁明光, 刘勇, 郭宁博, 李文吉, 江继康, 王云霄. 基于Mask R-CNN的遥感影像疏林地智能识别方法[J]. 自然资源遥感, 2023, 35(2): 97-104.
[10] 张可, 张庚生, 王宁, 温静, 李宇, 杨俊. 基于遥感和深度学习的输电线路地表水深预测[J]. 自然资源遥感, 2023, 35(1): 213-221.
[11] 李晨辉, 郝利娜, 许强, 王一, 严丽华. 面向对象的高分辨率遥感影像地震滑坡分层识别[J]. 自然资源遥感, 2023, 35(1): 74-80.
[12] 胡建文, 汪泽平, 胡佩. 基于深度学习的空谱遥感图像融合综述[J]. 自然资源遥感, 2023, 35(1): 1-14.
[13] 赵凌虎, 袁希平, 甘淑, 胡琳, 丘鸣语. 改进Deeplabv3+的高分辨率遥感影像道路提取模型[J]. 自然资源遥感, 2023, 35(1): 107-114.
[14] 张雨, 明冬萍, 赵文祎, 徐录, 赵治, 刘冉. 基于高分光学卫星影像的泸定地震型滑坡提取与分析[J]. 自然资源遥感, 2023, 35(1): 161-170.
[15] 吕雅楠, 朱红, 孟健, 崔成玲, 宋其淇. 面向高分辨率遥感影像车辆检测的深度学习模型综述及适应性研究[J]. 自然资源遥感, 2022, 34(4): 22-32.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发