基于U-Net网络和GF-6影像的尾矿库空间范围识别

doi:10.6046/zrzyyg.2021017

基于U-Net网络和GF-6影像的尾矿库空间范围识别

张成业^,¹^,², 邢江河¹, 李军^,¹^,², 桑潇¹

1.中国矿业大学(北京)地球科学与测绘工程学院,北京 100083

2.中国矿业大学(北京)煤炭资源与安全开采国家重点实验室,北京 100083

Recognition of the spatial scopes of tailing ponds based on U-Net and GF-6 images

ZHANG Chengye^,¹^,², XING Jianghe¹, LI Jun^,¹^,², SANG Xiao¹

1. College of Geoscience and Surveying Engineering, China University of Mining and Technology-Beijing, Beijing 100083, China

2. State Key Laboratory of Coal Resources and Safe Mining, China University of Mining and Technology-Beijing, Beijing 100083, China

通讯作者: 李军(1987-),男,博士,副教授,主要从事矿区多源时空数据智能处理与分析等研究。Email:junli@cumtb.edu.cn。

责任编辑: 张仙

收稿日期: 2021-01-14 修回日期: 2021-04-12

基金资助:

高分辨率对地观测重大专项航空观测系统项目“基于高分航空应用校飞数据的生态环境应用技术研究”(30-H30C01-9004-19/21)
中央高校基本科研业务费项目“露天矿区生态环境协同演变遥感大数据监测与分析”(2021YQDC02)
“空天遥感大数据驱动的矿区生态环境演变量化分析”(2021JCCXDC05)

Received: 2021-01-14 Revised: 2021-04-12

作者简介 About authors

张成业(1991-),男,博士,副教授,主要从事矿区生态环境遥感、遥感图像智能处理等研究。Email: czhang@cumtb.edu.cn。

摘要

利用遥感手段实现尾矿库空间范围的快速识别对我国尾矿库监测监管具有重要意义。以U-Net网络框架为基础,提出了基于深度学习的尾矿库空间范围遥感智能识别方法,利用国产高分六号影像在云南省红河哈尼族彝族自治州开展了应用验证。结果表明,该方法对尾矿库空间范围识别的精确率(Precision)、召回率(Recall)、F1-score值分别达到0.874,0.843和0.858,显著优于随机森林、支持向量机、最大似然法; 尾矿库空间范围识别的耗时与上述3种方法保持相同的数量级水平。该方法在全国尾矿库空间范围变化的遥感快速监测中具有广阔的应用前景。

关键词： 深度神经网络; 高分六号; 尾矿库; 遥感识别

Abstract

It is of great significance for the monitoring and supervision of tailing ponds in China to realize the rapid recognition of the spatial scopes of tailing ponds using the remote sensing technique. Based on the U-Net framework, this paper proposes a deep learning-based intelligent recognition method of the spatial ranges of tailing ponds using the remote sensing technique. The method proposed was verified in Honghe Hani and Yi Autonomous Prefecture in Yunnan Province using Chinese GF-6 satellite images. The results show that the precision, recall rate, and F1-score of the method were 0.874, 0.843, and 0.858, respectively, which were significantly better than those obtained using the methods of random forest, support vector machine, and maximum likelihood. Furthermore, the time consumption of the new method kept the same order of magnitude as that of the three methods. Therefore, the method proposed in this study has a broad application prospect in the rapid monitoring of the spatial scopes of tailing ponds in China.

Keywords： deep neural network; GF-6 satellite; tailing pond; recognition based on remote sensing images

PDF (3498KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

张成业, 邢江河, 李军, 桑潇. 基于U-Net网络和GF-6影像的尾矿库空间范围识别[J]. 自然资源遥感, 2021, 33(4): 252-257 doi:10.6046/zrzyyg.2021017

ZHANG Chengye, XING Jianghe, LI Jun, SANG Xiao. Recognition of the spatial scopes of tailing ponds based on U-Net and GF-6 images[J]. Remote Sensing For Natural Resources, 2021, 33(4): 252-257 doi:10.6046/zrzyyg.2021017

0 引言

尾矿库是筑坝拦截或围地构成的,用以存储金属或非金属矿山经选矿后排出尾矿或其他废渣的场所,含有大量暂时无法处理的有用或有害成分,是矿山开采活动的必要基础设施^[1]。尾矿库是一个具有高势能的泥石流危险源,一旦溃坝可能会造成大量的人员伤亡、农田村庄毁坏、环境严重污染。2019年,巴西Brumadinho铁尾矿库发生溃坝,造成超过250人死亡,11人失踪,下游河水中的悬浮物质和有毒化学元素急剧增加^[2]。2020年,伊春鹿鸣矿业有限公司发生尾矿库泄露事故,据生态环境部官方公布,该事故次生了我国近20 a来尾矿泄漏量最大、应急处置难度最大、后期生态环境治理修复任务异常艰巨的突发环境事件。

我国尾矿库总量居世界第一,其中非法扩张、瞒报漏报、未批先建等现象仍然存在,成为不容忽视的重大安全隐患,对尾矿库进一步实施有效的监管手段显得十分必要。然而,传统的尾矿库调查监测主要依赖人工实地勘察获取尾矿库的位置信息和空间分布,这种方法耗时耗力、成本高且时效性差。

卫星遥感以其大面积同步快速观测的优势为尾矿库的有效监测提供了重要手段。现有研究提出的尾矿库遥感空间范围识别思路可以归为3类: ①人机交互目视解译的方法,如郝利娜等^[3]对鄂东南尾矿库开展了遥感特征分析与人机交互目视解译工作,为在遥感影像上人工勾画尾矿库样本提供了重要技术基础; ②尾矿库识别的指数模型方法,如Ma等^[4]和Hao等^[5]针对铁尾矿库在Landsat8 OLI影像上表现的特征提出指数模型,开展了尾矿库目标的空间范围识别,曹兰杰等^[6]分析了尾矿库在国产高分一号影像中的特征,构建了相关的指数模型; ③计算机自动化解译方法,如Fuentes等^[7]、王立廷^[8]、Orimoloye等^[9]分别使用随机森林、支持向量机和最大似然分类等方法,利用Landsat和Sentinel等中等分辨率多光谱遥感影像数据开展了尾矿库空间范围识别或矿区地物分类研究。上述方法为尾矿库遥感识别提供了重要借鉴,但是尾矿库遥感智能识别的发展仍然缓慢。近年来,利用深度学习对遥感图像开展目标识别与提取越来越受到重视。闫凯等^[10]、Li等^[11]利用深度学习的单次多框检测器网络(single shot detector,SSD)模型对尾矿库开展了目标检测,对检测出的尾矿库目标进行标记,这为利用深度学习开展尾矿库遥感空间范围识别奠定了重要基础。

为了进一步实现尾矿库遥感空间范围的准确识别,本研究基于国产高分六号(GF-6)影像,提出了基于深度学习U-Net网络框架的尾矿库空间范围识别方法,并与随机森林、支持向量机和最大似然分类等方法进行了对比验证。

1 研究区概况与数据源

研究区主要位于云南省红河哈尼族彝族自治州内,范围在E102°41'56″~103°46'46″,N22°41'29″~23°38'16″之间,如图1所示。研究区域包含完整的个旧市以及蒙自市、元阳县、金平苗族瑶族傣族自治县、屏边苗族自治县、建水县等行政区的部分区域,合计面积共有约8 175.81 km²。研究区处于滇东南个旧-马关都龙钨锡锑多金属基地。滇东南地区地质构造复杂,有色金属矿产资源丰富,除钨锡锑之外还盛产镍、铅、铜和锌等有色金属矿产。仅个旧市锡的保有储量就有90多万t,占中国锡储量的1/3,被誉为“中国锡都”^[12]。为了堆放矿产资源开采过程中形成的大量废渣和尾矿,研究区内建造了大量尾矿库^[13]。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 研究区位置及GF-6 B3(R), B2(G),B1(B)合成影像

Fig.1 The location and GF-6 remotely-sensed image combined with B3(R),B2(G), B1(B) of the study area

GF-6卫星于2018年6月发射成功,搭载了2 m全色/8 m多光谱相机(panchromatic & multispectral scanners, PMS)和16 m多光谱宽幅相机(wide field of view, WFV)。本文采用的2 m全色/8 m多光谱的图像参数如表1所示^[14],成像时间为2019年2月6日。影像格式以及后续标注的图像样本均为TIFF格式。真彩色合成影像如图1所示。

表1 GF-6卫星全色/多光谱图像的详细参数

Tab.1 The details of the panchromatic and multispectral images acquired by GF-6

波段名称		波长/nm	空间分辨率/m	幅宽/km
全色波段		450~900	2	90
多光谱波段	蓝	450~520	8	90
	绿	520~590	8	90
	红	630~690	8	90
	近红外	770~890	8	90

新窗口打开| 下载CSV

2 研究方法

本文所采用的技术路线如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 本文技术路线图

Fig.2 The technical roadmap of this paper

2.1 数据预处理

数据预处理过程包括辐射定标、大气校正、几何纠正,最后将2 m全色影像与8 m多光谱影像利用Pansharp方法进行图像融合,得到2 m分辨率的融合图像^[15]。数据预处理操作使用PIE-Basic 6.0软件完成。PIE-Basic 6.0软件针对国产高分系列卫星集成了辐射定标、大气校正、几何纠正、图像融合等功能算法和参数。利用野外实地考察与图像目视解译相结合的手段,对图像中的尾矿库进行样本勾画,作为影像中尾矿库分布范围的真实参考。图3展示了勾画的尾矿库分布范围的真实参考示例。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 研究区内的尾矿库样本示例

Fig.3 Examples of the tailing ponds in the study area

2.2 尾矿库空间范围识别的深度学习方法

本文采用深度学习语义分割中应用较为广泛的U-Net网络原理。U-Net最早由Ronneberger等^[16]提出并应用于医学影像分割,实验证明U-Net网络在训练样本少的情况下仍然能取得很好的分割效果。2017年 Deepsense.ai公司^[17]在参与kaggle竞赛时改进了U-Net网络,改进后的U型网络与U-Net网络相比虽然都使用了编码-解码结构,但是在每次池化操作之后并不增大特征图的维度,而是保持了64层,并对网络最终的输出层做了调整,使得输入图像和输出图像在高度和宽度上具有相同的尺寸,这样的网络特性更适宜于遥感图像中小样本对象的目标识别与提取。本文以该改进后的U-Net为框架,针对GF-6卫星影像中的尾矿库目标,设计的网络结构和详细参数如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 GF-6卫星影像尾矿库空间范围识别的网络结构

Fig.4 Network structure of spatial range recognition of tailing ponds using GF-6 satellite image

本文设计的网络采用全卷积运算方式实现,网络的输入是4×512×512尺寸(波段数为4,图像宽高均为512像素)的遥感图像,经由卷积层、池化层、激活层、标准化等操作进行处理得到64×16×16尺寸的特征图,这一过程称为下采样。为了恢复到输入的遥感图像尺寸大小,需要进行图片的扩展操作,即上采样。上采样操作主要有一系列的卷积层、激活层、反卷积层和标准化处理等操作构成。上采样与下采样之间存在直接的信息连接,使得上采样过程中可以更好地恢复尾矿库目标的特征细节。网络的输出图像是与输入影像具有相同尺寸的单波段二值分类结果图像,其中,值为1的像元为网络识别的尾矿库目标像元,值为0像元为网络识别的背景像元。

本文以pytorch为编程框架、pycharm为编译器,通过python语言编程实现所设计的U-Net网络,对尾矿库进行空间范围智能识别。将研究区划分为训练集数据采集区域和测试集数据采集区域。在训练集数据采集区域,将图像裁剪为4×512×512尺寸的图像,其中含有尾矿库目标的图像109张,再随机加入109张不含有尾矿库目标的图像,然后经过对称、旋转、彩色变换等方式对数据进行扩充,最终获得1 200张4×512×512尺寸的图像作为训练数据(即training data),即训练样本的规模大小为1 200张图像。在测试集数据采集区域,通过裁剪得到60张4×512×512尺寸的图像作为测试数据(即testing data),即测试样本的规模为60张图像,用以对本文方法的精度进行测试验证。本文使用训练数据集对深度学习网络进行训练,使用测试数据集对训练完成的模型进行精度验证。训练数据和测试数据来源于影像的不同区域,相互之间不存在交集。训练数据和测试数据的时相均为2019年2月6日。

2.3 对比方法

为了验证本文方法的优势,将本文方法与3种当前常见的用于遥感识别尾矿库空间范围的方法进行了对比,即随机森林算法^[7]、支持向量机算法^[8]、最大似然法^[9]。表2展示了经过网格搜索参数的方法最终获得的各个分类方法达到最优识别效果的参数设置。

表2 4种识别算法的参数设置

Tab.2 Parameter setting of four recognition algorithms

分类器	参数设置
深度学习网络	学习率: 0.000 01,学习率衰减方式: CosineAnnealingLR,优化器: Adam
随机森林	决策树个数: 100,决策树最大深度: 15
支持向量机	惩罚系数: 100,核函数: poly,正则化参数: L2正则化
最大似然法	高斯贝叶斯分类器

新窗口打开| 下载CSV

3 结果与讨论

3.1 精度对比

本文基于深度学习的方法以及随机森林、支持向量机、最大似然法对测试数据集区域的尾矿库空间范围识别结果如图5所示。通过将识别结果与勾画的尾矿库真实分布范围参考相对比,可以发现本文基于深度学习的方法提取的尾矿库空间范围与尾矿库的真实空间范围分布最为接近,结果优于随机森林、支持向量机、最大似然法等方法。为了进一步说明本文方法的精度优势,本研究采用混淆矩阵以及精确率(Precision)、召回率(Recall)、F1-score值3个参数对空间范围提取结果进行了精度评价。精确率指的是正确识别的尾矿库像元数占所有识别为尾矿库像元总数的比例,即尾矿库类别的用户精度。召回率又称为查全率,指的是正确识别的尾矿库像元数占地面真实尾矿库像元总数的比例,即尾矿库类别的制图精度。F1-score是精确率和召回率的调和平均数,是精度的综合评价指标。这3个指标广泛用于图像目标智能识别的精度评价^[18,19,20]。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 尾矿库识别结果及参考范围

Fig.5 The result of recognition of tailing ponds and the real boundary as reference

3个指标的计算方法为:

(1)

Precision = \frac{TP}{TP + FP}

(2)

Recall = \frac{TP}{TP + FN}

(3)

F 1 - score = 2 \times \frac{Precision \times Recall}{Precision + Rec a ll}

式中: TP为尾矿库正确识别的像元个数; FN为把尾矿库识别为非尾矿库的像元个数; FP为把非尾矿库识别为尾矿库的像元个数; TN为非尾矿库正确识别的像元个数。

在相同的测试区域,不同方法得出的精度如表3所示。最大似然法对尾矿库空间范围的提取精度最差,支持向量机和随机森林算法次之,本文方法的精度最好。最大似然法的实现原理简单,是遥感图像分类算法较为广泛的算法之一,但是该方法假定研究区的目标光谱特征分布近似正态分布。本研究中最大似然法的精度最差,可能是研究区的光谱特征分布并不符合该假定条件。虽然随机森林的精度优于支持向量机,但是从Precision上看两者精度差距很小,而且在3个精度指标上均显著低于本文方法。本文方法在测试数据集上得出的结果误分区域面积最小(图5和表3),Precision,Recall,F1-score值分别达到0.874,0.843,0.858; 相比之下,本文方法在测试数据集上的精度最高、尾矿库识别效果最好,能够满足尾矿库空间范围准确提取的需求。

表3 不同方法的精度对比

Tab.3 The comparision of the accuracy of different methods

方法	真实结果/ 像元	识别结果/像元		Precision	Recall	F1- score
方法	真实结果/ 像元	尾矿库	非尾矿库	Precision	Recall	F1- score
本文方法	尾矿库	384 533	71 585	0.874	0.843	0.858
本文方法	非尾矿库	55 402	15 217 120	0.874	0.843	0.858
随机森林	尾矿库	363 962	92 156	0.815	0.798	0.806
随机森林	非尾矿库	82 570	15 189 952	0.815	0.798	0.806
支持向量机	尾矿库	330 776	125 342	0.805	0.725	0.763
支持向量机	非尾矿库	79 948	15 192 574	0.805	0.725	0.763
最大似然法	尾矿库	312 467	143 651	0.794	0.685	0.735
最大似然法	非尾矿库	80 981	15 191 541	0.794	0.685	0.735

新窗口打开| 下载CSV

3.2 速度对比

不同方法的计算机运行环境相同,详见表4。为了说明本文方法在识别尾矿库空间范围速度上的可行性,本文对不同方法的运行时间进行了统计,如表5所示。最大似然法由于方法实现简单,所以耗时最短。支持向量机算法消耗时间最长。但是,4种方法的消耗时间在相同的数量级水平。总体来说,本文方法在保持显著精度优势的前提下,与随机森林、支持向量机、最大似然法的时间消耗保持相同水平。几十秒量级的时间消耗水平为在更大区域范围内进一步应用本文方法提供了技术基础。

表4 计算机配置参数

Tab.4 Details about computer configuration

类别	配置
CPU	Intel(R) Xeon(R) Gold5118 CPU @2.30 GHz
显卡	NVIDIA GeForce RTX 2080 Ti
RAM	32 GB
操作系统	Windows10

新窗口打开| 下载CSV

表5 不同方法的运行时间

Tab.5 Run time of different methods

方法	运行时间/s
本文方法	20
随机森林	35
支持向量机	65
最大似然法	13

新窗口打开| 下载CSV

4 结论与展望

本文针对大面积区域范围内尾矿库有效监测监管的重大需求,提出了基于深度学习的尾矿库空间范围智能识别方法。主要结论包括:

1)本文所提方法是首次利用深度学习和GF-6影像开展尾矿库空间范围智能识别,在云南省红河哈尼族彝族自治州内的验证结果表明空间范围识别精度能够满足尾矿库空间范围变化监测的需求。

2)通过不同方法的识别效果和精度评价对比,本文方法的识别效果和识别精度显著优于随机森林、支持向量机、最大似然法等主流方法。

3)本文方法在识别尾矿库空间范围的时间消耗上与主流方法保持相同的数量级水平,时间消耗符合业务化推广应用的实际需求。

综上所述,本文方法有望在全国尾矿库空间范围变化遥感快速监测中开展实际推广应用。此外,为了进一步提升本文方法的识别精度,在未来的工作中需要进一步扩充尾矿库高分影像样本数据。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

沃廷枢, 汪贻水, 肖垂斌, 等. 尾矿库手册[M]. 北京: 冶金工业出版社, 2013:1-13.