自然资源遥感, 2024, 36(3): 96-107 doi: 10.6046/zrzyyg.2023132

技术方法

基于高分辨率遥感影像和改进U-Net模型的滑坡提取——以汶川地区为例

白石,1, 唐攀攀,1, 苗朝2, 金彩凤3, 赵博1, 万昊明1

1.南湖实验室大数据技术研究中心,嘉兴 314002

2.中国地质调查局探矿工艺研究所,成都 611734

3.嘉兴南湖学院建筑工程学院,嘉兴 314001

Information extraction of landslides based on high-resolution remote sensing images and an improved U-Net model: A case study of Wenchuan, Sichuan

BAI Shi,1, TANG Panpan,1, MIAO Zhao2, JIN Caifeng3, ZHAO Bo1, WAN Haoming1

1. Research Center of Big Data Technology, Nanhu Laboratory, Jiaxing 314002, China

2. Institute of Exploration Technology Chinese Academy of Geological Sciences, Chengdu 611734, China

3. School of Architectural Engineering, Jiaxing Nanhu University, Jiaxing 314001, China

通讯作者: 唐攀攀(1985-),男,副研究员,从事遥感AI解译、地质灾害监测等。Email:tangpp@nanhulab.ac.cn

责任编辑: 张仙

收稿日期: 2023-05-16   修回日期: 2023-09-25  

基金资助: 南湖实验室自研项目“大数据一体化互操作系统研发”(NSS2021C102004)

Received: 2023-05-16   Revised: 2023-09-25  

作者简介 About authors

白 石(1994-),男,硕士,主要从事遥感智能解译、遥感地质等方向研究。Email: bais@nanhulab.ac.cn。

摘要

滑坡快速识别检测可以满足滑坡灾害的高时效性要求,对灾害损失评估和灾后救援具有重要意义。研究提出一种基于深度学习的滑坡自动提取方法提高滑坡检测的精度。该方法使用目标区遥感影像、数字高程模型数据和面向对象多特征变化向量分析法(robust change vector analysis,RCVA)提取的变化特征作为模型输入,设计结合密集上采样和非对称卷积的U-Net模型提高滑坡识别精度。以四川省汶川地区作为研究区,设计试验测试了不同数据组合和不同方法得到的像素级滑坡分割精度,结果表明该研究提出的改进的U-Net模型可以取得更好的分割结果。

关键词： 深度学习; 滑坡; 语义分割; U-Net

Abstract

Rapid identification and detection of landslides can both meet the requirement of timely responses to disasters and hold great significance for loss assessment and rescue post-disaster. This study proposed a deep learning-based automatic information extraction method for landslides to improve their detection accuracy. Specifically, the model input of this method includes the remote sensing images of the target areas, data from digital elevation models, and variation characteristics extracted using robust change vector analysis (RCVA). Furthermore, a U-Net model integrating dense upsampling and asymmetric convolution is designed to improve the identification accuracy. Taking Wenchuan, Sichuan Province as the study area, this study designed experiments to test the pixel-level image segmentation accuracy of landslides using different data combinations and methods. The results indicate that the improved U-Net model proposed in the study can produce the optimal image segmentation results of landslides.

Keywords： deep learning; landslide; semantic segmentation; U-Net

PDF (7655KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

白石, 唐攀攀, 苗朝, 金彩凤, 赵博, 万昊明. 基于高分辨率遥感影像和改进U-Net模型的滑坡提取——以汶川地区为例[J]. 自然资源遥感, 2024, 36(3): 96-107 doi:10.6046/zrzyyg.2023132

BAI Shi, TANG Panpan, MIAO Zhao, JIN Caifeng, ZHAO Bo, WAN Haoming. Information extraction of landslides based on high-resolution remote sensing images and an improved U-Net model: A case study of Wenchuan, Sichuan[J]. Remote Sensing for Land & Resources, 2024, 36(3): 96-107 doi:10.6046/zrzyyg.2023132

0 引言

作为一种普遍且频繁发生的地质灾害,滑坡可以造成严重的建筑破坏、人员伤亡和财产损失[1-2]。强降雨、火山活动和地震等自然灾害作为产生滑坡的诱因,往往造成更严重的破坏[3⇓-5]。灾后快速获取滑坡信息,有利于把握“黄金救援72小时”,可以为快速组织救灾工作提供便利[6]。实地调查是获取滑坡信息的常用且可靠的手段,但会消耗大量的人力物力财力,且时效性差。遥感对地观测数据具有时效性强、观测范围广和获取便利等优势,因此被广泛应用于滑坡检测[7]。如前人基于合成孔径雷达[8]、多光谱传感器[9]、无人机影像[9]、数字高程模型(digital elevation model,DEM)[10⇓-12]等不同的遥感数据或产品,开展滑坡解译工作。

传统的滑坡灾害解译首先依靠专业人员建立解译标志,后采用目视解译实现滑坡制图[13-14],但解译成本较高,且受解译人员的主观因素影响。此外,一些研究人员采用面向对象方法识别滑坡 [15-16],但该类型方法具有一定的局限性,泛化性较差。近年来,一些基于机器学习的滑坡解译算法相继提出,如李松等[17] 发现,使用简单的支持向量机算法即可实现滑坡的快速提取和分类;Marjanović等[18]使用决策树、逻辑回归和支持向量机在西班牙选取滑坡易发地区实现滑坡潜在风险估计,并证明在3种机器学习方式中,支持向量机可以取得更好的结果;Lee[19]基于SPOT数据使用逻辑回归算法在马来西亚槟城地区绘制了潜在的滑坡分布图; Stumpf等[20]使用随机森林算法提取了全球范围内的超大型滑坡,解译精度保持在73%~87%之间。然而,这些方法对于具有复杂纹理和强烈光谱异质性的场景难以取得理想的滑坡解译效果,其自动化程度较低,且依赖人工设计的特征提取流程,故泛化性较差[21]。因此,开发一种快速、精确且自动化程度较高的滑坡定位或检测模型可以为地质灾害防治提供有效支撑,为研究滑坡分布规律及滑坡潜在风险等问题提供技术支持。

近年来,得益于计算机视觉和图形处理单元(graphics processing unit,GPU)算力的大幅提高,卷积神经网络如 ResNet[22],Deeplab[23],Fast R-CNN[24]等在几乎所有计算机视觉任务中都取得了优势效果,这些模型亦被广泛应用于遥感图像解译 [24⇓⇓-27]。语义分割作为遥感图像解译的主要表现形式之一,已被广泛应用于滑坡提取任务中。如Ghorbanzadeh等[27]使用RapidEye影像和DEM训练和测试了若干深度学习模型和机器学习模型的滑坡检测精度,发现前者的表现及泛化能力显著优于后者;杨昭颖等[28]同样使用卷积神经网络和DEM数据实现黄土滑坡的识别,实验结果证实了该方法的有效性; Ye等[29]针对高光谱影像提出将带约束的深度学习高维特征作为Logistic 回归分类器的输入来解译滑坡;Wang等[30]综合YOLOv5和注意力机制之优势,通过目标识别的方式来解译滑坡;Yu等[31]设计出一种能够处理多尺度信息的Matrix SegNet网络模型,并从具有不同空间分辨率的卫星图像中解译滑坡;Zhang等[32]则将时间维引入滑坡检测,建立了基于变化检测网络的滑坡解译模型。

U-Net是一种轻量化、容易部署的网络模型,其优势在于小样本训练,因此被大量用于滑坡检测任务[33-34]。U-Net由编码器和解码器构成,在编码器阶段,模型通过一系列卷积、池化和下采样操作来提取图像中的特征信息;解码器阶段则通过一系列上采样和卷积操作,恢复图像分辨率以实现对图像语义分割。Su 等[35]采用简单的U-Net网络,利用滑坡发生前、后不同时相的遥感影像结合DTM数据实现了滑坡的快速提取; Meena等[34] 对比了U-Net与随机森林、支持向量机等机器学习算法在滑坡分割任务上的表现,证实了U-Net的优越性; Ghorbanzadeh等[36]使用U-Net网络结合面向对象方法,进一步提高了滑坡解译精度; Liu等[33] 研究了U-Net在无人机影像中的应用前景。这些研究一方面证明了U-Net模型在滑坡检测任务中的应用潜力,另一方面也暴露了U-Net模型本身的缺陷,如编码器与解码器之间存在的语义鸿沟[37]、上采样过程中的空间信息损失等[38]。

针对前人研究的不足,本文以四川省汶川地区为研究区,提出了一种改进型U-Net模型实现滑坡的快速检测,同时引入DEM、变化检测结果、坡度等多源数据作为模型输入。模型以U-Net为基准,结合密集上采样(dense upsampling convolution,DUC)技术和非对称卷积(asymmetric convolutions,AC)技术来解决语义信息不匹配和空间信息损失问题,提高了网络在复杂场景下的滑坡解译能力。此外,本文还公开了一套高分辨率影像滑坡样本数据库。

1 研究区概况和数据源

1.1 研究区概况

研究区位于中国四川省汶川县映秀镇(图1)。该地区海拔变化快,属于中山、低山河谷地貌,地形整体起伏较大。2008年5月12日,研究区内发生了里氏8.0级剧烈地震,引发了崩塌、滑坡、泥石流等大规模地质灾害;加之其亚热带湿润季风气候,降水量偏多,容易引发后续次生灾害;因此成为研究和检验遥感滑坡解译效果的理想靶区,亦有望对当地灾后救援重建、经济发展、灾害风险规避等起到一定的指导作用。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   研究区位置及Google Earth遥感影像

Fig.1   Location of the study area and Google Earth remote sensing image


1.2 数据源

汶川地区的地震引发的滞后性地质灾害远远超出震前水平,并且在震后10~15 a内产生持续影响,直至趋于稳定[39],因此选用地震前遥感影像作为前时相影像可以最大程度地囊括该地区发生的滑坡灾害,此外长时序数据分析对滑坡治理也具有重要意义[40]。本文使用1 m分辨率Google Earth 影像,该影像由MAXAR公司合成产品提供,前时相影像来自QuickBird-2,后时相影像来源于WorldView-3,由滑坡发生前时相和后时相影像组成。前时相影像成像时间是2007年5月,后时相影像成像时间是2018年4月。其中,后时相影像质量较好,云覆盖率1%,但高海拔地区存在积雪遮挡。前时相影像受云覆盖较明显。DEM来自ALOS PALSAR的12.5 m分辨率产品(https://asf.alaska.edu/data-sets/sar-data-sets/alos-palsar/alos-palsar-how-to-cite/)。

2 研究方法

本研究的主要目的是使用改进的U-Net模型自动提取滑坡,流程如图2所示。首先收集研究区内的高分辨率遥感影像和DEM数据,依据专家经验以目视解译的方法制作标签。初步得到的数据使用样本裁切、数据清洗方式二次筛查,得到可用于模型训练的滑坡样本库。然后依据滑坡样本库构建模型训练需要的多源数据集。多源数据集除高分辨率遥感影像和DEM数据外,还包括使用面向对象多特征变化向量分析法(robust change vector analysis,RCVA)方法提取的滑坡发生前后的变化特征和依据DEM数据提取的坡度信息。多源数据的尺寸是256像元×256像元,由6个通道构成。数据通过随机翻转和随机缩放得到增强。之后以U-Net网络为基准,通过AC和DUC模块的不同组合, 设计了U-Net,U-Net+AC,U-Net+DUC,U-Net+AC+DUC这4种网络提取研究区内的滑坡。模型训练时采用随机翻转和随机缩放的方式对输入数据在线增强。研究采用了一种包含柔性边界的精度计算方法评价模型,该方法允许预测结果与标签之间存在一个像素范围的误差,选用Precision,Recall,IoU,F1-Score这4种指标评价模型精度。最后分析不同模型得到的滑坡提取结果,选取最佳模型生成研究区的滑坡分布图。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   滑坡提取流程

Fig.2   Landslide extraction process


2.1 样本库构建

与深度学习有关的滑坡检测模型通常依赖于大量的人工标注样本,本文公开了研究区范围内的滑坡样本数据库。其图像部分包含3 236幅256像素×256像素大小的Google Earth RGB影像,分辨率为1 m,覆盖面积约780 km2,对应3 236幅同样大小的二值化标签影像 (255:已知滑坡, 0:背景地物)。样本库的构建方式为:首先依据专家经验通过目视解译进行初步样本制作,解译主要参考该地区植被覆盖情况、坡度、裸地分布以及一些纹理特征,共解译滑坡2 366个;解译后通过人工核验减少解译人员解译过程发生的漏检误检现象;其次,复杂场景下人工解译难度增大,容易发生错误,比如滑坡容易与裸地相混淆。因此利用坡度信息对其进行了二次筛选,凡坡度小于经验值10°的一律予以剔除,同时剔除面积占比小于3%的滑坡噪点。最后再次通过人工核验的方式保证数据的可靠性,由此形成的滑坡样本库具有较高的质量和参考价值,该成果公布在landslide | Kaggle。其中,30%的样本用于测试,见图1红色方框,70%的样本用于训练,见图1绿色方框。

2.2 多源数据

变化特征和高程、坡度信息与研究区遥感影像在通道维叠加作为模型输入数据。从时间的角度来看,滑坡的实质就是变化,因此引入变化信息有利于模型学习,提高滑坡解译的精度[41]。高程信息可以影响滑坡的形态和分布特征。一方面,深层次的地质构造会影响地表高程,进而影响滑坡的易发程度; 另一方面,高程、坡度不同,降水率、植被生长状态、土壤类型等地表因素不同[42],这些是诱发滑坡灾害的重要因素。

使用变化特征作为输入时,由于太阳位置和卫星姿态差异,通常2期遥感影像会有几何和光谱上的偏差,对高精度遥感影像变化检测任务会产生负面影响。因此本研究采用RCVA的方法提取遥感影像中的变化特征[43]。该方法基于2幅遥感影像的纹理特征得到不同时相间的变化特征。假设在某一给定区域内,对应像素间的光谱方差最小,这样可以在计算变化特征时减少图像畸变引起的误差。计算公式为:

xdiffai(j,k)=min[(x2i(j,k)-x1i(p,q)≥0](p∈[j-w,j+w],q∈[k-w,k+w])
xdiffbi(j,k)=min[(x1i(j,k)-x2i(p,q)≥0](p∈[j-w,j+w],q∈[k-w,k+w])

式中:a和b分别为a和b时相遥感影像作为参考影像计算变化特征;p,q为计算某像素位置变化特征时该像素在参考影像上的行列号;j,k为另一遥感影像计算变化特征时像素行列号;x1i和x2i为不同时相影像中波段 i 的数字编号;xdiff 为波段差值;n为波段数;w为计算变化特征时的窗口尺寸,也可以视作图像配准时允许的误差范围。分别以x1i和x2i作为基准图像计算特征,可以减小信息损失。该方法使用尺寸为2w+1的滑动窗口计算像素差异。其中,本文w=3。

坡度反映了高程变化的快慢,影响岩土应力分布,因此坡度大小与滑坡存在一定的相关关系。坡度的计算公式为:

Slope=180×arctan(m2-n2)/π

式中: Slope为坡度; m,n为高程在不同方向上的变化率。由于DEM数据和坡度信息和遥感数据在分辨率上有较大差异,因此地形特征需要插值处理。研究为了提升滑坡的分割效果,选用双线性、分形插值、反距离插值等方式提升DEM数据和坡度信息的分辨率,结果表明不同插值方式对模型分割结果的影响并无明显区别,因此本实验结果选用双线性插值法处理地形特征。

2.3 模型构建

针对滑坡提取任务,本文提出了改进的U-Net网络模型,使用AC和DUC提高滑坡解译精度,如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   改进的U-Net网络模型结构

Fig.3   Improved U-Net network model structure


U-Net由编码器和解码器2部分组成,其中编码器的下采样模块由3×3卷积构成,每个卷积层后使用BN层和ReLU层增强模型的表征能力。每经过一次下采样,输入数据的特征图尺寸缩小为原尺寸的1/2,通道数扩大1倍。为了弥补因编码器下采样而损失的信息,编码器与解码器之间的特征图在通道上叠加,为解码器的特征图添加更多的细节信息。

由于光照、滑坡形状、植被物候、拍摄角等因素的干扰,U-Net模型在滑坡解译过程中存在一定的缺陷。一是不能很好地提取诊断性的语义和上下文信息,这是因为网络的编码器和解码器输出的特征图存在语义鸿沟[44],因此采用DUC方法[45]缩小编码器和解码器间的语义差异,提高滑坡分割的精度;二是U-Net网络存在一些固有的缺陷,跳跃连结会使差异过大的特征图在通道维叠加,引入无关的特征[37],面对不规则的目标时不能很好地适应,影响分割效果,因此本研究引入了AC[46]增强网络对滑坡不规则分布的适应能力。

本研究对比了不同模块组合和不同数据组合对模型分割精度的影响。为了探究DEM数据和坡度以及变化特征对分割精度的影响,设计对比实验比较了U-Net网络在不同数据上的表现。除了U-Net网络外,研究还通过AC和DUC模块的不同组合方式,设计了U-Net+AC,U-Net+DUC,U-Net+AC+DUC这 3种网络对比不同模块对分割结果的影响。

2.3.1 DUC模块

滑坡边界的确定对分割效果具有十分明显的影响。传统的U-Net编码器的下采样过程会对滑坡特征造成不可逆的空间信息损失,其解码器则通过双线性插值上采样的方式来恢复特征图的空间大小,故难以精细刻画滑坡边界特征,同时导致U-Net编码器和解码器提取的滑坡特征存在语义差异(semantic gap)。有研究表明[37],直接通过特征图拼接的方式很难弥合这种差异性,为此本文引入了DUC模块。在解码阶段,该模块通过空间重新排列的方式对低分辨率特征图进行降维,同时提高了空间分辨率,直至与滑坡标签大小相同,从而起到保留空间信息和追踪边界的作用。

工作流程如图4所示。图中原始图像的尺寸为H×W。DUC模块全部由卷积层组成。DUC输入特征图的尺寸为h×w×C,其中,h=H/d, w=W/d, d为下采样的倍数。为了使输出的特征图可以通过重新排列的方式与标签大小一致,特征图输出的大小应当是h×w×d2。经过DUC模块后生成的特征图尺寸是H×W,与原始图像尺寸一致。这样每个上采样的卷积层可以直接预测像素级的滑坡分布,从而增强解码器对滑坡边界的捕捉能力。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   DUC示意图

Fig.4   Dense upsampling diagram


2.3.2 AC模块

不规则的滑坡边界会使模型解译滑坡的结果不精确。为了增强网络在复杂场景下对滑坡的解译能力,模型引入AC模块。AC模块[41]可逼近现有常用的正方形卷积,前人的工作表明[47-48],标准的d×d卷积可分解为1×d和d×1卷积,本文中模型使用1×3和3×1大小的卷积核取代标准的3×3卷积,整合多个非线性激活层,增强网络在复杂场景下对滑坡的解译能力。该方法可以在提升网络分割性能的同时不显著增加计算开销,保持了U-Net模型轻量化、易于部署的优势。

该方法利用了二维卷积的可加性,即卷积过程存在这样的性质,大小兼容的二维卷积核在同一特征图上以相同的步长进行卷积运算,产生相同大小的特征图,对这些特征图求和,可以等效于这些卷积核相加产生的结果。公式表示为:

I×K(1)+I×K(2)=I×(K(1)⊕K(2))

式中:I为执行卷积操作的矩阵;K(1)和K(2)为具有兼容尺寸的2维卷积核;⊕为求和运算。兼容意味着较小的内核可以采用求和的方式添加到较大尺寸的卷积核上。例如,3×1卷积和1×3卷积是与3×3卷积兼容的。对于一个特定的卷积核F(j),一个指定的点y,则输出结果可用下式计算:

y=∑c=1C∑h=1H∑w=1WFh,w,c(j)Xh,w,c

式中X为滑动窗口在输入数据上截取的矩阵。此时将2个卷积核的输出通道相加,则依据前式,相加法则成立。

2.4 精度评价

由于滑坡边界线通常不明显,植被以及降水造成的冲沟都会增加滑坡边界人工判读难度,影响精度计算的结果。研究设计了一种包含柔性边界的精度计算方式,该方法可以允许边界存在一定范围的误差,实验中允许的误差范围是1像素。

本文采用Precision,Recall,F1-score,IoU这几个指标进行精度评价。Precision体现算法对负样本的识别能力; Recall表示所有正例中被正确预测的比例; F1-score 是统计学中用来衡量二分类模型精确度的一种指标,它同时兼顾了分类模型的精确率和召回率,可看作是两者的一种调和平均,值介于0~1之间; IoU表示标签的真实值与模型预测值两者集合的重叠率。各指标计算公式分别为:

Precision=TPCTPC+FPC
Recall=TPCTPC+FNC
F1-score=2×Precision×RecallPrecision+Recall
IoU=TPCTPC+FPC+FNC

式中:TP为被模型预测为正类的正样本数量;FP为被模型预测为正类的负样本数量;FN为被模型预测为负类的正样本数量;TN为被模型预测为负类的负样本数量; C表示修正后的指标; 在滑坡图斑边界以一个像元为距离做缓冲区,缓冲区内像元个数是e,经过修正后的TPC=TP+e,FPC=FP-e,FNC=FN-e,FPC=FP+e。

3 实验结果及分析

3.1 实验参数配置

改进的U-Net模型使用大小为3×3的卷积核构建。权重初始化采用He等[49]提出的方法。在每次卷积操作之前使用0填充特征图,确保所有的特征图具有相同大小。优化器选择随机梯度下降法,初始学习率为0.01,每10个训练周期衰减70%,共训练100个周期。损失函数是交叉熵损失函数,用于衡量标签与输出结果之间的差异程度。本文使用NVIDIA TESLA v100 GPU训练模型,显存32 GB,使用1.12.1版本的Pytorch框架实现了所提出的网络。采用浮点运算次数和参数量衡量模型所需算力和参数量。

3.2 不同数据源的影响

应用上述模型得到的滑坡结果如图5所示,预测结果有漏检或错检存在,这主要体现在:①滑坡边界不一致(如人工勾绘的边界相对平滑,而预测的滑坡边界多呈锯齿状,二者难以重合),故本文引入了新的精度量度指标;②裸地与滑坡仍存在一定的混淆,为此本文将DEM数据和变化特征图(表1中RGB+DEM+C)作为模型输入,以期引导模型对二者进行有效区分。遗憾的是,由于变化特征图受云雾、积雪干扰明显,且所使用的DEM分辨率较低,加之先前已使用过坡度信息进行样本筛选,故新加入的数据源对解译精度只有小幅提升(表1)。不过,后文将证明在一些局部地段,例如地形起伏较大或无云雪覆盖的区域(图5,对比试验区),新加入的数据源对解译精度具有显著提升。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   滑坡解译结果

Fig.5   Landslide interpretation result


表1   不同输入数据源对滑坡解译的精度的影响

Tab.1  Effect of different input data sources on the accuracy of landslide interpretation

数据构成IoUPrecisionRecallF1-score浮点运算次数/109参数量/106
RGB0.680.800.850.79160.717.3
RGB+DEM0.700.830.840.81161.117.3
RGB+DEM+C0.710.810.870.81161.217.3

新窗口打开| 下载CSV


从遥感图像处理的角度来看,滑坡实质上是一种变化,所以引入变化检测结果作为模型输入特征之一。为了更好地体现变化特征在滑坡检测中的作用,在此选取部分研究区进行深入分析。该区域变化特征(图6(a))与滑坡分布具有一定的关联性,但变化特征的分布与滑坡分布并不是完全一致。这是因为滑坡虽然属于变化的一种类型,但该地区的变化并不完全由滑坡引起。植被的变更、降雨、降雪引起的地表覆盖物的变化都属于时序变化的范畴。因此变化特征在此作为一种输入特征用于训练而不是直接提取滑坡。加入变化特征后的滑坡分割结果(图6(c))与标签基本一致,目视效果较未加入变化特征的解译结果(图6(b))有明显提升,表现为IoU和Precision等精度量度的显著提升(表2)。在全区尺度上受限于前后时相影像质量、云雾遮挡等差异影响,导致变化特征提升分割效果不明显,但在数据质量较高的区域仍然说明了该方法的可行性。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   变化特征及加入变化特征前后滑坡解译结果

Fig.6   Change characteristics and landslide interpretation results before and after adding change characteristics


表2   变化特征对滑坡解译的精度的影响

Tab.2  Effects of changing characteristics on the accuracy of landslide interpretation

数据集IoUPrecisionRecallF1-score浮点运算次数/109参数量/106
RGB+DEM0.470.610.690.62161.217.3
RGB+DEM+C0.730.830.850.84162.217.3

新窗口打开| 下载CSV


3.3 不同模型的影响

为了验证提出模型的有效性,实验采用相同的参数配置训练了多个常见的分割网络,结果见表3和表4。可见改进的U-Net网络(U-Net+AC+DUC)在几个评价指标上都取得了最佳的效果,并且参数量仅高于ResU-Net,浮点运算次数处于较低位置,表明该网络可以在保持轻量化、易部署优势的同时提升滑坡检测能力。其中,ResU-Net的Recall最高,但IoU和Precision较改进的U-Net网络分别低0.14和0.16,表明该网络误分较多(如表 4中a,d,g),可见引入DUC模块和AC的改进U-Net模型与Res-UNet相比对负样本有更好的识别能力。DeeplabV3+和UperNet的各项评价指标仅次于U-Net+AC+DUC,高于其他网络,可以推断DeeplabV3+的空洞空间卷积池化金字塔和UperNet的特征金字塔模块增强了网络对多尺度信息的表征能力,因此相比其他网络解译结果有明显改善(如表4中a,c,g)。表明多尺度的方法适用于遥感影像分割任务,但由于上采样过程缺失细节信息的补充,因此在边界处的分割结果弱于改进的U-Net网络,误分现象较明显(如表4中a,g)。HATNet引入整体注意力机制提升了网络端到端的分割结果,因此IoU和F1-score较高,但分割效果未能超过改进的U-Net网络(如表4中a,b,d,g)。Convnext和Swin-Transformer作为新提出的网络在许多计算机视觉任务上取得了较好的结果,但在本研究中分割结果较差(如表4中a,b,d,g),F1-score较U-Net+AC+DUC分别低0.16和0.25,且参数量和浮点运算次数都高于其他网络,表明大模型不一定适合当前数据集的滑坡提取任务。

表3   常用分割网络与改进后的U-Net网络评价指标对比结果

Tab.3  Comparison results of common segmentation network and improved U-Net network evaluation index

模型IoUPrecisionRecallF1-score浮点运算次数/109参数量/106
U-Net+AC+DUC0.760.840.900.85192.856.5
ResU-Net0.620.680.910.73324.913.0
DeeplabV3+0.620.750.820.7489.659.3
UperNet0.650.790.820.76183.1126.1
HATNet0.630.770.800.7565.070.4
Convnext0.540.860.620.69193.7138.0
Swin-Transformer0.500.560.810.60264.8138.0

新窗口打开| 下载CSV


表4   不同模型滑坡解译结果

Tab.4  Interpretation results of different models of landslides

序号图像标签U-Net+
AC+DUC		ResU-NetDeeplabV3+UperNetHATNetConv
next		Swin-
Transformer
a
b
c
d
e
f
g

新窗口打开| 下载CSV


同时,表5和表6给出了模型的消融实验结果,表6中红框为改进结果比较之处。可见,引入AC模块后,预测结果的细节特征得以加强,分割边界更贴近自然地物边界,使其Recall 小幅提升(如表6中a,b,c,d)。DUC模块由于弥合了编码器和解码器之间的语义差异,故其预测结果与人工解译的结果更为贴近,表现为IoU和Precision等精度量度显著提升(如表6中a,b,e)。综合二者的优势,可保证模型对复杂场景的适应能力,精度和目视效果提升更为显著(如表6中a,b,c,f,g),如较之于基准U-Net模型,U-Net+AC+DUC的IoU和Recall分别提高了0.05和0.03。同时,其浮点运算次数和参数量变化不大,表明计算开销仍维持在较低水平。总之,模型从U-Net到U-Net+AC和U-Net+DUC再到U-Net+AC+ DUC之解译精度和目视效果逐步改善,符合预期。

表5   使用不同策略改进的U-Net网络评价指标对比结果

Tab.5  Comparison results of U-Net network evaluation indicators improved by using different strategies

模型IoUPrecisionRecallF1-score浮点运算次数/109参数量/106
U-Net0.710.810.870.81161.217.3
U-Net+AC0.710.810.880.81198.020.4
U-Net+DUC0.750.820.900.84155.953.4
U-Net+AC+DUC0.760.840.900.85192.856.5

新窗口打开| 下载CSV


表6   不同模型滑坡解译结果比较

Tab.6  Comparison of interpretation results of different Model

序号图像标签U-NetU-Net+ACU-Net
+DUC		U-Net
+AC+DUC
a
b
c
d
e
f
g

新窗口打开| 下载CSV


4 结论

首先,以四川省汶川县映秀镇为研究区,本文公开了一套滑坡样本库,该样本库由 2 366幅 256像元×256像元大小的Google Earth 影像及相应的滑坡标签组成。

其次,本文就经典U-Net模型存在空间信息损失及语义差异两大缺陷,有针对性地引入了非对称卷积(AC)和密集上采样模块(DUC)用于滑坡灾害点的自动提取,其模型输入包括RGB遥感影像、DEM高程数据、坡度特征图、变化特征图等多源数据。实验结果表明:

1) 多源数据输入对整体解译精度提升幅度有限,但改善了局部地区的解译效果;

2) 消融实验表明,模型从U-Net到U-Net_AC和U-Net_AC+DUC再到U-Net+AC+ DUC之解译精度和目视效果逐步改善;

3) 较之于其他的语义分割算法包括新近提出的 ConvNext 和 Swin-Transformer等,改进后的U-Net模型所取得的滑坡解译精度更高,且计算成本较低;

4) 为了减轻人工滑坡解译边界的不确定性,本文还提出了一套新的精度量度标准,即允许预测边界与人工解译边界存在一个像素的误差,从而使预测结果聚焦于滑坡本身而非边界的契合。

下一步工作将聚焦于: 扩展现有样本库,即纳入更多的、不同类型和地区的滑坡样本; 收集高质量多期次影像制作变化特征图,重点调查变化特征对解译精度的影响; 模型的优化和改进,即在保证模型轻量化的同时提高其捕捉语义特征的能力。

参考文献

Li H, Xu Q, He Y, et al.

Modeling and predicting reservoir landslide displacement with deep belief network and EWMA control charts:A case study in Three Gorges Reservoir

[J]. Landslides, 2020, 17(3):693-707.

[本文引用: 1]

Mondini A C, Guzzetti F, Chang K T, et al.

Landslide failures detection and mapping using synthetic aperture Radar:Past,present and future

[J]. Earth-Science Reviews, 2021, 216:103574.

[本文引用: 1]

Hoeppe P.

Trends in weather related disasters:Consequences for insurers and society

[J]. Weather and Climate Extremes, 2016, 11:70-79.

[本文引用: 1]

Haque U, da Silva P F, Devoli G, et al.

The human cost of global warming:Deadly landslides and their triggers (1995—2014)

[J]. Science of the Total Environment, 2019, 682:673-684.

[本文引用: 1]

Huggel C, Clague J J, Korup O.

Is climate change responsible for changing landslide activity in high mountains?

[J]. Earth Surface Processes and Landforms, 2012, 37(1):77-91.

[本文引用: 1]

闫琦, 李慧, 荆林海, 等.

灾后高分辨率遥感影像的地震型滑坡信息自动提取算法研究

[J]. 激光与光电子学进展, 2017, 54(11):112801.

[本文引用: 1]

Yan Q, Li H, Jing L H, et al.

Automatic extraction algorithm of seismic landslide information based on after-calamity high-resolution remote sensing image

[J]. Laser & Optoelectronics Progress, 2017, 54(11):112801.

[本文引用: 1]

朱静, 唐川.

遥感技术在我国滑坡研究中的应用综述

[J]. 遥感技术与应用, 2012, 27(3):458-464.

[本文引用: 1]

Zhu J, Tang C.

An overview of remote sensing applications for landslide research in China

[J]. Remote Sensing Technology and Application, 2012, 27(3):458-464.

[本文引用: 1]

Bellotti F, Bianchi M, Colombo D, et al.

Advanced InSAR techniques to support landslide monitoring

[C]//Mathematics of Planet Earth.Berlin, Heidelberg:Springer, 2014:287-290.

[本文引用: 1]

Guzzetti F, Mondini A C, Cardinali M, et al.

Landslide inventory maps:New tools for an old problem

[J]. Earth-Science Reviews, 2012, 112(1/2):42-66.

[本文引用: 2]

Dou J, Yunus A P, Bui D T, et al.

Improved landslide assessment using support vector machine with bagging,boosting,and stacking ensemble machine learning framework in a mountainous watershed,Japan

[J]. Landslides, 2020, 17(3):641-658.

[本文引用: 1]

Barlow J, Martin Y, Franklin S E.

Detecting translational landslide scars using segmentation of Landsat ETM+ and DEM data in the northern Cascade Mountains,British Columbia

[J]. Canadian Journal of Remote Sensing, 2003, 29(4):510-517.

[本文引用: 1]

Rau J Y, Jhan J P, Rau R J.

Semiautomatic object-oriented landslide recognition scheme from multisensor optical imagery and DEM

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(2):1336-1349.

[本文引用: 1]

Rib H T, Liang T.

Recognition and identification

[J]. Transportation Research Board Special Report, 1978,(176).

[本文引用: 1]

Nichol J E, Shaker A, Wong M S.

Application of high-resolution stereo satellite images to detailed landslide hazard assessment

[J]. Geomorphology, 2006, 76(1/2):68-75.

[本文引用: 1]

李晨辉, 郝利娜, 许强, 等.

面向对象的高分辨率遥感影像地震滑坡分层识别

[J]. 自然资源遥感, 2023, 35(1):74-80.doi:10.6046/zrzyyg.2022013.

[本文引用: 1]

Li C H, Hao L N, Xu Q, et al.

Object-oriented hierarchical identification of earthquake-induced landslides based on high-resolution remote sensing images

[J]. Remote Sensing for Natural Resources, 2023, 35(1):74-80.doi:10.6046/zrzyyg.2022013.

[本文引用: 1]

张雨, 明冬萍, 赵文祎, 等.

基于高分光学卫星影像的泸定地震型滑坡提取与分析

[J]. 自然资源遥感, 2023, 35(1):161-170.doi:10.6046/zrzyyg.2022434.

[本文引用: 1]

Zhang Y, Ming D P, Zhao W Y, et al.

The extraction and analysis of Luding earthquake-induced landslide based on high-resolution optical satellite images

[J]. Remote Sensing for Natural Resources, 2023, 35(1):161-170.doi:10.6046/zrzyyg.2022434.

[本文引用: 1]

李松, 邓宝昆, 徐红勤, 等.

地震型滑坡灾害遥感快速识别方法研究

[J]. 遥感信息, 2015, 30(4):25-28.

[本文引用: 1]

Li S, Deng B K, Xu H Q, et al.

Fast interpretation methods of landslides triggered by earthquake using remote sensing imagery

[J]. Remote Sensing Information, 2015, 30(4):25-28.

[本文引用: 1]

Marjanović M, Kovaĉević M, Bajat B, et al.

Landslide susceptibility assessment using SVM machine learning algorithm

[J]. Engineering Geology, 2011, 123(3):225-234.

[本文引用: 1]

Lee S.

Application of logistic regression model and its validation for landslide susceptibility mapping using GIS and remote sensing data

[J]. International Journal of Remote Sensing, 2005, 26(7):1477-1491.

[本文引用: 1]

Stumpf A, Kerle N.

Object-oriented mapping of landslides using random forests

[J]. Remote Sensing of Environment, 2011, 115(10):2564-2577.

[本文引用: 1]

Goetz J N, Brenning A, Petschko H, et al.

Evaluating machine learning and statistical prediction techniques for landslide susceptibility modeling

[J]. Computers & Geosciences, 2015, 81:1-11.

[本文引用: 1]

He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[M]//Leibe B,Matas J,Sebe N,et al.,Eds.Computer Vision-ECCV 2016. Cham: Springer International Publishing, 2016:630-645.

[本文引用: 1]

Chen L C, Papandreou G, Kokkinos I, et al.

DeepLab:Semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected CRFs

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4):834-848.

[本文引用: 1]

Girshick R.

Fast R-CNN

[C]// 2015 IEEE International Conference on Computer Vision (ICCV).Santiago,Chile.IEEE, 2015:1440-1448.

[本文引用: 2]

Längkvist M, Kiselev A, Alirezaie M, et al.

Classification and segmentation of satellite orthoimagery using convolutional neural networks

[J]. Remote Sensing, 2016, 8(4):329.

[本文引用: 1]

Mahdianpari M, Salehi B, Rezaee M, et al.

Very deep convolutional neural networks for complex land cover mapping using multispectral remote sensing imagery

[J]. Remote Sensing, 2018, 10(7):1119.

[本文引用: 1]

Ghorbanzadeh O, Blaschke T, Gholamnia K, et al.

Evaluation of different machine learning methods and deep-learning convolutional neural networks for landslide detection

[J]. Remote Sensing, 2019, 11(2):196.

[本文引用: 2]

杨昭颖, 韩灵怡, 郑向向, 等.

基于卷积神经网络的遥感影像及DEM滑坡识别——以黄土滑坡为例

[J]. 自然资源遥感, 2022, 34(2):224-230.doi:10.6046/zrzyyg.2021204.

[本文引用: 1]

Yang Z Y, Han L Y, Zheng X X, et al.

Landslide identification using remote sensing images and DEM based on convolutional neural network:A case study of loess landslide

[J]. Remote Sensing for Natural Resources, 2022, 34(2):224-230.doi:10.6046/zrzyyg.2021204.

[本文引用: 1]

Ye C, Li Y, Cui P, et al.

Landslide detection of hyperspectral remote sensing data based on deep learning with constrains

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(12):5047-5060.

[本文引用: 1]

Wang T, Liu M, Zhang H, et al.

Landslide detection based on improved YOLOv5 and satellite images

[C]// 2021 4th International Conference on Pattern Recognition and Artificial Intelligence (PRAI).Yibin,China.IEEE, 2021: 367-371.

[本文引用: 1]

Yu B, Chen F, Xu C, et al.

Matrix SegNet:A practical deep learning framework for landslide mapping from images of different areas with different spatial resolutions

[J]. Remote Sensing, 2021, 13(16):3158.

[本文引用: 1]

Zhang M, Shi W, Chen S, et al.

Deep multiple instance learning for landslide mapping

[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(10):1711-1715.

[本文引用: 1]

Liu P, Wei Y, Wang Q, et al.

Research on post-earthquake landslide extraction algorithm based on improved U-Net model

[J]. Remote Sensing, 2020, 12(5):894.

[本文引用: 2]

Meena S R, Soares L P, Grohmann C H, et al.

Landslide detection in the Himalayas using machine learning algorithms and U-Net

[J]. Landslides, 2022, 19(5):1209-1229.

[本文引用: 2]

Su Z, Chow J K, Tan P S, et al.

Deep convolutional neural network-based pixel-wise landslide inventory mapping

[J]. Landslides, 2021, 18(4):1421-1443.

[本文引用: 1]

Ghorbanzadeh O, Shahabi H, Crivellari A, et al.

Landslide detection using deep learning and object-based image analysis

[J]. Landslides, 2022, 19(4):929-939.

[本文引用: 1]

Oktay O, Schlemper J, Le Folgoc L, et al.

Attention U-Net:Learning where to look for the pancreas

[EB/OL]. 2018:arXiv:1804.03999. https://arxiv.org/abs/1804.03999.pdf.

URL     [本文引用: 3]

Zhou Z, Siddiquee M M R, Tajbakhsh N, et al.

UNet++:Redesigning skip connections to exploit multiscale features in image segmentation

[J]. IEEE Transactions on Medical Imaging, 2020, 39(6):1856-1867.

[本文引用: 1]

龙玉洁, 李为乐, 黄润秋, 等.

汶川地震震后10 a绵远河流域滑坡遥感自动提取与演化趋势分析

[J]. 武汉大学学报(信息科学版), 2020, 45(11):1792-1800.

[本文引用: 1]

Long Y J, Li W L, Huang R Q, et al.

Automatic extraction and evolution trend analysis of landslides in Mianyuan River basin in the 10 years after Wenchuan earthquake

[J]. Geomatics and Information Science of Wuhan University, 2020, 45(11):1792-1800.

[本文引用: 1]

Chen M, Tang C, Li M, et al.

Changes of surface recovery at coseismic landslides and their driving factors in the Wenchuan earthquake-affected area

[J]. CATENA, 2022, 210:105871.

[本文引用: 1]

许强.

对地质灾害隐患早期识别相关问题的认识与思考

[J]. 武汉大学学报(信息科学版), 2020, 45(11):1651-1659.

[本文引用: 2]

Xu Q.

Understanding and consideration of related issues in early identification of potential geohazards

[J]. Geomatics and Information Science of Wuhan University, 2020, 45(11):1651-1659.

[本文引用: 2]

Claessens L, Heuvelink G B M, Schoorl J M, et al.

DEM resolution effects on shallow landslide hazard and soil redistribution modelling

[J]. Earth Surface Processes and Landforms, 2005, 30(4):461-477.

[本文引用: 1]

Thonfeld F, Feilhauer H, Braun M, et al.

Robust change vector analysis (RCVA) for multi-sensor very high resolution optical satellite data

[J]. International Journal of Applied Earth Observation and Geoinformation, 2016, 50:131-140.

[本文引用: 1]

Wang X, Wang L, Zhong X, et al.

PaI-Net:A modified U-Net of reducing semantic gap for surgical instrument segmentation

[J]. IET Image Processing, 2021, 15(12):2959-2969.

[本文引用: 1]

Ding X, Guo Y, Ding G, et al.

ACNet:Strengthening the kernel skeletons for powerful CNN via asymmetric convolution blocks

[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV).Seoul,Korea (South).IEEE, 2019:1911-1920.

[本文引用: 1]

Denton E, Zaremba W, Bruna J, et al.

Exploiting linear structure within convolutional networks for efficient evaluation

[C]// Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 1.December 8 - 13,2014,Montreal,Canada.ACM, 2014:1269-1277.

[本文引用: 1]

Jaderberg M, Vedaldi A, Zisserman A.

Speeding up convolutional neural networks with low rank expansions

[C]// Proceedings of the British Machine Vision Conference 2014.Nottingham.British Machine Vision Association, 2014.

[本文引用: 1]

He K, Zhang X, Ren S, et al.

Delving deep into rectifiers:Surpassing human-level performance on ImageNet classification

[C]// 2015 IEEE International Conference on Computer Vision (ICCV).Santiago,Chile.IEEE, 2015:1026-1034.

[本文引用: 1]

/

〈 〉

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编：100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发