自然资源遥感, 2021, 33(4): 130-135 doi: 10.6046/zrzyyg.2020397

技术方法

基于U-Net深度学习方法火星沙丘提取研究

郭晓征,, 姚云军, 贾坤, 张晓通, 赵祥

北京师范大学地理科学学部遥感科学国家重点实验室,北京 100875

Information extraction of Mars dunes based on U-Net

GUO Xiaozheng,, YAO Yunjun, JIA Kun, ZHANG Xiaotong, ZHAO Xiang

State Key Laboratory of Remote Sensing Science, Faculty of Geographical Science, Beijing Normal University, Beijing 100875, China

责任编辑: 陈理

收稿日期: 2020-12-11   修回日期: 2021-03-3  

基金资助: 北京市科技计划课题资助项目“首次火星探测数据反演关键技术研究”(Z191100004319001)
国家重点研发计划(地球观测与导航)重点专项课题“基于国产遥感卫星的典型要素提取技术”(2016YFB0501404)

Received: 2020-12-11   Revised: 2021-03-3  

作者简介 About authors

郭晓征(1996-),男,硕士研究生,主要研究方向为遥感参数反演与图像识别。Email: boyxiaozheng@mail.bnu.edu.cn

摘要

火星沙丘遥感识别对于人类探索火星大气与其表面交互作用具有重要的研究意义。针对传统的机器学习方法自动提取火星沙丘精度低的问题,设计了一种纹理特征提取与深度学习相结合的方法来自动识别火星沙丘。该方法在火星遥感影像纹理特征提取的基础上结合深度学习模型对火星沙丘进行提取,实现火星遥感影像端到端的语义分割。同时将U-Net方法提取结果与传统的随机森林提取方法进行对比,实验结果表明: U-Net方法能够充分利用影像中丰富的纹理信息,提取沙丘的准确率为96.7%,比传统的随机森林方法提高了3.2个百分点; U-Net方法提取的火星沙丘轮廓更为准确清晰,且对破碎程度大的沙丘提取效果较好,U-Net方法可用于火星沙丘的精确自动提取。

关键词: 火星沙丘; 深度学习; 随机森林; 纹理特征; 自动化提取

Abstract

The remote sensing-based information recognition of Mars dunes has important significance for the exploration of the interactions between the Martian atmosphere and the dune surface. Aiming at the low accuracy of the automatic information extraction of Mars dunes using the traditional machine learning method, this paper designs a method combining texture feature extraction and deep learning to automatically identify the information of Mars dunes. In detail, this method conducts information extraction based on the texture feature extraction of Mars remote sensing images combined with a deep learning model, thus realizing the end-to-end semantic segmentation of the remote sensing images. According to experiment results, the U-Net method can fully utilize the rich texture information in the remote sensing images and the extraction accuracy of dunes of this method was 96.7%, which was 3.2 percentage points higher than that of the traditional random forest method. Furthermore, compared to the traditional random forest method, the U-net method extracted more accurate and clearer contours of Mars dunes and yielded better extraction effects of highly fragmented dunes. Therefore, the U-net method can be used for accurate and automatic information extraction of Mars dunes.

Keywords: Mars dunes; deep learning; random forest; texture feature; automated extraction

PDF (2816KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

郭晓征, 姚云军, 贾坤, 张晓通, 赵祥. 基于U-Net深度学习方法火星沙丘提取研究[J]. 自然资源遥感, 2021, 33(4): 130-135 doi:10.6046/zrzyyg.2020397

GUO Xiaozheng, YAO Yunjun, JIA Kun, ZHANG Xiaotong, ZHAO Xiang. Information extraction of Mars dunes based on U-Net[J]. Remote Sensing For Natural Resources, 2021, 33(4): 130-135 doi:10.6046/zrzyyg.2020397

0 引言

火星风成地貌是由于地面气流对地表物质的搬运、侵蚀等作用造成的,风成地貌的变化是获取火星大气环流模式信息的重要来源[1]。沙丘是火星表面变化最剧烈的风成地貌,对火星沙丘的研究是理解火星大气与地表交互机制的重要前提[2]。美国在2006年发射的火星侦察轨道器(Mars reconnaissance orbiter, MRO)搭载了不同空间分辨率的遥感传感器,如高分辨率成像仪(high resolution imaging experiment, HiRISE)和火星彩色成像仪(Mars color imager, MARCI)等,每年都会采集海量的不同空间分辨率遥感影像数据[3]。然而,如何从大量的火星遥感数据中提取沙丘地貌成为了一个难题。

传统的火星沙丘识别是通过人工目视解译提取遥感影像中的沙丘,Hayward等[4]2007年结合多种火星遥感数据,通过人工目视解译的方法生产了火星数字沙丘数据库(Mars global digital dune database, MGD3)。但这种依靠人工目视解译的方法对经验依赖性强且费时费力。随着火星遥感数据的迅速增加,目视解译的难度也在逐渐增加。为及时更新火星沙丘数据库,就迫切地需要一种快速准确识别火星沙丘的方法。

目前,自动提取火星沙丘的方法主要是依靠传统的机器学习方法,如随机森林(random forest, RF)、支持向量机(support vector machines, SVM)、提升方法(boosting)等[5,6]。Bandeira等[5]利用boosting和SVM提取火星轨道相机(Mars orbiter camera, MOC)影像中的沙丘,结果表明,boosting和SVM提取火星沙丘的效果较好,且boosting的精度优于SVM。但传统机器学习需要将遥感影像分割为相同大小的瓦片,每个瓦片的分类结果为沙丘或非沙丘。然而大量瓦片为沙丘与非沙丘的混合,从而导致沙丘分类结果分辨率较差、预测精度偏低。而在图像分割领域,近年来卷积神经网络(convolutional nenural network, CNN)由于可自动从图像中获取特征,在图像识别及分割中的应用越来越广泛[7]。随着深度学习的发展,不同的图像分割模型相继被提出。Long等[8]在2015年提出了全卷积神经网络(fully convolutional network, FCN),利用反卷积得到输入影像的语义分割图,首次实现了端对端的像素级别分类; Badrinarayanan等[9]提出了SegNet模型,利用编码-解码的网络结构减少了模型中的训练参数,提高影像分割精度; Ronneberger等[10]在编码-解码的网络结构的基础上连接编码信息与解码信息,生成了U-Net模型,进一步提高了分割精度。

火星沙丘在光谱空间中的差异较小,在提取沙丘的过程中主要依赖沙丘的纹理信息即空间信息。在之前利用机器学习自动提取沙丘的研究中,虽然使用了火星影像中的空间信息,但是提取结果混合现象比较严重,尤其在沙丘边缘地区,分类结果较差。而CNN相对于传统的机器学习能够充分利用影像的空间信息,对影像的分割更为精细,能够实现基于像元的影像分割。因此,本文基于上述研究提出一种高精度的火星沙丘自动提取方法。针对火星沙丘复杂的光谱信息,利用局部二值模式获取火星影像纹理信息,结合U-Net模型对火星沙丘进行提取,并与传统的RF方法进行对比分析。

1 数据源

HiRISE是搭载在MRO卫星上的遥感传感器之一,具有较高的空间分辨率,像元分辨率一般在0.25~0.5 m之间,有400~600 nm,550~850 nm和800~1 000 nm 3个成像波段[11]。该传感器是目前为止空间分辨率最高的火星遥感传感器,且具有立体像对,可以制作高精度的数字高程数据。本文所采用的HiRISE影像来自HiRISE管理中心(www.uahirise.org),数据已经过辐射校正与几何纠正。本次研究共使用6景HiRISE影像,其中5景影像用于训练样本的生成,1景影像用于模型精度验证。影像覆盖区域均含有沙丘地貌,且绝大多数为格状沙丘。格状沙丘是火星分布最广的沙丘类型之一[6],其是多种风向相互作用,导致沙丘之间相互交错。格状沙丘因形态较为复杂,自动化提取也更困难,利用模型提取格网沙丘可以验证模型的鲁棒性。本研究使用HiRISE影像的详细信息如表1所示。

表1   影像数据

Tab.1  Image data

类型编号中心经纬度/(°)影像获取日期太阳入射
角/(°)
训练影像1125.4,76.42010/8/1578
2334.7,-48.22009/4/2746
3242.4,13.72009/8/2442
4297.5,76.52010/7/2659
5335,-40.92010/9/2873
测试影像6182.5,81.32010/8/764

新窗口打开| 下载CSV


2 实验方法与过程

2.1 纹理特征提取方法

局部二值模式(local binary pattern,LBP)是一种提取图像纹理信息的算法,具有旋转、平移不变的特性,为了提取HiRISE影像的纹理信息,需要对影像进行LBP变换。将图像的每一个像元(x0, y0)与其8邻域像元进行比较,若邻域像元值大于像元(x0, y0)值,则标记为1,反之标记为0,比较得到8位有序的二值序列。将得到的8位二值数组转为十进制,即为经过LBP变换后的像元(x0, y0)的值[12]。LBP变换的数学公式为:

LBP(x0,y0)=n=072ns(in-i0),
s(x)=1x00x<0,

式中: in为8邻域像元的灰度值; i0为像元(x0, y0)的灰度值。

图1为LBP的计算示例,图1(a)为原始影像的像元值及其8邻域像元值,图1(b)为8邻域像元与中心像元比较所得到的8位二值序列(01111010),将二值序列转换为十进制数字122,即为图1(c)LBP变换后的像元值。

图1

图1   LBP变换示例

Fig.1   Example of LBP transform


2.2 U-Net深度学习方法

U-Net方法是由Ronneberger等[10]在2015年针对医学影像所提出的一种图像分割的方法。U-Net方法具有编码-解码的结构: 其网络左侧为编码,利用卷积与池化提取图像特征,右侧为解码,通过卷积与上采样从提取的特征中恢复特征图。在编码的过程中,随着感受野的不断增加,U-Net方法可以提取到更为复杂抽象的特征。而在解码的过程中,U-Net方法不仅利用提取好的特征,还整合不同网络层的信息进而增加预测的精度。U-Net方法网络结构简洁、模型训练收敛速度比较快,既可用于大型训练数据上,在少量的训练样本中的表现也相当好[13,14]。正是由于U-Net方法网络结构简单,运行速度快,适用于沙丘的快速识别,因此本文使用U-Net深度学习方法进行火星沙丘的提取。

2.3 RF机器学习方法

Breiman[15]在2001年提出了一种将多个决策树集成到一起的机器学习方法,称为RF。RF方法是一种简单实用的机器学习方法,且在回归和分类中的效果都较好。RF方法的具体实现步骤为: 对M个训练样本进行有放回的抽样,抽取M次,得到样本数为M的样本集进行训练得到一个决策树; 将上述过程重复N次,得到N个决策树,将这N个决策树集成起来即为RF。在RF机器学习方法分类的过程中,多个决策树进行投票,得票最多的类别为模型最终输出类别[16,17,18]

2.4 实验过程

由于HiRISE影像中不同区域及不同成像时间内的沙丘光谱差异较大,且沙丘与其背景的光谱差异较小,利用遥感图像的光谱信息难以提取沙丘。沙丘与背景在纹理特征上差异较大,沙丘面为波纹状或者平滑光面,而非沙丘则是不规则的纹理。纹理信息是提取火星沙丘地貌非常重要的信息。因此,首先需要利用LBP变换得到影像的纹理信息。

本文选择RF机器学习与U-Net深度学习的提取方法进行比较,来研究深度学习与传统机器学习方法提取结果的差异。在训练U-Net模型时,需要在提取纹理特征的基础之上利用Labelme软件对影像进行标注,再对影像进行分割、数据增强。RF方法是将影像分割为瓦片,采用人工目视解译的方法将瓦片标记为沙丘与非沙丘。U-Net方法是端对端的像元级别分类,而RF方法是基于瓦片对影像进行分类。在模型训练完成之后,本文使用独立的HiRISE影像对2种分类模型进行验证。实验具体步骤如图2所示。

图2

图2   HiRISE沙丘提取实验流程

Fig.2   Flowchart of HiRISE sand dune extraction experiment


训练RF模型时,首先将遥感影像分割成大小为100像元´100像元的瓦片,并对每个瓦片进行LBP变换。若直接将瓦片作为特征输入到RF模型会导致特征数过多、分类精度差,而瓦片的统计直方图也可准确地描述瓦片的纹理特征。因此将样本瓦片进行直方图统计,将统计结果作为特征输入RF模型进行训练。图3为分割为100像元´100像元的沙丘与非沙丘的样本,可以看出沙丘样本具有规则的纹理,而非沙丘样本的纹理比较杂乱。本次实验中共从5张HiRISE影像中选取了816个瓦片样本,其中沙丘的样本为410个,非沙丘样本为406个。

图3

图3   RF训练样本示例

Fig.3   Train examples of samples of RF


为了生成U-Net的训练数据,本研究借助Labelme软件对遥感影像进行标注,生成掩模文件,标注中像元值为0代表非沙丘,像元值为1代表沙丘。为了适应U-Net的网络结构,LBP变换后影像与标签数据需要分割为512像元´512像元的瓦片,之后将数据输入U-Net网络进行训练。图4为U-Net训练样本示例。由图4可以看出经LBP变换之后,沙丘与背景的差异得到了明显增强。在深度学习中,训练数据越多,模型的预测精度越高。为增加模型精度,本研究对训练数据进行翻转和旋转等增强,有效扩充训练数据,提升网络预测精度,以防止过拟合。本次实验中共选取了5张HiRISE影像,经过影像分割与数据增强,共得到1 026个训练样本。本文中采用的平台为Keras,计算机配置为Intel i7-6700HQ中央处理器,NVIDIA GTX1060显卡,6 G显存。

图4

图4   U-Net训练样本示例

Fig.4   Train example of sample of U-Net


为了定量评价U-Net模型的精度,本文选择独立的测试数据对模型进行精度评价,并对比U-Net方法与RF方法之间的差异。利用Labelme软件对独立验证影像进行标注,生成标签数据,并使用该数据对U-Net方法与RF方法的提取结果进行精度验证和对比分析。模型的评价指标主要包括假负率(false negative rate,FNR)、假正率(false positive rate, FPR)和准确率(accuracy rate, AR)。评价指标的计算方法分别为:

FNR=FN/(FN+TP),
FPR=FP/(FP+TN),
AR=(TP+TN)/(TP+FP+TN+FN),

式中: TP为模型预测为正的正样本; FP为模型预测为正的负样本; FN为模型预测为负的正样本; TN为模型预测为负的负样本。

3 结果与分析

HiRISE原始影像、人工标注数据、U-Net提取结果和RF提取结果分别如图5(a)—(d)所示。由图5可以看出,本文使用的U-Net深度学习方法的提取效果优于RF方法,沙丘边缘清晰且破碎斑块较少,与目视解译结果更吻合。图5(c)与标签数据的沙丘空间分布基本一致,并且噪声较少,说明U-Net方法对火星沙丘的提取效果更好; 图5(d)为RF提取结果,沙丘边缘存在明显的锯齿,同时RF提取结果中存在较多的噪声点。从沙丘分类结果的空间分布和整体效果2方面来讲,U-Net方法的结果均优于RF方法。

图5

图5   沙丘提取结果

Fig.5   Sand dune extraction results


U-Net与RF这2种方法精度评价结果如表2所示。U-Net方法的FNRFPR相较于RF方法都偏低,其中RF方法的FNRFPR分别为3%和12.1%,而U-Net方法仅为0.3%和3.7%。U-Net方法在AR的表现上也要优于RF方法,U-Net方法的AR为96.7%,比RF方法高了3.2个百分点。虽然受算法复杂度的影响,U-Net方法的提取耗时较长,但其相比RF方法精度得到了大幅度提升,且仅需要RF方法耗时的1.74倍,故U-Net方法是优于RF方法的沙丘提取方法。这也说明了深度学习在火星沙丘地貌提取中有较大的应用前景。

表2   沙丘提取模型精度评价对比

Tab.2  Comparison of accuracy evaluation of sand dune extraction models

方法FNR/%FPR/%AR/%时间/ s
U-Net0.33.796.780
RF3.012.193.546

新窗口打开| 下载CSV


4 结论

本文通过对HiRISE影像进行纹理变换,获取纹理特征作为模型的分类特征,将其处理为规则大小的瓦片并利用Labelme软件添加标签,作为训练样本。同时,利用U-Net方法在提取空间信息方面的优势,通过构建参数合理的深度学习模型实现火星沙丘的自动化提取。

1)由于沙丘与背景在光谱空间中难以区分,本文研究采用HiRISE影像的纹理信息,在一定程度上能够提高模型在沙丘与背景混杂区域的分类精度。沙丘本身的光谱差异较大,在太阳入射角不同的区域,沙丘在光谱空间的位置也相差甚远。在纹理信息的基础上进行分类,能够有效提高模型普适性,实现对大尺度影像的沙丘提取。

2)本文利用U-Net模型对火星沙丘进行提取,提供了一种新的火星沙丘自动提取方法。同时,该方法对其他火星遥感影像(如MARCI等)的沙丘提取具有一定的借鉴意义。

3)本文的研究结果表明,U-Net模型相较于传统的RF模型具有明显优势,实现了端对端的像素级分类,对火星沙丘的提取效果更好,沙丘提取的AR为96.7%,比传统的RF方法提高了3.2个百分点,FNRFPR分别只有0.3%和3.7%,沙丘的轮廓相较于RF方法更为清晰,对破碎沙丘的提取精度也更高。

但是,本研究在模型精度方面还有待提高,模型训练样本不足,模型难以在火星全球进行应用。在之后的研究中,应选取更为系统、数据量更大的训练集,对模型进行优化。

参考文献

董治宝, 吕萍.

70年来中国风沙地貌学的发展

[J]. 地理学报, 2020,75(3):509-528.

DOI:10.11821/dlxb202003006      [本文引用: 1]

风是除流水之外塑造地球景观的第二大流体,以其为外营力形成的风沙地貌在全球干旱区广泛分布,超过40%的全球陆地面积受风沙地貌过程的影响,与人类生存环境存在着密切的关系,19世纪末以来受到国际学术界的持续关注。中国干旱半干旱地区广泛发育风沙地貌,但风沙地貌研究比国际研究晚半个多世纪,始于20世纪50年代后期。本文总结了新中国成立70年来中国风沙地貌学发展的3个阶段:初创阶段(1949—1977年)、充实发展阶段(1978—1999年)和国际化研究阶段(2000年至今)。现在中国风沙地貌研究的水平整体与国际并行,部分领先。中国具有重要国际影响力的风沙地貌研究工作包括沙丘移动规律、风沙地貌区域综合研究、中国独特风沙地貌发育演变过程、戈壁地貌学研究、沙丘二次流以及地外星球的探索研究。中国风沙地貌学研究有在未来领跑国际研究的潜势,但风沙地貌学家必需有4个方面的战略思考,即综合集成、地球系统科学引领、全球视野和深空时代的发展。

Dong Z B, Lyu P.

Development of aeolian geomorphology in China in the past 70 years

[J]. Acta Geographica Sinca, 2020,75(3):509-528.

[本文引用: 1]

Carrera D, Bandeira L, Santana R, et al.

Detection of sand dunes on Mars using a regular vine-based classification approach

[J]. Knowledge-Based Systems, 2019,163:858-874.

DOI:10.1016/j.knosys.2018.10.011      [本文引用: 1]

This paper deals with the problem of detecting sand dunes from remotely sensed images of the surface of Mars. We build on previous approaches that propose methods to extract informative features for the classification of the images. The intricate correlation structure exhibited by these features motivates us to propose the use of probabilistic classifiers based on R-vine distributions to address this problem. R-vines are probabilistic graphical models that combine a set of nested trees with copula functions and are able to model a wide range of pairwise dependencies. We investigate different strategies for building R-vine classifiers and compare them with several state-of-the-art classification algorithms for the identification of Martian dunes. Experimental results show the adequacy of the R-vine-based approach to solve classification problems where the interactions between the variables are of a different nature between classes and play an important role in that the classifier can distinguish the different classes. (C) 2018 Elsevier B.V.

Zurek R W, Smrekar S E.

An overview of the Mars reconnaissance orbiter (MRO) science mission

[J]. Journal of Geophysical Research-Planets, 2007,112(e5):5-1.

[本文引用: 1]

Hayward R K, Mullins K F, Fenton L K, et al.

Mars global digital dune database and initial science results

[J]. Journal of Geophysical Research-Planets, 2007,112(e11):E11007.

DOI:10.1029/2007JE002943      URL     [本文引用: 1]

Bandeira L, Marques J S, Saraiva J, et al.

Automated detection of Martian dune fields

[J]. IEEE Geoscience and Remote Sensing Letters, 2011,8(4):626-630.

DOI:10.1109/LGRS.2010.2098390      URL     [本文引用: 2]

Bandeira L, Marques J S, Saraiva J, et al.

Advances in automated detection of sand dunes on Mars

[J]. Earth Surface Processes and Landforms, 2013,38(3):275-283.

DOI:10.1002/esp.v38.3      URL     [本文引用: 2]

Zhao W D, Li S S, Li A, et al.

Hyperspectral images classification with convolutional neural network and textural feature using limited training samples

[J]. Remote Sensing Letters, 2019,10(5):449-458.

DOI:10.1080/2150704X.2019.1569274      URL     [本文引用: 1]

Long J, Shelhamer E, Darrell T.

Fully convolutional networks for semantic segmentation

[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015:3431-3440.

[本文引用: 1]

Badrinarayanan V, Handa A, Cipolla R.

SegNet:A deep convolutional encoder-decoder architecture for robust semantic pixel-wise labelling

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017,309(12):2481-2495.

[本文引用: 1]

Ronneberger O, Fischer P, Brox T.

U-Net:Convolutional networks for biomedical image segmentation,Cham,2015

[C]//Springer International Publishing, 2015.

[本文引用: 2]

侯一凡, 邢帅, 徐青, .

火星HiRISE高分辨率影像的FPGA辐射校正

[J]. 测绘科学技术学报, 2014,31(6):598-602.

[本文引用: 1]

Hou Y F, Xing S, Xu Q, et al.

Radiometric calibration of Mars HiRISE high resolution imagery based on FPGA

[J]. Journal of Geomatics Science and Technology, 2014,31(6):598-602.

[本文引用: 1]

魏祥坡, 余旭初, 张鹏强, .

联合局部二值模式的CNN高光谱图像分类

[J]. 遥感学报, 2020,24(8):1000-1009.

[本文引用: 1]

Wei X P, Yu X C, Zhang P Q, et al.

CNN with local binary patterns for hyperspectral images classification

[J]. Journal of Remote Sensing, 2020,24(8):1000-1009.

[本文引用: 1]

许玥, 冯梦如, 皮家甜, .

基于深度学习模型的遥感图像分割方法

[J]. 计算机应用, 2019,39(10):2905-2914.

[本文引用: 1]

Xu Y, Feng M R, Pi J T, et al.

Remote sensing image segmentation method based on deep learning model

[J]. Journal of Computer Applications, 2019,39(10):2905-2914.

[本文引用: 1]

许玥.

基于改进Unet的遥感影像语义分割在地表水体变迁中的应用

[D]. 重庆:重庆师范大学, 2019.

[本文引用: 1]

Xu Y.

Application of semantic segmentation of remote sensing image based on improved Unet in surface water change

[D]. Chongqing:Chongqing Normal University, 2019.

[本文引用: 1]

Breiman L.

Random forests

[J]. Machine Learning, 2001,45(1):5-32.

DOI:10.1023/A:1010933404324      URL     [本文引用: 1]

Gislason P O, Benediktsson J A, Sveinsson J R.

Random forests for land cover classification

[J]. Pattern Recognition Letters, 2006,27(4):294-300.

DOI:10.1016/j.patrec.2005.08.011      URL     [本文引用: 1]

Wei J, Huang W, Li Z, et al.

Estimating 1-km-resolution PM2.5 concentrations across China using the space-time random forest approach

[J]. Remote Sensing of Environment, 2019,231:111221.

DOI:10.1016/j.rse.2019.111221      URL     [本文引用: 1]

Belgiu M, Dragut L.

Random forest in remote sensing:A review of applications and future directions

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016,114:24-31.

DOI:10.1016/j.isprsjprs.2016.01.011      URL     [本文引用: 1]

/

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发