自然资源遥感, 2024, 36(1): 77-85 doi: 10.6046/zrzyyg.2022446

技术方法

多任务学习孪生网络的遥感影像多类变化检测

马惠,1, 刘波,2, 杜世宏2

1.河南省国土空间调查规划院,郑州 450016

2.北京大学遥感与地理信息系统研究所,北京 100871

Multi-class change detection using a multi-task Siamese network of remote sensing images

MA Hui,1, LIU Bo,2, DU Shihong2

1. Institute of Land Resources Survey and Planning, Henan Province, Zhengzhou 450016, China

2. Institute of Remote Sensing and GIS, Peking University, Beijing 100871, China

通讯作者: 刘 波(1995-),男,研究生,主要从事遥感信息智能解译方法研究。Email:liubo_rs@pku.edu.cn

责任编辑: 张仙

收稿日期: 2022-11-17   修回日期: 2023-03-21  

基金资助: 国家重点研发计划-政府间国际创新合作“时空大数据驱动的可持续发展城市人居环境监测评估与应用示范”(2021YFE0117100)

Received: 2022-11-17   Revised: 2023-03-21  

作者简介 About authors

马 惠(1980-),女,高级工程师,主要从事地籍调查、土地资源调查遥感监测技术方法研究。Email: 42879575@qq.com

摘要

精确掌握土地覆盖/利用的变化及变化类型对国土空间规划、生态环境监测、灾害评估等有着重要意义,然而现有大部分变化检测研究主要关注二值变化检测。为此,该文首先提出了一种多任务学习深度孪生网络用于遥感影像的多类变化检测。首先提出面向对象的无监督变化检测方法,选择出新、旧时相影像中最有可能发生变化和最不可能发生变化的区域,并作为多任务学习深度孪生网络的样本; 其次,采用多任务学习深度孪生网络模型同时对新、旧时相的土地利用图以及新、旧时相的二值变化图这3个任务模型进行学习和预测; 最后,基于模型预测的新、旧时相土地利用图及新、旧时相的二值变化图获取最终的多类变化检测结果。采用第三次全国国土调查的影像数据和相应的土地利用图斑数据对多任务学习深度孪生网络模型进行了测试,结果表明所提出的方法适用于这种在没有变化、未变化样本而有历史专题图的变化检测场景中。

关键词: 多任务学习; 孪生网络; 多类变化检测; 第三次全国国土调查

Abstract

The accurate acquisition of land cover/use changes and their types is critical to territorial space planning, ecological environment monitoring, and disaster assessment. However, most current studies on the change detection focus on binary change detection. This study proposed a multi-class change detection method using a multi-task Siamese network of remote sensing images. First, an object-oriented unsupervised change detection method was employed to select areas that were most/least prone to change in the new and old temporal images. These areas were used as samples for the multi-task Siamese network. Subsequently, the multi-task Siamese network model was used to learn and predict the new and old temporal land-use maps and binary change maps. Finally, the final multi-class change detection results were derived from these maps. The multi-task Siamese network was tested based on the images from the Third National Land Survey and corresponding land-use maps. The results demonstrate that the method proposed in this study is applicable to the change detection cases where changed and unchanged samples lack but there are available historical thematic maps.

Keywords: multi-task learning; Siamese network; multi-class change detection; the third national land resource survey

PDF (8701KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

马惠, 刘波, 杜世宏. 多任务学习孪生网络的遥感影像多类变化检测[J]. 自然资源遥感, 2024, 36(1): 77-85 doi:10.6046/zrzyyg.2022446

MA Hui, LIU Bo, DU Shihong. Multi-class change detection using a multi-task Siamese network of remote sensing images[J]. Remote Sensing for Land & Resources, 2024, 36(1): 77-85 doi:10.6046/zrzyyg.2022446

0 引言

人类所生存的地表环境无时无刻不在发生着变化[1],这些变化有些是对人类有益的,有些则是会对自然资源产生严重的破坏。因此,精确掌握这些变化十分必要。自20世纪60年代至今,遥感技术经过几十年的发展,已经可以获取高空间分辨率、高时间分辨率、高光谱分辨率和高辐射分辨率的遥感影像,利用遥感技术来对地表变化进行检测是一种行之有效的方法[2]。目前,基于遥感的变化检测已经在城市规划、植被变化、灾害监测、地图更新和生态环境保护等多个领域得到了广泛的应用[3-4]

当前,用于变化检测的方法主要有传统机器学习方法和最新的深度学习方法。传统机器学习方法包括支撑向量机(support vector machine,SVM)[5-6]、决策树[7-8]、随机森林(random forest,RF)[9-10]、人工神经网络(artificial neural networks,ANN)[11]、水平集[12-13]、马尔可夫随机场(Markov random field,MRF)[14]、条件随机场(conditional random field,CRF)[15-16]等,相比于早期的图像差分法[17]、代数法[18-19]、变换法[20-21]等变化检测方法,这些方法显著提高了遥感变化检测的精度。而近年来,各种基于深度学习的变化检测方法层出不穷[22-26],其中孪生网络模型[27-29]在基于深度学习的变化检测方法中有着重要位置,通过合适的方法结合孪生网络中2个子网络所提取的不同时相的深度特征,可以有效提升变化检测的精度。相比于传统机器学习方法,深度学习方法可以同时提取2个时相影像的深度特征,从而更好地完成变化检测任务。

但是,在基于深度学习的遥感影像变化检测方法中,大部分都只关心某一类别的变化,也大量使用标准数据集进行模型测试,这严重限制了其应用范围。城市规划、地图更新等应用领域不仅需要关注发生变化的区域,也要关注发生变化的类型。对于多类变化检测来说,常用策略有2种: 一是分类后检测法,即对2个时相影像单独进行分类,然后直接对比分类结果,检测同一区域类型是否发生变化; 二是直接分类法,即直接训练一个模型将变化的类型直接区分开来。首先,分类后检测法完全依赖于各个时相的分类结果,只要有一个时相的分类出现错误就会导致错误的变化结果; 而直接分类法需要考虑的类别数过多,若地物有N类,则使用直接分类法需要考虑N(N-1)种变化类型,这种含有变化类型的变化样本难以获取,模型也难以训练。其次,无论上述哪一种变化检测策略,都需要较多的样本对模型进行训练,而这在实际应用中较难获取,尤其是直接分类法所需要的包含变化类型的样本。对于数据集来说,现有的大部分研究都采用了标准数据集,尽管获得了较高的检测精度,但针对标准数据集所设计的变化检测模型在面对实际应用时可能并不适用,这就需要在对模型设计和测试时使用真实场景的数据集。

本文针对上述多类变化检测存在的问题,提出了一种基于多任务学习深度孪生网络的遥感影像变化检测方法。首先,针对分类后检测法和直接分类法存在的没有考虑双时相影像相关性及需要考虑的变化类型过多的问题,本文提出了一种多任务学习法来综合分类后检测法与直接分类法,即构建一个深度学习模型同时对双时相影像进行分类和二值变化检测,最后可通过二值变化检测的结果来判断发生变化的区域和类型。其次,本文没有使用标准数据集对所提出的模型进行测试,而是使用了更符合实际应用的第三次全国国土调查(以下简称“三调”)数据,并根据“三调”数据自动挖掘出潜在的变化样本用于多任务深度孪生网络训练。

1 实验数据

本文研究区为河南省汝州市西部,使用的影像数据为“三调”所采用的高分二号影像。2景高分二号影像的获取时间分别为2019年11月和2020年6月,空间分辨率为1 m,影像大小为31 084像素×44 553像素,包含红、绿、蓝3个波段。除了影像数据之外,还使用到了“三调”的图斑数据,该图斑数据反映了2019年11月的土地利用情况。影像数据和图斑数据如图1所示。

图1

图1   本文所用数据

Fig.1   Data used in this paper


图1(a)图1(b)中,除了土地利用的变化而导致影像光谱变化外,季节变化也导致耕地、林地、草地、园地等在2景影像中的光谱表现不一致。因此,在进行变化检测时,容易产生一些误检。本文实验数据中不包含变化图斑,而只有一个时相的土地利用图斑。因此,现有的针对标准数据集所提出的各种变化检测方法是不适用的。本文提出一种基于多任务学习深度孪生网络的遥感影像变化检测方法来解决这一问题。为了检验本文所提方法进行多类变化检测的精度,人工选择了实验区域的变化图斑,包含了变化的类别信息。通过人工选择的变化图斑进行统计,发现有55.66%的图斑是由耕地变化为建设用地,有29.54%的图斑是由动土变化为建设用地,还有7.24%的图斑是由耕地变化为动土,这说明了在2019年11月—2020年6月期间,实验区有大量农田被侵占用于建设用地。

2 研究方法

2.1 技术路线

遥感影像变化检测流程如图2所示。首先,利用旧时相影像和新时相影像在特征上的差异进行非监督变化检测,得到最可能变化的区域及最可能未变化的区域,在保证这2种类型区域精度足够高的情况下将其作为二值变化检测所需的样本,同时基于旧时相样本和最可能未变化的区域可以得到新时相的样本。随后,利用所得的旧时相样本、新时相样本、二值变化样本以及旧时相影像、新时相影像训练构建好的多任务学习深度孪生网络,从而利用该网络得到新、旧时相的土地利用分类结果以及二值变化检测结果。最后,基于二值变化检测结果,可以得知哪些位置发生了变化,而基于新、旧时相的土地利用分类结果可以得知变化的类型,并且通过人工目视解译得到的地表真实变化图斑对最终变化检测结果进行精度评价。

图2

图2   遥感影像变化检测流程

Fig.2   Change detection workflow of remote sensing images


2.2 面向对象的无监督变化检测

为了能够自动从影像中获取二值变化样本,并基于该二值变化样本和旧时相土地利用样本获取新时相土地利用样本,本文采用了面向对象的无监督变化检测方法。相比于基于像素的方法,面向对象的方法能够很好地保证检测出来的变化区域及未变化区域的完整性。面向对象的无监督变化检测方法基本思路是通过对比新旧时相影像对象在光谱、纹理特征上的差异。对于每一类地物来说,差异较大的影像对象被看作发生变化的影像对象,而差异较小的影像对象被看作未发生变化的影像对象。面向对象的无监督变化检测流程如图3所示。

图3

图3   面向对象无监督变化检测流程

Fig.3   Object-oriented unsupervised change detection workflow


首先,新、旧时相影像在旧时相样本的约束下联合分割得到影像对象集,影像分割方法采用多分辨率分割法。随后,在影像对象的基础上分别提取新、旧时相影像对象的特征。然后,通过在特征空间上对新、旧时相影像对象特征距离的度量,得到基于影像对象的新、旧时相影像的差异。最后,对于每一类土地利用类型,差异最大的一些影像对象属于最可能变化的区域,而差异最小的一些影像对象则属于最可能未变化的区域,这2个区域构成了二值变化样本。

在整个面向对象的无监督变化检测过程中,对结果影响较大的参数有2个,即划分为最可能变化区域的阈值MLc以及划分为最可能未变化区域的阈值MLuMLc表示每一类土地利用类型中新、旧时相影像对象差异最大的MLc%的影像对象会被认为是最可能变化的区域,MLu表示每一类土地利用类型中新、旧时相影像对象差异最小的MLu%的影像对象会被认为是最可能未变化的区域。

2.3 多任务学习深度孪生网络

本文提出的多任务学习深度孪生网络模型如图4所示。图中Conv为卷积层。基于深度学习的变化检测实际上是对变化进行语义分割,因此与大多数语义分割网络一样,本文提出的多任务学习深度孪生网络的主题也是由编码器和解码器构成。编码器采用了2个Xception为骨干网络(backbone network)构成的孪生网络分别提取新、旧2个时相影像的深度特征。Xception由进入流、中间流以及退出流3部分构成(图5)。进入流对影像进行特征的初步提取,并同时进行下采样,减小影像的空间维度。中间流则对特征进行不断的分析与过滤,并对特征进行优化。退出流则是最后对特征进行汇总和整理,完成影像深度特征的提取。相比于其他的一些骨干网络,Xception没有使用传统的卷积,而是使用了可分离卷积(separable convolution,Sep Conv),从而减少参数的数量,降低运算成本。此外,由于新、旧影像的大部分区域是未变化的,为进一步减少模型的训练参数,本文使2个Xception的权值共享。

图4

图4   多任务学习深度孪生网络结构图

Fig.4   Structure of multi-task learning Siamese network


图5

图5   Xception网络结构图

Fig.5   Structure of Xception network


在解码器中首先采用了空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)对来自编码器的深度特征进行多尺度特征提取。随后,为解决由于下采样导致空间信息丢失和边界分类不准的问题,本文将ASPP所提取的多尺度特征与编码器中只进行过两次下采样的浅层特征相融合,并基于融合后的特征分别新、旧时相的土地利用进行分类。同时,利用对新、旧时相融合后的特征进一步融合,完成二值变化检测。本文的多任务学习深度孪生网络模型包含了3个任务: 对旧时相影像进行土地利用分类、对新时相进行土地利用分类和对新、旧时相进行二值变化检测,这3个任务对应的3个损失函数如下:

$\mathcal{L}^{\mathrm{o}}=-\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^M y_{i, j}^{\mathrm{o}} \ln p_{i, j}^{\mathrm{o}}, $
$\mathcal{L}^{\mathrm{n}}=-\frac{1}{N} \sum_{i=1}^N \sum_{j=1}^M y_{i, j}^{\mathrm{n}} \ln p_{i, j}^{\mathrm{n}},$
$\mathcal{L}^{\mathrm{b}}=-\frac{1}{N} \sum_{i=1}^N\left[\left(1-y_i^{\mathrm{b}}\right) \ln \left(1-p_i^{\mathrm{b}}\right)+y_i^{\mathrm{b}} \ln p_i^{\mathrm{b}}\right],$

式中: N为输入影像的像素数目; M为土地利用类型的数量; yi,joyi,jn分别为在新、旧时相土地利用图中,像素i是否属于类别j的判别函数,属于为1,否则为0; pi,jopi,jn分别为多任务学习深度孪生网络模型输出的新、旧时相土地利用概率图中,像素i属于类别j的概率; yib为输入到模型的影像对中,像素i是否发生变化,发生变化为1,否则为0; pib为多任务学习深度孪生网络模型二值变化检测任务输出的像素i发生变化的概率。通过以上3个损失函数,得到多任务学习深度孪生网络模型的最终损失函数如下:

$\mathcal{L}^{\text {all }}=\alpha \mathcal{L}^{\mathrm{b}}+(1-\alpha)\left[\beta \mathcal{L}^{\circ}+(1-\beta) \mathcal{L}^{\mathrm{n}}\right],$

式中: αβ为权重参数,用于调节不同任务的权重,在本文实验中,αβ都取0.5。

在这个模型中,对新、旧时相的土地利用分类不再是毫无联系的,通过二值变化检测损失可将新、旧时相的土地利用分类关联起来。同时,该模型进行多类变化检测时不需要包含变化类型的训练样本,这对实际应用有着很大的价值。

2.4 精度评价

常用变化检测精度评价指标为精确率(Precision)、召回率(Recall)、F1值和总体精度(overall accuracy,OA),计算公式如下:

Precision= TPTP+FP×100%,
Recall= TPTP+FN×100%,
F1= 2Precision×RecallTP+FN×100%,
OA= TP+TNTP+TN+FP+FN×100%,

式中: TP为正确检测的变化影像对象的数量; TN为正确检测的未变化影像对象的数量; FP为错误检测的变化影像对象的数量; FN为错误检测的未变化影像对象的数量。

上述4个变化检测精度评价指标常用于二值变化检测,无法满足多类变化检测精度评价的需求。因此,本文还使用了Li等[30]提出的轨迹误差矩阵(trajectory error matrix,TEM)对多类变化检测结果进行精度评价。TEM可以对时序影像多类变化检测进行精度评价,但由于本文只有2个时相,因此只考虑双时相的TEM。假设双时相影像的土地利用类别数为m,Lij为某一个影像对象在第i个时相观测到的土地利用类别标签为j,其中i取值范围为1,2,j的取值范围为1,2,…,m,则双时相影像土地利用类别总共会出现m2种变化轨迹(表1)。

表1   土地利用变化轨迹矩阵及其分组

Tab.1  Trajectory error matrix of land use and its grouping

变化轨迹样本/未变化样本/变化
L11L12L41L42Lm1Lm2L11L22L41L52Lm-11Lm2
检测结果/未变化L11L12S1S3S3S3S3S5S5S5S5S5
S3S1S3S3S3S5S5S5S5S5
L41L42S3S3S1S3S3S5S5S5S5S5
S3S3S3S1S3S5S5S5S5S5
Lm1Lm2S3S3S3S3S1S5S5S5S5S5
检测结果/变化L11L22S4S4S4S4S4S2S6S6S6S6
S4S4S4S4S4S6S2S6S6S6
L41L52S4S4S4S4S4S6S6S2S6S6
S4S4S4S4S4S6S6S6S2S6
Lm-11Lm2S4S4S4S4S4S6S6S6S6S2

新窗口打开| 下载CSV


Li等[30]将所有的变化轨迹分为6组,S1表示将未变化的样本检测为未变化且其土地利用类别也是正确的,S2表示将变化的样本检测为变化且其土地利用类别也是正确的,S3表示将未变化的样本检测为未变化但其土地利用类别是错误的,S4表示将未变化的样本检测为变化,S5表示将变化的样本检测为未变化,S6表示将变化的样本检测为变化但其土地利用类别是错误的。根据变化检测结果所属这6组的影像对象的个数,可以定义以下指标: 轨迹总体精度OAT、变化/未变化总体精度OAC/N、总体精度差异(overall accuracy difference,OAD)、单类的精度差异(accuracy difference of individual class,ADIC),其中ADIC包含了未变化类别精度差异ADICN和变化类别的精度差异ADICC,后续3个精度差异指标都反映了正确检测变化/未变化的情况下变化轨迹被正确检测的比例。上述指标计算方式如下:

OAT= S1+S2i=16Si×100%,
OAC/N= i=13Si+S6i=16Si×100%,
OAD= S1+S2i=13Si+S6×100%,
ADICN= S1S1+S3×100%,
ADICC= S2S2+S6×100% 。

3 实验结果及分析

3.1 实验环境及参数设置

本文的多任务学习深度孪生网络基于深度学习框架Tensorflow搭建,平台硬件配置如表2所示。

表2   深度学习平台硬件配置

Tab.2  Hardware configuration of deep learning platform

硬件名称详细信息
CPUIntel Xeon 4210R
内存/GB64
GPUGeForce RTX 3090
显存/GB24
操作系统Linux

新窗口打开| 下载CSV


在无监督变化检测中,使用了多分辨率分割算法在“三调”图斑的约束下对新、旧时相影像进行了联合分割,其分割尺度、紧凑度权重和光谱权重分别为70,0.5和0.9。在无监督变化检测影像对象差异度量中则选择了影像对象的均值和方差作为差异度量的特征。此外,经过多次实验,无监督变化检测中的MLcMLu分别取值0.1和40较为合适。

在多任务学习深度孪生网络中,为了缓解GPU显存不足的问题,将实验数据裁剪为512像素×512像素的影像块用于模型的训练和预测,训练采用的批大小为4,最大迭代次数为10万,基础学习率为0.000 1。本文还对非监督变化检测所得到的有限样本进行了放大、缩小、旋转、改变影像对比度以及添加噪声等变换,以此提升模型的鲁棒性。

3.2 面向对象无监督变化检测结果分析

在“三调”图斑约束下,使用多分辨率分割算法对新、旧时相影像分割得到了392 976个影像对象,并依据“三调”图斑的类别信息从每类选择差异最大的0.1%的影像对象作为最可能发生变化的区域,选择差异最小的40%的影像对象作为最可能未发生变化的区域,最终得到变化的影像对象389个,未变化影像对象157 160个,其结果如表3所示。

表3   无监督变化检测结果

Tab.3  Results of unsupervised change detection

序号旧影像新影像检测结果序号旧影像新影像检测结果
15
26
37
48

新窗口打开| 下载CSV


表3所示结果可知,大部分被检测为变化区域实际上确实发生了变化,而且基本上都是新建的建设用地; 也存在少量由于成像角度造成两个时相影像产生偏移而出现的变化。同时,被检测成未变化的区域也确实没有发生变化。为了进一步验证该无监督变化检测结果的精度,这里采用了精确率、召回率、F1值以及总体精度4个指标对其进行精度评价,地表真实的变化结果由人工目视解译的4 946个变化图斑构成,最终的结果表4所示。

表4   无监督变化检测精度评价结果

Tab.4  Accuracy assessment results of unsupervised change detection (%)

指标PrecisionRecallF1OA
72.4954.2362.0599.79

新窗口打开| 下载CSV


表4可知,所采用的无监督变化检测方法在本文所使用的数据集上达到了72.49%的精确率,在不使用样本的情况下这个结果比较能够接受,但召回率只有54.23%,也就是说,这个结果的误检率较低,而漏检率较高。因此,此次无监督变化检测结果无法反应地表的真实变化情况。但是在本文变化流程中,无监督变化检测只是作为一个自动选择样本的方法,而误检率较低说明了被检测为变化的对象大概率实际上也发生了变化,较高的漏检率对于样本选取来说是没有影响的,只是无法将那些漏检的变化区域作为样本而已。F1值和OA则是反映了无监督变化检测的一个总体精度情况,F1值只反映了变化区域的总体精度,而OA则反映了变化区域和未变化区域的总体精度,双时相影像大部分都没有发生变化和检测较多的未变化区域是导致OA过高的原因。总体来说,这个无监督变化检测结果基本能够满足后续进行多任务学习深度孪生网络的样本需求。

在无监督变化检测中,MLc取值0.1。主要原因是: 过高的MLc会导致变化检测的精确率过低,误检率过高,使得检测出来的变化区域难以当做后续样本使用; 而过高的MLc又会导致检测出来的变化区域过少,使得变化样本不足。与此相反,由于影像中大部分区域是没有发生变化的,未变化区域也相对较难误检,因此选择了比较大的MLu,这样也可以从旧时相样本中获取更多的新时相样本。

3.3 多任务学习深度孪生网络结果分析

依据面向对象无监督变化检测结果和“三调”图斑,完成对多任务学习深度孪生网络模型的训练,随后基于该模型完成了新、旧时相的土地利用分类和二值变化检测,将该模型的输出结果与影像对象相结合,最终得到了新、旧时相多类变化检测结果,其多类变化检测部分结果如表5所示。

表5   多类变化检测结果

Tab.5  Results of multi-class change detection

序号旧影像新影像旧类别新类别序号旧影像新影像旧类别新类别
15
26
37
48

新窗口打开| 下载CSV


表5中可以发现在2019—2020年间,实验区域发生的主要变化是从耕地到建设用地的变化。经过统计,在检测出来所有的1 399个变化图斑中,有881个变化图斑的土地利用类型都是从耕地变化到建设用地,占所有变化图斑的62.97%。为对检测出来变化图斑进行精度检验,将变化检测结果与人工目视解译得到的变化图斑进行统计并计算多类变化检测精度评价的5个指标。

统计可知,OAC/N和OAT分别达到了98.67%和77.84%,OAC/N反映的是变化/未变化的总体精度,而OAT反映了变化/未变化的检测准确率以及类别信息。OAD,ADICN和ADICC分别达到78.89%,78.90%和73.56%,说明了在被正确检测为变化/未变化的图斑中,超过3/4的图斑变化前后的土地利用类型信息也能被正确分类。

4 总结与展望

针对现有变化检测研究主要聚焦于二类变化检测以及主要使用标准数据集进行模型评测的问题,本文结合“三调”的实际工程应用问题,尝试利用现有的“三调”影像数据及其图斑数据进行多类变化检测。为此,本文提出了一个多任务学习深度孪生网络模型尝试解决现有的分类后检测法和直接分类法在多类变化检测中的问题。同时为了解决多任务学习深度孪生网络模型缺乏训练样本的问题,本文结合“三调”图斑采用面向对象的无监督变化检测方法来获取最可能变化的区域以及最可能未变化的区域,并以此从“三调”图斑中提取新时相影像土地利用样本及新、旧时相的变化、未变化样本。

从实验结果来看,本文所提的方法适用于在没有变化、未变化样本而有历史专题图的变化检测场景中,典型的应用场景有地图更新、国土资源监测等等。虽然现有的变化检测精度还达不到实际的工程应用需求,但通过与人工判读相结合的手段,可以大幅度提高作业效率。

参考文献

史文中, 张鹏林.

光学遥感影像变化检测研究的回顾与展望

[J]. 武汉大学学报(信息科学版), 2018, 43(12):1832-1837.

[本文引用: 1]

Shi W Z, Zhang P L.

State-of-the-art remotely sensed images-based change detection methods

[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12):1832-1837.

[本文引用: 1]

李德仁.

利用遥感影像进行变化检测

[J]. 武汉大学学报(信息科学版), 2003, 28(s1):7-12.

[本文引用: 1]

Li D R.

Change detection from remote sensing images

[J]. Geomatics and Information Science of Wuhan University, 2003, 28(s1):7-12.

[本文引用: 1]

任秋如, 杨文忠, 汪传建, .

遥感影像变化检测综述

[J]. 计算机应用, 2021, 41(8):2294-2305.

DOI:10.11772/j.issn.1001-9081.2020101632      [本文引用: 1]

变化检测作为土地利用/土地覆盖检测的关键技术,其目的是在同一区域不同时期的遥感数据中检测出变化的部分及其类型。针对传统的变化检测方法中存在繁重的人工劳动和检测结果效果差等问题,大量基于遥感影像的变化检测方法被提出。为了深入了解基于遥感影像的变化检测技术以及进一步研究变化检测方法,通过对大量有关变化检测的研究进行整理、分析和比较,对变化检测进行了较为全面的综述。首先阐述了变化检测的发展历程;然后从数据选择及预处理、变化检测技术、后处理及精度评价这三个方面详细归纳了变化检测的研究进展,其中变化检测技术主要从分析单元和比较方法的方面分别进行概括;最后对变化检测各个阶段存在的问题进行了总结并提出了未来的发展方向。

Ren Q R, Yang W Z, Wang C J, et al.

Review of remote sensing image change detection

[J]. Journal of Computer Applications, 2021, 41(8):2294-2305.

DOI:10.11772/j.issn.1001-9081.2020101632      [本文引用: 1]

As a key technology of land use/land cover detection, change detection aims to detect the changed part and its type in the remote sensing data of the same region in different periods. In view of the problems in traditional change detection methods, such as heavy manual labor and poor detection results, a large number of change detection methods based on remote sensing images have been proposed. In order to further understand the change detection technology based on remote sensing images and further study on the change detection methods, a comprehensive review of change detection was carried out by sorting, analyzing and comparing a large number of researches on change detection. Firstly, the development process of change detection was described. Then, the research progress of change detection was summarized in detail from three aspects:data selection and preprocessing, change detection technology, post-processing and precision evaluation, where the change detection technology was mainly summarized from analysis unit and comparison method respectively. Finally, the summary of the problems in each stage of change detection was performed and the future development directions were proposed.

杨存建, 欧晓昆, 党承林, .

森林植被动态变化信息的遥感检测

[J]. 地球信息科学, 2000, 2(4):71-74.

[本文引用: 1]

Yang C J, Ou X K, Dang C L, et al.

Detecting the change information of forest vegetation in Lushui County of Yunnan Province

[J]. Geo-Information Science, 2000, 2(4):71-74.

[本文引用: 1]

Li P J, Xu H Q.

Land-cover change detection using one-class support vector machine

[J]. Photogrammetric Engineering and Remote Sensing, 2010, 76(3):255-263.

DOI:10.14358/PERS.76.3.255      URL     [本文引用: 1]

Cao G, Li Y P, Liu Y Z, et al.

Automatic change detection in high-resolution remote-sensing images by means of level set evolution and support vector machine classification

[J]. International Journal of Remote Sensing, 2014, 35(16):6255-6270.

DOI:10.1080/01431161.2014.951740      URL     [本文引用: 1]

Zhang Z J, Li A N, Lei G B, et al.

Change detection of remote sensing images based on multiscale segmentation and decision tree algorithm over mountainous area:A case study in Panxi region,Sichuan Province

[J]. Acta Ecologica Sinica, 2014, 34(24):7222-7232.

[本文引用: 1]

黄晓君, 颉耀文, 卫娇娇, .

基于变化检测-CART决策树模式自动识别沙漠化信息

[J]. 灾害学, 2017, 32(1):36-42.

[本文引用: 1]

Huang X J, Xie Y W, Wei J J, et al.

Automatic recognition of desertification information based on the pattern of change detection-CART decision tree

[J]. Journal of Catastrophology, 2017, 32(1):36-42.

[本文引用: 1]

Seo D K, Kim Y H, Eo Y D, et al.

Generation of radiometric,phenological normalized image based on random forest regression for change detection

[J]. Remote Sensing, 2017, 9(11):1163.

DOI:10.3390/rs9111163      URL     [本文引用: 1]

冯文卿, 眭海刚, 涂继辉, .

高分辨率遥感影像的随机森林变化检测方法

[J]. 测绘学报, 2017, 46(11):1880-1890.

DOI:10.11947/j.AGCS.2017.20170074      [本文引用: 1]

基于面向对象分析(OBIA)的遥感影像变化检测研究已取得显著的进展,代表了遥感影像变化检测的发展范式,未来是发展更加智能的解译分析方法。随机森林作为一种新的机器学习算法,其预测效果和性能稳定性要优于许多单预测器和集成预测方法。本文充分利用OBIA及随机森林机器学习算法的优势,提出了利用随机森林进行面向对象的遥感影像变化检测。首先基于熵率对影像进行超像素分割,通过最优超像素个数评价指数来获取最佳的影像分割结果,并提取每个超像素在前、后时相影像上的光谱特征和Gabor特征作为随机森林的特征输入数据,用于模型的训练。在初始像素级检测结果之上,自动进行分类样本选择并构建分类器模型,用训练好的模型来提取最终的变化区域。利用Quickbird、IKONOS、SPOT-5等3组多光谱影像进行试验,结果表明,本文方法在变化检测精度上要优于对比方法。

Feng W Q, Sui H G, Tu J H, et al.

Change detection method for high resolution remote sensing images using random forest

[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11):1880-1890.

DOI:10.11947/j.AGCS.2017.20170074      [本文引用: 1]

Studies based on object-based image analysis (OBIA) representing the paradigm shift in remote sensing image change detection (CD) have achieved remarkable progress in the last decade.Their aim has been developing more intelligent interpretation analysis methods in the future.The prediction effect and performance stability of random forest (RF),as a new kind of machine learning algorithm,are better than many single predictors and integrated forecasting method. This paper presents a novel RF OBIA method for high resolution remote sensing image CD that makes full use of the advantages of RF and OBIA. Firstly,the entropy rate segmentation algorithm is used to segment the image for the purpose of measuring the homogeneity of super-pixels. Then the optimal image segmentation result is obtained from the evaluation index of the optimal super-pixel number.Afterwards,the spectral features and Gabor features of each super-pixelareextracted and used as feature datasets for the training of RF model.On the basis of the initial pixel-level CD result,the changed and unchanged samples are automatically selected and used to build the classifier model in order to get the final object-level CD result.Experimental results on Quickbird,IKONOS and SPOT-5 multi-spectral images show that the proposed method out performs the compared methods in the accuracy of CD.

Wang Q M, Shi W Z, Atkinson P M, et al.

Land cover change detection at subpixel resolution with a hopfield neural network

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2015, 8(3):1339-1352.

DOI:10.1109/JSTARS.4609443      URL     [本文引用: 1]

Cao G, Liu Y Z, Shang Y F.

Automatic change detection in remote sensing images using level set method with neighborhood constraints

[J]. Journal of Applied Remote Sensing, 2014, 8(1):083678.

DOI:10.1117/1.JRS.8.083678      URL     [本文引用: 1]

严明, 曹国, 夏梦.

基于水平集演化和支持向量机分类的高分辨率遥感图像自动变化检测

[J]. 哈尔滨理工大学学报, 2019, 24(1):78-84.

[本文引用: 1]

Yan M, Cao G, Xia M.

Automatic change detection of high resolution remote sensing images based on level set evolution and support vector machine classification

[J]. Journal of Harbin University of Science and Technology, 2019, 24(1):78-84.

[本文引用: 1]

Bruzzone L, Prieto D F.

Automatic analysis of the difference image for unsupervised change detection

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2000, 38(3):1171-1182.

DOI:10.1109/36.843009      URL     [本文引用: 1]

Zhou L C, Cao G, Li Y P, et al.

Change detection based on conditional random field with region connection constraints in high-resolution remote sensing images

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(8):3478-3488.

DOI:10.1109/JSTARS.4609443      URL     [本文引用: 1]

魏立飞, 牟紫微, 王晓燕, .

基于CRF模型的高分辨率遥感影像变化检测

[J]. 测绘通报, 2017, 9:28-31.

[本文引用: 1]

Wei L F, Mou Z W, Wang X Y, et al.

Change detection of high resolution remote sensing image based on CRF model

[J]. Bulletin of Surveying and Mapping, 2017, 9:28-31.

[本文引用: 1]

Weismiller R A, Kristof S J, Scholz D K, et al.

Change detection in coastal zone environments

[J]. Photogrammetric Engineering and Remote Sensing, 1977, 42(12):1533-1539.

[本文引用: 1]

Malila W A.

Change vector analysis:An approach for detecting forest changes with Landsat

[J]. Proceedings of the Society of Photo-Optical Instrumentation Engineers, 1980:326-336.

[本文引用: 1]

Jensen J R, Toll D L.

Detecting residential land use development at the urban fringe

[J]. Photogrammetric Engineering and Remote Sensing, 1982, 48:629-643.

[本文引用: 1]

Byrne G F, Crapper P F, Mayo K K.

Monitoring land cover change by principal component analysis of multitemporal Landsat data

[J]. Remote Sensing of Environment, 1980, 10(3):175-184.

DOI:10.1016/0034-4257(80)90021-8      URL     [本文引用: 1]

Ingebritsen S E, Lyon R J P.

Principal components analysis of multitemporal image pairs

[J]. International Journal of Remote Sensing, 1985, 6(5):687-696.

DOI:10.1080/01431168508948491      URL     [本文引用: 1]

吴海平, 温礼, 邓凯, .

基于深度学习的高分辨率遥感影像自动变化检测

[J]. 测绘与空间地理信息, 2021, 44(7):102-106.

[本文引用: 1]

Wu H P, Wen L, Deng K, et al.

Deep learning based change detection for high-resolution remote sensing images

[J]. Geomatics & Spatial Information Technology, 2021, 44(7):102-106.

[本文引用: 1]

Su L Z, Gong M G, Zhang P Z, et al.

Deep learning and mapping based ternary change detection for information unbalanced images

[J]. Pattern Recognition, 2017, 66:213-228.

DOI:10.1016/j.patcog.2017.01.002      URL     [本文引用: 1]

Gong M G, Zhan T, Zhang P Z, et al.

Superpixel-based difference representation learning for change detection in multispectral remote sensing images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5):2658-2673.

DOI:10.1109/TGRS.2017.2650198      URL     [本文引用: 1]

Zhang H, Gong M G, Zhang P Z, et al.

Feature-level change detection using deep representation and feature change analysis for multispectral imagery

[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(11):1666-1670.

DOI:10.1109/LGRS.2016.2601930      URL     [本文引用: 1]

Mou L C, Bruzzone L, Zhu X X.

Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2):924-935.

DOI:10.1109/TGRS.2018.2863224      URL     [本文引用: 1]

Li S C, Han P C, Bu S H, et al.

Change detection in images using shape-aware Siamese convolutional network

[J]. Engineering Applications of Artificial Intelligence, 2020, 94:103819.

DOI:10.1016/j.engappai.2020.103819      URL     [本文引用: 1]

Chen H R X, Wu C, Du B, et al.

Change detection in multisource VHR images via deep Siamese convolutional multiple-layers recurrent neural network

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(4):2848-2864.

DOI:10.1109/TGRS.36      URL     [本文引用: 1]

Gong M G, Niu X D, Zhang P Z, et al.

Generative adversarial networks for change detection in multispectral imagery

[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(12):2310-2314.

DOI:10.1109/LGRS.2017.2762694      URL     [本文引用: 1]

Li B L, Zhou Q M.

Accuracy assessment on multi-temporal land-cover change detection using a trajectory error matrix

[J]. International Journal of Remote Sensing, 2009, 30(5):1283-1296.

DOI:10.1080/01431160802474022      URL     [本文引用: 2]

/

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发