土地覆盖类型能够体现地表复杂密集的自然生态环境和人为创造景观^[1]。土地利用/土地覆盖变化(land use and cover change,LUCC)是地球表面变化研究的重要内容,而土地利用/土地覆盖信息的提取是其中的基础工作^[2]。利用深度学习对遥感影像进行分割,为遥感影像信息提取带来了新的突破。

深度学习在遥感影像语义分割领域能够不断发挥优势,主要得益于其能够在非线性任务中实现更精确的提取分析。有以下3个方面提升模型效率的相关研究: ①连接方式创新,主要是特征连接方式。李国清等^[3]实现跳层连接的MS-EfficientUNet模型; 郑宗生等^[4]提出跨层连接特征的三维卷积神经网络(convolutional neural networks,CNN)。②卷积池化过程创新。Chen等^[5-6]基于空洞卷积金字塔池化,改善了应用于高分辨率图像的耗时问题; 张群^[7]将U-SegNet网络进一步升级为DAU-SegNet网络,通过引入多孔空间金字塔池化模块提升对小目标的分割精度; Diakogiannis等^[8]搭建包含并行卷积和金字塔场景解析池化的ResUNet-a框架实现像素级遥感影像场景理解。③特征增强方式创新。刘钊等^[9-10]采用PSPNet进行Sentinel-2遥感影像的城市建成区提取,通过空洞卷积增加感受野和融合深层/浅层特征这2种方式实现遥感特征增强; 程瑞等^[11-13]基于Deeplabv3+模型,根据具体的任务需求融合通道注意力机制优化分割,将分割对象的主体和边界进行双解耦大幅减少破碎小图斑,融合类特征注意力机制增强特征相关性。以上研究皆取得了较好的效果,但是模型方面还存在下述问题与挑战: ①遥感影像中往往有不同尺度大小的对象,例如建筑物和绿地的面积差距较大,粗糙池化提取过程造成较多的漏分或错分; ②一些网络模型采取的跳层连接或传统连接方式,忽略了过程中的特征。

在研究策略方面,有依赖于联合特征、相似性度量、划分正负样本等非迭代策略方法^[14-16],但是相关的衡量公式占用了大量的计算成本。而利用少量类别相对平衡的初始样本,采用迭代策略开展研究^[17-18],能够避免这一问题。但是按顺序逐一提取地表覆盖类别,再合并为最终的分类结果的循环迭代策略效率低下,且无法应对像素元素过于复杂的情况。

针对上述问题,本文采取数据样本和网络迭代优化的策略,构建密集连接多尺度语义分割模型(densely connected multi-scale semantic segmentation network,DMS-Net)以实现土地覆盖信息提取,分割情况能够实时反馈,将反馈结果及时输入网络形成迭代闭环。具体如下: ①将初始训练集输入DMS-Net信息提取模型中,对未标签遥感影像进行自动语义分割。其中,DMS-Net采用多尺度密集连接空洞空间卷积金字塔池化(multi-scale dense connected atrous spatial convolution pyramid pooling module,MDCA)和条形池化(spatial pyramid pooling,SP)来提取多尺度对象,缓解类别尺度差异较大和类内差异较大问题; 而后利用特征增强双注意力并联模块(position paralleling channel attention module,PPCA)强化特征。采用残差网络(ResNet101)作为骨干网络,并利用低层特征级联模块(cascade low-level feature fusion,CLFF)强调第二、第三残差块的底层特征与深层特征融合,补充捕捉小尺度对象; ②对自动分割结果进行分析和修正,得到校正后的分割结果; ③将校正后的分割结果加入样本数据集中,实现数据集的更新; ④利用更新后的数据集对网络模型进行迭代优化。整体来看,在实现遥感影像信息自动提取的同时,大幅减少人工标注工作量,数据样本和网络模型形成一个迭代优化闭环。

本文选取上海市西南地区作为研究区域,如图1所示,包含青浦区、松江区和金山区。该区域毗邻黄浦江、苏州河和太湖,拥有多样的地貌、地表覆盖类型和生态景观,能够为遥感图像分类解译提供丰富样本。同时,西南地区正处于快速城市化和经济发展阶段,包括建筑群扩张、农田减少、工业园区转移等,由此引发的地表覆盖变化明显。根据《上海市第三次全国国土调查主要数据公报》和高分二号(GF-2)遥感影像所呈现出的解译特征,该区域中农用地呈现大面积分布,经济开发用地零散分布,水域或水利设施用地主要围绕长江流域,交通运输用地主要包含柏油主干道、高架桥和铁路,建筑用地具有个别大聚集、多数零散小聚集的特征。

针对遥感影像中的土地覆盖类型,本研究选取1景GF-2号卫星影像。GF-2号影像包含1个1 m分辨率的全色波段和4个4 m分辨率的多光谱波段。预处理工作包括辐射定标、大气校正、正射纠正和NNDiffuse影像融合,并将影像切割为2 048像元×2 048像元大小的切片影像。

本研究采用影像涵盖了既有地物分类标准内的绿地、种植地、水体、主干道路、建筑和其他6种土地覆盖类型。各影像切片区域内的土地覆盖类型存在显著的差异,为此经过选取来缓解训练样本的类别不平衡。分别经过以下2个过程进行人工选取:①根据空间分布的均匀性,去除会引起较大误差结果的2 048像元×2 048像元的影像大切片;②将每个大切片进一步切割成64张256像元×256像元的小切片,然后选取收集小切片中1~2个覆盖面积占比的类型样本,在这些类型分布的区域内随机采集样本。

采用面向对象分割方法,结合收集的类型样本制作模型的初始训练样本。首先结合边缘检测与合并算法进行阈值设置,达到最佳的分割效果;接着进入监督分类,设置样本的类型和属性;然后选择支持向量机(support vector machine,SVM)方法进行分类,核函数选择径向基函数(radial basis function,RBF),其中的Gamma参数设置为0.25,惩罚参数为100;最后输出矢量结果,并进行人工解译修改,形成初始训练样本。为了提高模型的泛化能力,减少过拟合,将样本数据进行翻转、旋转、镜像等空间几何变换,以及随机亮度调整、色彩变化等模拟光照变化。将遥感影像样本和标签栅格数据对应起来,输入到DMS-Net分割模型中进行训练,并将未标签影像作为测试集进行自动语义分割。

本文的技术路线如图2所示。首先利用GF-2影像制作初始样本集;然后构建DMS-Net分割模型进行训练;再利用分割模型对未标签影像进行分割和结果定量、定性分析;最后将校正后的分割结果加入更新样本数据集,对分割模型进行迭代优化,整体形成数据样本与信息提取网络的优化闭环。其中,DMS-Net在本研究迭代优化模型的技术路线中,主要用于初始样本集的模型训练,并对未标签遥感影像进行自动语义分割。

DMS-Net模型如图3所示。模型基于编解码结构,编码器主要用于从输入影像中提取具有代表性的层次特征。解码器组件用于恢复特征映射的空间分辨率,并使用学习到的特征提取目标对象。在编码阶段,采用残差网络(ResNet101)作为骨干网络进行特征提取,而MDCA连接SP模块则通过不同的尺度卷积来挖掘学习遥感影像中的多尺度上下文信息,并通过密集连接得出特征图。再利用PPCA对提取特征中的关键内容进行强化。在解码阶段,将4次上采样后的高层特征和ResNet101网络中经过CLFF操作的第二、第三块以及低层特征依次进行上采样运算和3×3卷积,得到与原始输入影像大小相同的像素级预测结果。

本文DMS-Net使用深度学习库Pytorch。模型的计算在NVIDIA GeForce GTX 3060的GPU上进行,内存为12 GB。由于Adam优化器具有自动调整学习速率的能力,在模型的优化过程中初始学习速率为0.000 1。Epochs的数量被设置为100,batch_size被设置为8。

空洞空间卷积金字塔池化(atrous spatial convolution pyramid pooling module, ASPP)面对小尺度地物分割的时候,权重表现力欠缺。ASPP采用的是传统concat方式,导致细节信息减少甚至丢失,邻近特征信息的学习能力不足。针对ASPP池化和连接方式的问题,本文构建了MDCA模块。针对空洞卷积池化的卷积核不连续,造成的信息连续性缺乏问题,本文构建了SP模块。

通过将MDCA和SP进行进一步的密集连接组成MDCA_SP模块。其中,MDCA将ASPP中的空洞率增幅、细化,在1×1卷积分支后面,增加空洞率rate为3的分支,主要作用于提取到更多小尺度的地物特征,增强特征表达的完整性。再将所有的卷积层采用密集网络DenseNet中的密集连接的方式连接起来,形成最佳的卷积核组合。密集连接通过将所有的分支密集连接起来,即所有分支互相连接,让整个模块呈现一种强监督模式。而SP将输入特征图分割成像素连续的条状区域,并对每个条状区域进行池化操作,生成固定长度的特征表示。最终再将条形池化SP作为一个另外的分支,也与MDCA进行密集连接。完整的密集连接多尺度信息模块如图4所示。

上文的MDCA_SP旨在提取输入影像中的多尺度特征信息,而这些特征信息在后续的技术流程当中,对于最终的分割任务来说,不同的重要程度会面临失衡,不同位置之间的关联也会遭到丢失。因此本文引入了位置注意力模块(position attention module,PAM)和通道注意力模块(channel attention module,CAM)2种注意力机制。将2种注意力机制并联作用在MDCA模块之后,用来增强特征重要性,从而提升语义分割性能。

PAM可以捕捉到特征图中不同位置之间的关联并进行建模,而CAM可以利用权重衡量通道的重要性,并且自适应地学习到每个通道的重要性权重,使得模型能够更加关注对本文中语义分割任务更有帮助的通道,抑制与任务无关的特征。通过并联2种注意力机制,可以更好地融合全局和局部上下文信息,提高特征的表达能力。将PAM和CAM的并联引入可以在MDCA模块提取多尺度上下文信息的基础上,捕捉到更细腻的上下文信息。同时,结合CAM能够调整特征重要性的优势,可以使得模型更准确地区分不同类型的像素,更准确地定位和分割目标对象,提高分割结果质量。

主干网络ResNet_101中的第二、第三块特征图作为过程中的浅层特征,往往会不参与后续的上采样过程,造成了一定程度的信息丢失,降低了提取信息的完整性。本研究采用CLFF模块将不同深度的特征图进行级联融合,来提高分割的准确性和细节表达能力。主干网络ResNet_101中的第二、第三块特征图分辨率较低,将它们输入CLFF模块后,通过反卷积操作可以将他们上采样到与原始输入影像相同的分辨率,尺寸恢复到原始大小,从而提高分割的精确度。此外,将ResNet_101中的第二、第三块特征图输入CLFF模块中,还有助于信息在网络中的传递和利用,使得网络可以更好地感知和理解多尺度和语义的特征。总体来说,CLFF结构使得网络能够同时利用浅层和深层特征的信息,以便更好地捕捉影像的语义细节。

本文对模型的结果分析主要包含定量分析和定性分析。定量分析方法主要是基于平均交并比(mean intersection over union,mIoU)、总体分类精度(overall accuracy,OA)、F1-score等指标作为定量评价标准。定性分析方法是研究区的实验结果可视化图,人工目测土地利用/覆盖类型分布与相应的假彩色遥感影像之间的关系。

在本文制作的数据集上,通过对比测试不同空洞卷积组合的模型来得到最佳的空洞卷积组合,并且在同一个空洞卷积组合前提下,改变每个卷积分支之间的连接方式,与条形池化SP之间的连接方式,分别为密集连接和传统连接,精度如表1所示。

由表1可以看出,相对于传统连接,密集连接表现更好、更稳定,尤其是在建筑这类尺度大小不一的地物。密集连接由于允许每一层直接访问到前面所有层的特征图,能够更好地捕捉相关类别的信息。密集连接能够综合各层信息的同时实现特征重用和特征流动表达,从而适应各种输入数据,导致总体精度比传统连接高。

除去个别类型细微的差距,空洞率组合为[3,6,12,18]在类型F1-score,OA和mIoU方面的表现整体最佳,采用此空洞率组合的空间空洞卷积池化能够在语义分割任务中表现较好。具体来说,较小的空洞率(例如3和6)能够捕捉到影像中的细节特征,比如边缘、纹理,而较大的空洞率(例如12和18)能够捕捉到较大的上下文信息,比如地物的形状或背景信息。空洞率组合为[3,6,12,18]的另一个优势在于计算量相对较小,能够实现不增加计算量的前提下提高模块的感受野和特征提取能力,具有较高的效率和实用性。

此外,空洞率组合为[6,12,18,24]时,所有的指标都有所下降,这表明在语义分割任务中,缺乏较小空洞率的组合,无法捕捉到细小的特征,从而导致性能下降。对于空洞率组合[3,12,24]和空洞率组合[3,6,12,18,24],2组的总体精度比较相近,但是对于主干道这类连续性对象,[3,12,24]这个过粗的空洞率组合表现明显更差; 而对于房屋建筑这类较小的对象,较大空洞率(例如24)在捕捉特征时可能存在遗漏现象,导致语义信息的严重缺失。

为了验证本文改进网络每个部分的有效性,依旧采用OA和mIoU这2个评价指标进行对比。以DMS-Net为主体,分别移除MDCA_SP,PPCA和CLFF模块来构建a,b,c开展3组对比实验,所有实验皆与神经网络迭代方法标注比较计算,损失函数皆为交叉熵损失。4组实验的分割模型在验证集上的表现如表2所示,表中加粗数据表示本文提出的DMS-Net模型分组和指标精度表现。

从总体精度方面来看。首先,DMS-Net模型的OA为89.97%,mIoU为75. 59%; 其次,a组在去除MDCA_SP之后OA下降了2.26百分点,mIoU下降了1.67百分点,Mean F1-score下降了2.7百分点,由结果可以看出MDCA_SP对模型性能的提升有重要的作用; 然后,b组在去除PPCA之后OA下降了3.75百分点,mIoU下降了3.34百分点,Mean F1-score下降了2.86百分点,说明PPCA模块有效地通过对位置关系进行建模,并用权重衡量、自适应学习通道的重要性,使得模型能够更加关注对本文中语义分割任务更有帮助的通道,抑制与任务无关的特征; 最后,c组在去除CLFF之后OA下降了3.21百分点,mIoU下降了1.89百分点,Mean F1-score下降了2.89百分点。针对本文将遥感影像的语义分割作为研究任务,模型的性能表现重点由平均交并比mIoU体现。从mIoU结果可以看出,MDCA_SP和PPCA对模型的综合性能贡献较大,CLFF对模型的综合性能贡献较小。

在利用扩充样本迭代优化提取方法策略基础上,改变提取方法分别为SVM方法、U-Net模型、PSPNet模型、Deeplabv3+和本文提出的DMS-Net方法。语义分割效果图和模型的表现由表3和表4体现。

从表3中可以得出,传统的SVM分类精度表现明显低于其余几种深度学习信息提取结构。表4分别以工业建筑、城中村(种植地、建筑)、水体、主干道路、住宅建筑等类型呈现为主选取了a—e这 5个区域。第1行为假彩色遥感影像(包含NIR,R,G通道);第2行为土地利用/覆盖类型真实分割标签,包括绿地、耕地、水体、主干道、建筑和其他5种;第3~6行分别为SVM方法、DMS-Net模型、Deeplabv3+模型、PSPNet模型和U-Net模型得到的实验结果。由实验可视化结果可以看出,本文提出的DMS-Net模型在土地利用/覆盖类型分析方面的表现整体是最优秀的。具体体现在以下方面: ①其余结构皆不同程度地出现了错类型分割的情况,例如SVM方法将本文研究作为可视化背景的其他类型错分为主干道路或耕地类型;区域a分割中,U-Net将深色建筑及阴影错分为水体类型;区域e中,Deeplabv3+和PSPNet都将大片邻近的耕地错分为主干道路类型。②Deeplabv3+,PSPNet和U-Net结构皆出现了漏分类现象,例如区域d分割结果中,一些零散的小尺寸建筑物被遗漏。③与DMS-Net模型相比,Deeplabv3+模型的分割结果中类型边界不够明晰,存在本文研究的地物类型与背景类型的混叠或模糊现象,降低了土地利用/覆盖类型分析的准确性;U-Net模型的分割可视化结果中,地物分割边界虽然相对平滑,但覆盖完整性方面大打折扣。④传统SVM方法不能明确区分开建成区和未建成区,由于建筑类型分割结果多呈大块图斑,未能区分出工业建筑、住宅建筑和城中村建筑,缺乏多尺度语义分割的语义优势。

本文提出的样本迭代优化的遥感图像语义分割方法包含2个部分: 一方面,采取数据样本和网络迭代优化的策略; 另一方面,构建DMS-Net模型来实现土地覆盖信息提取,具体如下:

1)将初始训练集输入DMS-Net信息提取模型中,对未标签遥感影像进行自动语义分割。其中,DMS-Net采用密集连接多尺度空洞空间卷积池化(MDCA)和条形池化(SP)来提取多尺度对象,大幅缓解小尺度、连续尺度地物漏检问题。而后利用特征增强双注意力并联模块(PPCA)强化特征,利用CLFF级联操作强调第二、第三残差块的底层特征与深层特征融合。

2)对自动分割结果进行分析和修正,得到校正后的分割结果。

3)将校正后的分割结果加入样本数据集中,实现数据集的更新。

4)利用更新后的数据集对网络模型进行迭代优化。整体来看,在实现遥感影像信息自动提取的同时,大幅减少人工标注工作量,数据样本和网络模型形成一个迭代优化闭环。

整体研究以分割模型为主体,结果表明,DMS-Net模型的各项性能指标优于其他方法。但本文方法采用过多的池化特征连接,花费的计算时间较多。下一步工作可在分割模型中加入特征融合过程,或者采用多模态融合数据进行改进研究,使其在土地覆盖分割领域发挥更好的作用。