随着《国家民用空间基础设施中长期发展规划(2015—2025年)》和中国高分辨率对地观测系统等重大战略性工程的实施,国产高分辨率遥感数据日益丰富^[1]。如何从海量多源遥感图像中自动地、准确地解译出地物信息^[2-3]是当前遥感研究迫切需要解决的问题。传统的提取方法效率低,无法满足处理大量遥感影像的需求。因此,在大数据和人工智能的背景下,迫切需要运用机器视觉、深度学习^[4-6]等先进理论对图斑的特征、规律及属性进行系统性研究,实现图斑的智能化和自动化提取。

本文在全局图推理地物目标智能语义分割模型构建、深度学习全天候卫片图斑提取智能算法群构建、多尺度深度特征多维感知解译技术研究关键技术基础上,通过研究可扩展的高效分布式时空数据存储与管理技术,设计了基于地理国情普查数据的海量样本制作方法体系,研建了具有卫片管理、数据处理、模型训练、图斑提取、应用分析等功能模块的国产多源卫片图斑提取平台。实现了对海量多源卫星遥感数据合理规范的组织、高效精确的管理以及海量遥感影像的快速、准确处理,并提供了精准便捷的服务,极大地发挥了卫星遥感数据的价值^[7-9]。

平台依据实用性、可靠性、先进性、可扩展性等原则进行设计,总体框架按照数据层、业务层和应用层3部分进行设计。

数据层是平台的基础,主要负责数据的存储、管理和处理。该层通过研究可扩展的高效分布式时空数据存储与管理技术,设计了基于地理国情普查数据的海量样本制作方法体系,并针对山西省太原城区高分系列、北京二号、高景一号、吉林一号等多种国产卫星系列卫片特性,通过对原始影像数据进行几何校正、图像增强、降噪及合成,实现了数据优化和处理,以适应后续图斑解译及分析任务,实现了多源遥感影像数据的集成管理。

业务层是平台的核心,主要负责图斑智能提取。该层根据应用层的需求,从数据层获取相关数据,并运用图斑提取智能算法群和模型进行智能提取和分析。通过对遥感解译样本库进行深度学习,利用智能语义分割和基于深度学习的多时相、长时序、全天候、多源海量卫片图斑提取智能算法群,内置了多个通用模型及专题模型,实现了耕地、林地、草地、水体、建筑物、硬化地表、堆掘地7类地物全地类实时、智能图斑提取和变化监测。主要包括多源多时相卫片数据影像管理、影像处理、样本标注与管理、全地类图斑智能化提取、统计分析、变化监测等功能。

应用层是平台与用户交互的接口,主要负责提供用户友好的界面和交互方式。该层将业务层的功能进行封装和展示,使用户能够方便地使用智能提取平台的各种功能。平台充分利用PB级多源卫星数据,基于智能化图斑提取平台,结合行业用户实际应用需求,设计了能源安全动态监测、耕地保护动态监测、林草覆盖动态监测、城区水体变化动态监测、城市规划建设动态监测等方面示范应用,可以为政治、经济、文化、生态、能源等各领域的行业用户提供遥感应用解决方案以及业务相关的遥感影像专题产品和服务。

平台总体架构如图1所示。该多源卫片图斑智能提取平台具有多模特征融合、软件系统自主可控、算法普适性强、可灵活部署、一体化训练和解译等特征优势,拥有完全自主知识产权。

平台功能包括影像数据管理、影像数据预处理、解译样本管理、图斑提取和统计分析等5个模块。该平台功能设计如图2所示。

影像管理提供了对多时相、长时序、全天候、多源海量卫星影像数据进行有效管理和组织的能力。通过建立多源异构影像数据库,并提供相应的管理工具和功能,实现快速、高效地获取、浏览、查询和使用卫星影像数据。

影像数据预处理模块主要是对原始影像数据进行处理和优化,以提供更好的数据质量和适应后续图斑解译以及分析任务的需求。通过一系列预定义的操作,对影像数据进行校正、增强、降噪及合成等操作,从而提高图像辨识度,为后续处理提供基础。

解译样本管理模块采用MongoDB数据库对解译样本进行有效管理和组织,为图斑提取智能模型提供训练及验证所需的样本支持。

图斑提取模块是国产遥感影像卫片图斑提取平台的核心,借助智能语义分割及图斑提取智能算法群等关键技术,能够从遥感影像中自动提取出具有独立空间特征的图斑,并对其进行组织分类、空间定位、矢量化、指标验证和成果输出等操作。系统包含10种提取模型,通过选择提取模型,自动从遥感影像中提取出具有独立空间特征的图斑。采用智能提取及深度学习技术,能够准确识别不同地物类型的图斑,并以不同RGB值进行标注。图斑提取包括地物分类、指定地类提取和通用变化检测。

统计分析模块提供了强大的数据统计分析能力,能够实现对卫星图斑提取结果进行深入的统计分析,探索地物目标的分布规律、变化趋势和相互关系。同时,提供了直观的数据可视化工具,以图表、图像等形式展示统计结果,使用户能够更好地理解和解读数据。

为完成国产遥感影像卫片图斑提取平台研建,并为图斑智能提取工作提供遥感影像数据及图斑提取样本库,在国产多源卫片图斑提取平台系统设计的基础上,研究了可扩展的高效分布式时空数据存储与管理技术,实现了PB级多源卫星遥感数据的汇聚。此外,设计了一套基于地理国情普查数据的海量样本制作方法体系,为平台的卫片管理、样本制作等子系统提供了技术支撑。

样本库数据集采用山西省太原城区高分系列、北京二号、高景一号、吉林一号等多种国产卫星系列卫片。根据实际需要,将城区范围地物分为耕地、林地、草地、水体、建筑物、硬化地表、堆掘地、其他等8个大类。充分利用已有地理国情资料,在地理国情监测分类的基础上,结合对应的遥感影像资料,制作项目所需标识,形成样本,按照一定的数据组织,构建遥感解译样本库。

采用2015—2021年的地理国情监测数据,共7期,每个时期以基础地理信息现有分类体系为基础,参考相关专业部门开展的监测内容分类,包含一级类、二级类及三级类。分幅影像数据按照对应的区域进行镶嵌,镶嵌时保证地物的完整和色调的一致; 在镶嵌影像数据的基础上,按照研究区域,对影像进行裁切。影像命名采用行政区划代码加年份进行命名。图斑(标识)样例数据: 地理国情监测图斑数据包含一级类、二级类及三级类,通过图斑的归并和整合,对应整合为耕地、林地、草地、水体、建筑物、硬化地表、堆掘地等分类,对于监测分类图斑未能与研究项目对应的分类,统一归为其他类,通过拆分、合并等工作,生成标注信息文件。整合后分类图斑统计如表1所示。

太原城区卫星图像数据集包含太原市6个城区总面积1 417.0 km²的1 m级卫星图像,图像总像幅达到56 251像素×52 654像素。整体容量大小为12.7 GB。将2019年太原遥感影像原图和标签进行了滑动窗口裁剪,裁剪尺寸为512×512,得到裁剪后的小图11 330对,将其中全部为黑色的无效图片删除后得到6 607对遥感影像小图和与之对应的标签图(图3)。

山西省太原城区地域特征明显,包括山地、平地、丘陵、农村、城市和城乡结合带等不同地域,城市发展空间集聚,是我国重要的能源、化工基地。针对太原城区特有的图斑复杂、破碎率高、变化频繁等特点,本国产多源卫片图斑智能提取平台采用深度学习^[10-12]的遥感图像智能解译方法,将智能语义分割与图斑提取算法群等模型纳入统一的框架中,实现完全自主知识产权的多源海量国产遥感影像智能语义分割和图斑提取。

平台采用自注意力机制、图推理、自适应学习、多尺度特征提取和深度特征解译^[13]等研究方法,这些研究方法都是视觉领域目前最先进的理论。其中,自注意力机制能够有效地根据信息的重要程度进行差异化学习,提高全局信息的交互利用,而图推理方法适用于处理以图形方式表示的数据,因此,全局图推理方法更有利于捕获图像信息。自适应方法能够根据处理数据的特征自动调整处理方法,有效削弱传感器类型、季节变化、太阳高度、大气条件、椒盐噪声、轮廓定位粗糙等因素影响,与所处理数据的统计分布和结构特征相适应,取得最佳的处理效果。多尺度特征多维感知的深度特征解译技术能够联合空谱互补信息进行协同利用,有效避免“同物异谱”“异物同谱”现象造成的图斑提取准确率下降。

平台系统结构模型内置多个通用模型及专题模型,根据需求选取不同的训练数据集进行训练。模型训练成功后,选取与待处理的遥感影像具有相同分布的数据集进行语义分割与图斑提取,检验其准确率及平均交并比等参数,符合技术指标后应用模型。解译模型时根据选定的智能语义分割及图斑自动提取算法提取解译模型,获取需要解译的图像,解译完成后对结果进行存储。平台设计综合考虑具有多模特征融合、软件系统自主可控、算法普适性强、可灵活部署、一体化训练和解译等特征优势,并面向自然资源、生态环保、农林生产等行业开展应用示范,从而提供一站式人工智能解译与推理预测服务。

平台构建基于深度学习的多时相、长时序、全天候、多源海量卫片图斑提取智能算法,通过人工智能技术解决图斑提取时空语义鸿沟问题,有效降低噪声影响,研建卫片图斑提取平台,提升图斑提取准确率。平台总体研究技术框架图如图4所示。

针对图斑提取时空语义鸿沟问题,首先基于注意力的捕获全局上下文信息,同时联合结构化的边缘、纹理、光谱等信息,进行遥感影像特征增强; 其次,定义适合语义分割任务的图抽象,构建节点与结构、边缘与图关系之间的关系交互; 最后,结合注意力机制与图推理,构建遥感影像语义分割模型。

针对多时相、长时序、全天候、多源海量卫片,基于深度学习技术构建智能算法群。设计自适应Transformer融合模块和低级语义信息保留编码优化图像解析精度; 构建DEPAG特征解耦模块刻画不同因素影响下样本的视觉特征; 提出上下文细节融合模块和耦合注意力融合模块进行全局和局部建模融合; 对多图斑提取模型进行优化并纳入系统框架内,设计模型自适应选取规则,建立动态模型推理方式,形成基于深度学习技术的多元海量卫片图斑提取智能算法群。本次试验构建的算法群包括有Unetformer, CCTNET, EMRT, DeepLabV3+, RSSFormer, DDSSN, ResNetDL及Res2NetDL等算法群^[14-15]。算法平台如图5所示。

由于遥感影像变化检测中的“同物异谱”“异物同谱”现象,难以依靠单一维度特征和单尺度特征进行特征解译,因此,本文针对该现象对空间与光谱等多个维度上的特征进行多尺度特征提取,实现深度特征解译,进行图谱协同的异源遥感图像变化检测。通过对地物目标进行光谱、空间、时间等多个维度上的多尺度特征提取,建立不同地物目标的多维特征感知; 通过分析不同地物目标在遥感影像中呈现的多维特征差异,刻画色调、形状、尺度、纹理等解译标志,研究多尺度的深度特征解译技术。在此基础上结合多次迭代提取的解译方案,以生成多尺度多维度的深度特征,实现多维感知解译技术多尺度深度特征多维感知解译技术,实现在 0.5~30 m分辨率国产遥感影像在不同尺度上联合空间与光谱特征等多维度特征进行特征提取和感知。多次迭代提取的解译方案突破了深度特征解译技术,是从空间、时间与属性等维度对图斑的纹理信息、视觉形态和几何特征进行多次迭代提取,并采用不同的深度特征融合策略,聚合多尺度的空谱特征,生成的高级语义信息,形成多层感知、多维特征融合的图斑智能解译技术,用以生成多尺度多维度的深度特征,实现多维感知解译技术。多次迭代提取的解译方案可以提高解译精度,适应复杂数据,充分利用先验知识,处理噪声和异常值,发现和利用潜在信息,并具有较好的灵活性和可扩展性。通过这种方式,多次迭代提取的解译方案能够实现对图斑的多层感知和多维特征融合。它不仅能够捕捉到图斑在不同尺度和维度上的特征,还能通过迭代机制逐步优化解译结果,提高解译的准确性和效率。图6为基于多尺度特征多维融合的深度特征解译方法的结构图。

本文设计了FTUnetFormer高分辨率遥感图像语义分割模型,FTUNetFormer采用了一种混合结构,具有基于CNN的编码器和基于Transformer的解码器,以实现实时性能。这种混合设计与其他编码器-解码器组合相比更具优越性。此外,高效的全局-局部注意力模块利用十字形窗口上下文交互模块来替代移位窗口注意力,以捕捉跨窗口关系,进一步提升语义分割的性能和精度。该模型具有强大的全局上下文建模能力、多尺度特征融合、高效且灵活、适应性强等优点。

本文通过相同的硬件条件和软件平台下,将FTUnetFormer与PSPNet,DeepLabV3,Segformer,Swin Transformer及DeepLabv3+Res2Net这5种代表性的基于深度学习的语义分割网络模型进行比对。PSPNet引入了金字塔池化模块来收集不同区域的信息,增强了模型对不同尺度的适应能力,它通过在卷积神经网络后添加一个金字塔池化模块来实现,用以提取不同区域的特征,并将这些特征融合来提高场景解析的精度; DeepLabV3通过空洞卷积策略增强了模型对于多尺度信息的捕捉能力,它使用不同的空洞率来扩展感受野,从而捕获不同尺度的信息,适用于需要精细边缘细节的图像分割任务; Segformer是一个轻量级、高效的图像分割框架,它通过引入分层Transformer结构,实现了对不同尺度特征的有效融合,并采用了一个高效的编码器-解码器架构来处理图像分割任务; Swin Transformer是一种基于Transformer的视觉模型,它通过引入移动窗口机制来限制自注意力的范围,提高了计算效率,Swin Transformer以分层和可缩放的方式处理图像,适用于多种视觉任务; DeepLabv3+Res2Net是结合了 DeepLabv3+ 和 Res2Net 这2种深度学习模型技术的组合,在许多语义分割任务中都取得了优异的性能,特别是在处理复杂场景和细节丰富的图像时,它的优势在于能够捕获多尺度的上下文信息,同时保持较高的计算效率。

针对语义分割任务的深度学习网络,为评估其性能通常使用3个常用的指标: 平均F1分数(mF1)、整体准确度(OA)和平均交并比(mloU),而这3个指标则在测试集上通过混淆矩阵,以及基于混淆矩阵的精确率和召回率进行计算。由混淆矩阵可以得出针对每一类样本的4个值: TP,FP,TN和FN。其中TP表示预测结果为正样本,实际也为正样本^[16],即正样本被正确识别的数量; FP表示预测结果为正样本,实际为负样本,即误报的负样本数量; TN表示预测结果为负样本,实际为负样本,即负样本被正确识别的数量; FN表示预测结果为负样本,实际为正样本,即漏报的正样本数量。计算公式为:

式中: precision为预测正确的正样本的准确度,其值越大说明误检越少; recall为预测正确的正样本的覆盖率,其值越大说明漏检越少。

mF1和OA是分类任务,是土地覆盖分类中最常用的性能评估指标。其中,mF1是在需要综合考虑precision和recall的调和值时,引出的新的评价指标,计算公式为:

OA为正确分类的像素占总像素的比例,计算公式为:

mIoU则是语义分割任务中最常用的性能评估指标,计算所有类别交集和并集之比的平均值,即k类的IoU求平均,其中IoU计算公式为:

为了定量比较模型的性能,表2中列出了6种模型在2019年太原遥感影像上的测试结果。本文提出的高分辨率遥感图像语义分割网络 FTUnetFormer分割性能整体优于其他模型,平均准确率mAcc、平均交并比mIoU及mF1分别为76.15%,64.30%和78.76%,整体性能超越其他5种模型。针对每一类的测试结果,FTUnetFormer模型均略高于其他 5 种模型。特别地,在草地、水体、堆掘地、道路等类别上,FTUnetFormer模型表现出色,分割结果高于其他模型,具有较明显的优势。

研建太原城区国产多源卫片图斑智能提取平台,重点解决时空语义鸿沟、图斑特征表达、深度特征解译等技术问题,智能化提升图斑提取的精度和计算复杂度,实现完全自主知识产权和多源海量国产遥感影像数据的统一管理。平台的研建可以为山西省地理空间信息的快速获取和动态监测提供理论和技术支撑。平台将在自然资源综合评价、耕地非农非粮化、矿产资源越界开采、生态环境评估、森林植被破坏监测、自然灾害防治、城市规划与管理等方面继续开展应用,提升卫星遥感的产业附加值,有效推动黄河流域生态保护和高质量发展,为山西省政治、经济、文化、生态、能源等各领域的行业用户提供遥感应用解决方案以及业务相关的遥感影像专题产品和服务,促进政府部门监管方式的转变,大力提升服务效能,同时加速山西省卫星遥感应用产业社会化发展,取得良好的社会、经济和生态效益。