融合多尺度特征的国产光学影像辐射异常分类检测

doi:10.6046/zrzyyg.2021377

融合多尺度特征的国产光学影像辐射异常分类检测

谭海^,¹, 张荣军^,¹^,², 樊文锋¹, 张一帆¹, 徐航¹

1．自然资源部国土卫星遥感应用中心,北京 100048

2．辽宁工程技术大学测绘与地理科学学院,阜新 123000

Classification and detection of radiation anomalies in Chinese optical satellite images by integrating multi-scale features

TAN Hai^,¹, ZHANG Rongjun^,¹^,², FAN Wenfeng¹, ZHANG Yifang¹, XU Hang¹

1. Land Satellite Remote Sensing Application Center, MNR, Beijing 100048, China

2. School of Geomatics, Liaoning Technical University, Fuxin 123000, China

通讯作者: 张荣军(1996-),男,硕士研究生,研究方向为遥感影像信息提取及三维建模。Email:3081089943@qq.com。

收稿日期: 2021-11-10 修回日期: 2022-03-2

基金资助:

高分遥感测绘应用示范系统(二期)(42-Y30B04-9001-19/21)

Received: 2021-11-10 Revised: 2022-03-2

作者简介 About authors

谭海(1973-),男,博士,副研究员,研究方向为遥感影像处理与信息提取、卫星遥感产品质量检验技术。Email: tanh@lasac.cn。

摘要

随着我国航天遥感事业的高速发展,国产民用光学遥感卫星种类不断丰富,光学影像数据量呈跨越式增长,对光学遥感影像传感器校正产品的业务化日常质量检查带来巨大挑战。在质量检验业务中,影像辐射异常检查是影像质量检验的关键环节之一,存在自动化检查技术能力缺失、人工参与多、效率低等问题。针对以上问题,提出了一种融合多尺度特征的辐射异常数据分类检测深度学习网络模型。该网络模型在EfficientNet-B0模型的基础上引入空洞空间卷积池化金字塔,通过设置不同大小的膨胀率,收集不同尺度下辐射异常数据特征,并将不同尺度上的特征进行通道拼接和池化卷积处理; 再与EfficientNet-B0模型提取出来的特征进行融合处理,以提高分类检测模型的精度。实验结果表明,所提出的分类检测模型,对光学影像辐射异常数据检测分类具有较高的分类精度,优于其他模型分类精度,将有助于提升遥感影像辐射质量检验的自动化水平。

关键词： EfficientNet; 深度学习; 辐射异常; 分类检测

Abstract

With the rapid development of China’s aerospace remote sensing industry, the types of Chinese civilian optical remote sensing satellites have continuously increased. Consequently, the data volume of optical images shows a leapfrogging growth. This brings huge challenges to the daily quality inspection of the calibration products for optical remote sensing image sensors. The inspection of image radiation anomalies is a key step in image quality inspection. However, the inspection faces many problems such as a lack of automated inspection technical capabilities, high manual participation, and low efficiency. To address the above problems, this study proposed a deep learning network model that integrates multi-scale features for the classification and detection of radiation anomaly data. This network model employed a hollow space convolutional pooling pyramid based on the EfficientNet-B0 model. The features of radiation anomaly data on different scales were collected by setting different expansion rates and then processed through channel splicing, pooling, and convolution. Furthermore, they were merged with the features extracted using the EfficientNet-B0 model to improve the precision of the classification and detection model. The experimental results show that the proposed classification and detection model has a higher classification precision for the detection and classification of radiation anomaly data of optical images than other models. Therefore, this study will help to improve the automation level of radiation quality inspection of remote sensing images.

Keywords： EfficientNet; deep learning; radiation anomaly; classification detection

PDF (4689KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

谭海, 张荣军, 樊文锋, 张一帆, 徐航. 融合多尺度特征的国产光学影像辐射异常分类检测[J]. 自然资源遥感, 2022, 34(4): 97-104 doi:10.6046/zrzyyg.2021377

TAN Hai, ZHANG Rongjun, FAN Wenfeng, ZHANG Yifang, XU Hang. Classification and detection of radiation anomalies in Chinese optical satellite images by integrating multi-scale features[J]. Remote Sensing for Land & Resources, 2022, 34(4): 97-104 doi:10.6046/zrzyyg.2021377

0 引言

近年来,随着国家对遥感卫星的发展与应用日益重视,我国的航天遥感事业得到了跨越式飞速发展,民用、商用卫星数量、质量稳步提升,光学遥感影像的空间分辨率、时间分辨率和光谱分辨率得到了显著提高,光学遥感影像数据量得到了极大丰富^[1⇓⇓-4]。但随着光学遥感影像数据量的增长,也给光学影像传感器校正产品质量检验业务带来了新的挑战。

自然资源部国土卫星遥感应用中心是为自然资源调查、监测、评价、监管、执法提供卫星遥感数据、信息及产品、技术和业务支撑的单位,中心现有光学影像产品主要包括资源一号02C(ZY1-02C)、资源三号02(ZY3-02)、高分一号B/C/D(GF-1-B/C/D)等业务星,以及资源三号01(ZY3-01)、高分一号(GF-1)、高分二号(GF-2)等科研卫星的传感器校正产品,2020年全年光学遥感影像质量检验总数据量达到178万余景。目前对于光学卫星影像质量检查主要包括基础检查、几何精度检查、辐射异常检查等方面; 影像质量检查工作作为光学遥感数据应用的关键环节,对影像质量评价、影像数据分发与应用、影像数据库建设及数据质量提升等有着重要作用。辐射异常检查是影像传感器校正产品数据质量检验的重要内容,辐射异常检查结果是影像质量评价的重要参考指标。但目前国内光学影像辐射异常数据自动识别和分类技术尚不成熟,自动化识判水平较低。在实际的光学影像质检业务生产过程中严重依赖人工识判,需要花费大量的人力、物力,且在效率上无法满足对日益海量增长的光学遥感影像数据质检业务需求。

而目前国内、外对光学遥感辐射异常数据检测方法研究相对较少,大多数专家学者主要对光学遥感影像的辐射定标、校正问题以及光学遥感影像的大气校正进行了研究。许和鱼等^[5]为了解决推扫型光学遥感器成像光学系统中线阵CCD探测器各像元响应不一致的问题,提出了一种基于太阳漫反射板星上相对辐射定标方法,利用实验室积分球定标数据作为参考标准,对星上太阳漫反射板定标数据进行平场校正; 得到各像元的相对定标系数之后,将相对定标系数应用于海洋、戈壁滩和云层3种不同地物目标场景进行实验分析。曹红业等^[6]提出一种基于辐射传输模型的GF-2影像大气校正方法,该方法利用6S辐射传输模型,建立大气校正系数查找表,同时利用同步MODIS影像数据以及改进后的暗像元方法反演气溶胶光学厚度,确定大气校正系数,来消除GF-2影像大气分子和气溶胶等的吸收和散射的影响,实现GF-2影像数据的大气校正。

近年来随着人工智能、大数据、云计算等技术快速发展,作为机器学习重要分支之一的深度学习图像分类技术也取得了巨大突破。He等^[7]提出了ResNet模型,解决了随着网络深度增加导致的网络退化的问题,通过深度网络可以提取到更丰富的信息,网络越深,提取到的不同层次的信息会越多,进而使分类模型达到了较高的分类精度; Simonyan等^[8]基于AlexNet探究了卷积网络深度对网络性能的影响,提出了VGGNet模型,该模型使用较小的卷积核和较深的网络层次来提升深度学习的效果,通过反复堆叠3×3的小型卷积核和2×2的最大池化层,更有利于提取图像多层次特征,进而提高模型的分类精度。同时,随着深度学习图像分类方法的成熟,其在遥感影像检测和分类研究中也得到了广泛推广与应用^{[9⇓⇓⇓-13]},在遥感影像的土地分类、目标检测、图像解译等方面都取得了相对较好的效果。

综上所述,本文提出了一种基于EfficientNet-B0模型^[14]、融合多尺度特征的光学遥感影像辐射异常数据检测方法。首先,利用不同问题的辐射异常数据和正常数据进行分类模型训练; 然后,利用训练好的模型自动检测新输入的影像数据是否存在辐射问题,若存在辐射问题则进一步对问题进行分类,从而达到辐射异常数据检测分类的目的。

1 研究方法

1.1 遥感影像辐射异常数据分类

结合目前质量检验生产业务,光学遥感影像辐射异常数据主要可以分为5类,包括CCD拼接问题、乱码、抽头、图像缺失和偏色。

1)CCD拼接问题数据。CCD拼接问题呈现在遥感影像上主要为CCD片间拼接处的色调或亮度不连续,导致在同一景遥感影像不同的CCD片间呈现出不同的色调或亮度,尤其在含有沙漠、水域、冰雪覆盖区域的遥感影像上这种情况更为明显(图1)。在图1中,红色标注区域即为CCD拼接问题的区域,从图中可以清晰地看出存在拼接问题的接缝左右两侧呈现出不同的亮度。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 CCD拼接问题数据示例

Fig.1 Examples of CCD stitching problem data

2)乱码问题数据。乱码问题在遥感影像上主要表现为影像幅面部分区域出现像素光谱错乱,导致无法表达地表信息。具体如图2所示,图中红色标注区域即为出现乱码问题的区域。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 乱码问题数据示例

Fig.2 Examples of garbled problem data

3)抽头问题数据。抽头问题在遥感影像中主要表现为整景或局部影像区域呈现出不规则细纹状,影像像素值无法表达覆盖区域地表信息,具体如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 抽头问题数据示例

Fig.3 Examples of tap problem data

4)缺失问题数据。缺失问题主要表现为影像局部出现块状或带状区域,该区域影像信息缺失,某一波段或某几个波段的像素值完全无法表达地表信息,具体如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 缺失问题数据示例

Fig.4 Examples of missing problem data

5)偏色问题数据。偏色问题主要表现为影像的某一个波段或几个波段的像素值偏大或偏小,导致在视觉上呈现出整体偏向于某一颜色,具体如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 偏色问题数据示例

Fig.5 Examples of color cast problem data

光学遥感影像辐射异常数据在色调特征、纹理特征、形状特征和空间关系特征等影像特征方面,与辐射正常的遥感影像均存在差异,并且不同问题的辐射异常数据在色调、纹理、形状以及空间关系的特征也存在较大差别。本文利用深度学习分类模型,对存在不同辐射异常问题的数据和正常的数据进行模型训练,充分学习、挖掘不同问题数据以及正常数据的特征,用参数的形式来描述每一种数据的特征,构建分类模型,从而判断输入数据是否是正常数据,若不正常则进一步对问题数据进行分类。

1.2 EfficientNet模型结构

EfficientNet是目前众多深度学习分类网络中精度相对较高的网络之一,在不同的行业和场景下进行了广泛的应用研究^{[15⇓⇓⇓-19]}。对于分类网络,网络的深度、宽度和输入图像的空间分辨率是影响分类精度的关键因素,也是改进分类网络的重要思想指导。Tan等^[14]在设计EfficientNet时,为了平衡网络宽度、深度和输入图像分辨率间的相关联系,找到最优分类深度、宽度和图像尺寸,采用固定的比率对深度、宽度和图像尺寸进行复合缩放; 再通过指定复合缩放系数φ,同时约束图像分辨率、网络宽度及深度,具体公式为:

(1)

\begin{matrix} \{\begin{array}{l} d = α^{φ} \\ w = β^{φ} \\ r = γ^{φ} \\ s . t α β^{2} γ^{2} \approx 2 \\ α \geq 1, β \geq 1, γ \geq 1 \end{array} \end{matrix}

式中: d,w,r分别为图像的深度、宽度、分辨率; α,β,γ分别为输入图像深度、宽度、分辨率所对应的比例系数; φ为复合缩放系数。在求最优解时,首先固定φ=1,然后通过网格搜索找到满足公式的最优α,β,γ; 然后固定上一步求出来的α,β,γ值,设置不同的缩放系数φ,可以计算出对应的最优α,β,γ,从而得到EfficientNet-B0至EfficientNet-B7网络模型。

本文选用EfficientNet-B0网络模型为主网络模型。EfficientNet-B0网络是EfficientNet的基准网络,通过固定φ=1,然后利用网格搜索找到满足式(1)的最优α,β,γ。EfficientNet-B0网络由16个移动倒置瓶颈卷积模块、2个卷积层、1个全局平均池化层和1个分类层构成(图6)。从图6可以看出,EfficientNet-B0网络首先对输入尺寸为224×224的三通道图像,以32个核为3×3×3、步长为2×2的卷积核进行卷积运算,使图像向量维数升为32; 再依次进行一系列不同卷积核、步长的移动倒置瓶颈卷积运算(MBConv); 然后再次以1 280个核为1×1×320、步长为1×1的卷积核进行卷积运算; 最后在卷积运算的基础上进行全局平均池化和Softmax分类处理,得到输入图像的分类结果。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 EfficientNet-B0结构

Fig.6 EfficientNet-B0 structure diagram

1.3 融合多尺度特征的分类检测模型

经过对大量辐射异常数据分析,发现在影像中存在辐射问题区域普遍较大,而EfficientNet-B0模型输入尺寸为224×224,难以获取原始影像中的辐射异常区域整体特征,从而会导致分类检测精度不高; 此外,经过EfficientNet-B0模型改进的EfficientNet-B7模型虽然能输入更大尺寸(600×600),但随着输入图像尺寸的增大,将导致模型中运算量增大、训练时间延长,所占用内存也会急剧增大。因此,本文设计了一种基于EfficientNet-B0网络模型、融合多尺度特征的分类检测网络,在EfficientNet-B0网络模型的基础上,引入了空洞空间卷积池化金字塔 ^[20],增大了卷积感受野,可以获取不同尺度的辐射异常特征,能有效联系辐射异常区域的上下文特征,较完整地提取出辐射异常特征,以达到提高分类检测精度的目的。改进后的网络如图7所示。在EfficientNet-B0网络模型的基础上,引入空洞空间卷积池化金字塔,能起到融合多尺度特征的作用。空洞空间卷积池化金字塔由有一个1×1的卷积层、3个3×3膨胀率不同的并行空洞卷积层以及一个全池化层组成,如图8为不同膨胀率的空洞卷积核。将空洞空间卷积池化结果进行通道拼接和1×1卷积处理,实现不同尺度的特征融合。最后将融合后的特征与EfficientNet-B0模型提取特征进行拼接和卷积等处理,实现融合多尺度特征的分类检测。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 改进后的EfficientNet-B0网络模型

Fig.7 Improved EfficientNet-B0 network model

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 膨胀卷积的感受野大小

Fig.8 Receptive field size of dilated convolution

2 实验与结果分析评价

2.1 实验数据集及实验过程

本文从资源系列和高分系列遥感影像传感器校正产品数据中挑选了影像中存在CCD拼接问题、乱码、抽头、缺失、偏色问题的影像缩微图数据和正常影像缩微图数据,每类问题数据各3 000张; 将这些裁剪为224×224大小的训练和测试数据,再经过进一步挑选和图像旋转、镜像等方法进行图像扩充。经过处理后,CCD拼接问题数据10 015张,乱码问题数据9 864张,抽头问题数据9 478张,缺失问题数据9 217张,偏色问题数据9 768张,正常数据9 014张。采用3:1比例将数据分成训练集和验证集,其中训练数据集包括CCD拼接问题数据7 511张、乱码问题数据7 398张、抽头问题数据7 108张,缺失问题数据6 913张、偏色问题数据7 326张,正常数据6 761张; 验证数据集包括CCD拼接问题数据2 504张、乱码问题数据2 466张、抽头问题数据2 370张,缺失问题数据2 304张、偏色问题数据2 442张,正常数据2 253张。本文实验环境为Ubuntu18.04操作系统,显卡型号为NVIDIA Quadro P6000,显卡容量为24 GB。采用Pytorch深度学习框架,实验参数设置为: 学习率设置为0.000 1,迭代轮数设置为150。

2.2 评价指标

深度学习分类网络分类结果通常用以下4种情况来描述: True Positives (TP)为正样本,即被正确识别为正样本; True Negatives(TN)为负样本,即被正确识别为负样本; False Positives(FP)为假的正样本,即负样本被错误识别为正样本; False Negatives(FN)为假的负样本,即正样本被错误识别为负样本。

为了客观评价不同深度学习分类网络在遥感影像辐射异常分类应用中的分类效果,采用了多分类评价指标中较合理的宏平均(macro)计算方法,选择精确率(Precision_macro)、召回率(Recall_macro)和F1这3个评价指标进行分析。不同评价指标具体计算公式为:

(2)

P r e c i s i o n_{i} = \frac{T P_{i}}{T P_{i} + F P_{i}}

(3)

P r e c i s i o n_{m a c r o} = \frac{\sum_{i = 1}^{L} (P r e c i s i o n_{i} w_{i})}{|L|}

(4)

R e c a l l_{i} = \frac{T P_{i}}{T P_{i} + F N_{i}}

(5)

R e c a l l_{m a c r o} = \frac{\sum_{i = 1}^{L} (R e c a l l_{i} w_{i})}{|L|}

(6)

F 1 = \frac{2 P r e c i s i o n_{m a c r o} R e c a l l_{m a c r o}}{P r e c i s i o n_{m a c r o} + R e c a l l_{m a c r o}}

式中: Precision_i为第i类影像异常数据分类的精度; TP_i为第i类正样本被正确识别的样本数; FP_i为第i类负样本被错误识别为正样本的样本数; FN_i为第i类正样本被错误识别为负样本的样本数; Recall_i为第i类影像异常数据分类的召回率; L为分类数目; w_i为每类数据的权重,在实际计算中为第i类测试数据量与总测试数据量的比值。

2.3 实验及对比分析

结合辐射异常数据特点,本文设计的基于EfficientNet-B0、融合多尺度特征的分类检测网络,运用膨胀卷积运算,将不同尺度的特征与EfficientNet-B0提取出来的特征进行融合处理,既利用了EfficientNet-B0运算量小、速度快、参数少的优点,同时融合了多尺度特征,有效提高了辐射异常数据的检测分类精度。辐射异常数据分类模型训练过程整体分类精度和损失值变化曲线,如图9所示。

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 训练过程整体分类精度损失值变化曲线

Fig.9 Change curve of overal classification accuracy and loss value during training

结合图9可以看出,前10次模型整体分类精度上升速度较快,从大概0.80增至0.90附近,效果较为明显,同时在这个过程中,损失值也随之快速减小; 在之后的训练过程中,整体分类精度以较小的起伏幅度、波浪曲线式整体呈增长趋势提高,损失值变化曲线则以类似的趋势逐渐减小,说明训练出来的模型预测值不断逼近真值; 迭代至100次时,整体分类精度达到了0.963,之后分类精度一直稳定在0.96附近,损失值也同样趋于稳定状态,保持在0.13左右,说明训练达到了收敛状态。经过150次的训练,最终得到的整体分类精度和损失值分别为0.966和0.129。

为了客观评价本文设计网络模型的可靠性,引入了目前分类效果较好的ResNet,VGG16,GoogLeNet分类网络以及EfficientNet-B0模型进行实验对比分析。

针对同一测试数据,不同分类网络的分类结果评价见表1。从中可以看出,针对单一类别的检测分类,本文提出的分类模型对不同问题类型的数据分类检测精度均优于EfficientNet-B0模型、ResNet模型、VGG16模型和GoogLeNet模型。对于CCD拼接问题数据,其主要特征为多个CCD相机拍摄的影像拼接处两侧的地物光谱信息出现不连续,呈现出“线状”特征,相对于其他问题数据特征难以提取,过小的感受野会导致特征提取不完整,而VGG和ResNet分类模型重点加深了网络的深度,通过更深的网络来提取问题数据特征; GoogLeNet设计了Inception结构,采用了平均池化来代替全连接层,对CCD拼接问题数据特征的提取有了改善,分类精度相对于VGG和ResNet有所提高; EfficientNet综合平衡了网络的深度、宽度和输入图像的尺寸,可以更完整、详细地提取和表达CCD问题数据特征。乱码问题数据特征在影像中比较明显,各个检测分类方法相比较于其他问题数据的分类检测精度要高。

表1 不同模型对不同问题数据分类精度对比

Tab.1 Comparison of classification accuracy of different models for different problems

分类方法	CCD拼接	乱码	抽头	缺失	偏色	正常
本文方法	0.970	0.952	0.968	0.975	0.962	0.973
EfficientNet-B0	0.965	0.946	0.952	0.961	0.957	0.968
ResNet	0.901	0.925	0.913	0.930	0.912	0.940
VGG16	0.908	0.944	0.910	0.903	0.932	0.937
GoogLeNet	0.937	0.928	0.925	0.918	0.929	0.930

新窗口打开| 下载CSV

表2中运用宏平均计算方法,对表1中的数据进一步计算了精确率、召回率和F1评价指标。从中可以看出,本文提出的分类模型的精确率、召回率及F1评价指标均优于其他几种分类模型。

表2 不同分类模型的综合性能对比

Tab.2 Comprehensive performance comparison of different classification models

分类方法	Precision_macro	Recall_macro	F1
本文方法	0.193 3	0.191 6	0.192 4
EfficientNet-B0	0.190 1	0.188 9	0.187 5
ResNet	0.180 3	0.182 0	0.182 5
VGG16	0.183 9	0.183 4	0.183 7
GoogLeNet	0.185 6	0.184 5	0.185 0

新窗口打开| 下载CSV

3 结论

本文针对光学影像传感器校正产品辐射异常检查过程中,存在数据量大、人工参与多、自动化水平低等问题,难以满足对日益增长、海量的光学影像传感器校正产品数据进行辐射异常检查的需求,提出了一种融合多尺度特征的辐射异常数据分类检测方法,可以有效提高辐射异常数据分类检测的自动化水平和生产效率。实验表明,本文提出的分类模型分类精度明显优于EfficientNet-B0模型、ResNet模型、VGG16模型和GoogLeNet模型,平均分类精度达到了96.6%,说明该模型在光学影像辐射异常数据分类检测中具有较好的分类检测效果,能满足实际生产需求。但由于光学遥感影像辐射异常情况复杂多样,对于个别类别的辐射异常影像的识别分类精度仍有提升的空间,以及如何高效地应用于实际业务生产是今后研究的重点。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

李德仁.

论21世纪遥感与GIS的发展

[J]. 武汉大学学报(信息科学版), 2003, 28(2):127-131.