改进3D-CNN的高光谱图像地物分类方法

图1 本文分类网络结构

Fig.1 Classification network structure of this paper

1.2 3D CNN

目前在图像处理领域,大多数使用的是2D CNN,直接从图像中提取特征。但是,由于高光谱图像中有大量复杂冗余的波段,二维卷积核不太适用,它需要在数百个通道上的光谱维度上进行卷积,这可能会导致大量的计算成本,也可能产生过拟合。此外,可以对数据的光谱维度进行预处理,如采取一定的降维措施,但是有一个明显的缺点,就是不能很好地利用到所有的光谱信息。

在计算机视觉中,三维卷积核可以学习到时空特征,已经使用在基于视频的应用^[20]中。鉴于高光谱影像的光谱维度较高的特性,本文使用三维卷积核,沿着整个光谱带对高光谱立方体数据进行卷积,同时提取空间特征和光谱特征。

计算三维卷积核的计算公式为:

(1)

V_{i, j}^{x, y, z} = f (b_{i, j} + \sum_{m} \overset{P_{i} - 1}{\sum_{p = 0}} \overset{Q_{i} - 1}{\sum_{q = 0}} \overset{T_{i} - 1}{\sum_{t = 0}} W_{i, j, m}^{p, q, t} \cdot V_{i - 1, m}^{(x + p) (y + q) (z + t)})

式中: $V_{i, j}^{x, y, z}$ 为第 $i$ 个卷积层第 $j$ 个特征图在点 $(x, y, z)$ 处的值; $P_{i}^{}$ 与 $Q_{i}^{}$ 为卷积核在空间上的尺寸,即长度和宽度; $T_{i}^{}$ 为卷积核在光谱维度上的尺寸; $W_{i, j, m}^{p, q, t}$ 为与前一卷积层中第 $m$ 个特征图所连接的卷积核的值; $V_{i - 1, m}^{(x + p) (y + q) (z + t)}$ 为第 $i - 1$ 个卷积层中第 $m$ 个特征图中在 $(x + p, y + q, z + t)$ 位置的值; $f ()$ 为激活函数; $b_{i, j}$ 为偏置。

本文中3D CNN的输入数据是 $(S, S, B)$ 的立方体,其中 $S$ 为图像的长和宽,取值相同, $B$ 为原始波段数,将数据分块送进网络。采用三维卷积核,直接处理立方体数据,不用单独提取空间和光谱信息。最终输出层得到的结果是中心像素点的标签,从而实现像素级分类。

1.3 三重注意力机制

CBAM^[17]是一种轻量的注意力模块,包括空间注意力机制和通道注意力机制。输入特征沿着通道和空间2个维度计算出权重系数,然后将权重系数与特征图相乘,得到新的特征图。

对于高光谱图像,由于存在多个波段,包含丰富的光谱信息,为了有效利用这些特征,本文在CBAM模块的基础上新增了一个光谱维度注意力模块,建立了三重注意力机制。三重注意力机制模块是通过串联的方式组合在一起的,光谱注意力模块位于通道注意力模块和空间注意力模块之间。在中层特征提取模块中,特征图依次通过通道注意力模块、光谱注意力模块和空间注意力模块进行感兴趣区域提取,从而获得有效的目标特征。具体实现如图2所示。光谱注意力模块通过池化操作聚合空间信息和通道信息,然后将特征图送进一个共享网络,共享网络由多层感知器(multilayer perceptron,MLP)和一个隐藏层组成,根据特征的重要程度给每个光谱通道分配权重信息以生成新的特征图。

图2

图2 三重注意力机制结构

Fig.2 Triple attention mechanism structure

均值池化操作能够保留整体数据的特征,最大池化方式可以保留纹理特征。首先,将输入特征分别进行均值池化和最大池化处理; 其次,将2类池化操作的处理结果输入到MLP中进行运算; 最后,将运算结果相加并采用Sigmoid函数进行激活,生成注意力权重系数。这些权重即为每个光谱通道的权重,反映了每个特征的重要程度。最终将权重系数和原特征图进行像素级乘法即产生了新的特征图,公式为:

(2)

M_{p} (F) = σ {M L P [A v g P o o l (F) + M a x P o o l (F)]}

(3)

F' = M_{p} (F) \otimes F

式中: $A v g P o o l ()$ 和 $M a x P o o l ()$ 分别为均值池化和最大池化操作; $F$ 为原特征图; $σ$ 为激活函数 $S i g m o i d ()$ ; $M_{p} (F)$ 为计算得到的权重系数; $\otimes$ 为像素级乘法; $F'$ 为产生的新特征图。

1.4 特征融合策略

在特征提取过程中,CNN通过对特征图的反复卷积来获得图像的特征信息,在低层网络中,主要提取的是图像的边缘背景等纹理信息,经过多次卷积后,获取的特征信息更加的具体化,中层网络中能提取到图像的区域信息,在高层网络^[21]中,能够获取对象的整体信息。最后,将高层网络中得到的特征信息送入分类器中进行分类。

为了避免高层网络中获得的特征图损失了一些低层特征信息,从而影响最后的分类精度。本文采用跨层特征融合策略,全面利用各卷积层提取的特征信息。如图3所示,将低层网络和中层网络中获得的特征信息保存下来,待高层网络提取特征之后,通过特征融合对这3个特征信息进行处理,获得新的特征图,这样特征图所包含的信息更丰富,避免了在卷积过程中由于多次卷积而丢失一些边缘信息和纹理特征信息。

图3

图3 特征融合示意图

Fig.3 Feature fusion diagram

另一方面,为了有效利用特征信息,除了跨层特征融合,在低层和中层网络特征提取时,采用多通道特征提取策略,获取不同信息。如图3所示,对于同一个特征图,分为多个支路,处理多尺度的特征信息,然后将得到的信息融合在一起。相比于单通道提取,这种结构能够捕捉的信息更加多样,从而实现多方面、深层次地提取高光谱图像的空谱特征。

2 实验结果与分析

2.1 研究区数据

本文使用的数据是GF-5高光谱卫星数据,其波段数有330个,光谱范围覆盖为400~2 500 nm。由于原始数据为L1级数据,需要对其进行预处理,包括辐射定标、大气校正和正射校正,以降低大气等因素造成的噪声影响。最后,去除了损坏的波段,最终获得的数据集包含了293个有效波段。

研究地区包括上海崇明和江苏南通的部分地区共2景影像,如图4所示。这2个地区相对于城市地区来说,土地种类丰富,适合研究地物分类。相应选择同时期的高清地图进行辅助标注作为数据标签。研究区数据拍摄于2020年2月24日,经纬度坐标分别为E121°9'8″,N31°54'59″和E120°52'48″,N31°58'3″。

图4

图4 实验数据遥感影像

Fig.4 Remote sensing images of experimental data

研究区选择5类样本,分别为耕地、建筑物、水体、泥滩、农田。2个研究区域的数据集样本总数和各类样本总数如表1所示。

表1 各数据集样本数(个)

Tab.1 Number of samples in each dataset

类别	崇明数据集	南通数据集
耕地	784	538
建筑物	703	757
水体	461	603
泥滩	357	375
农田	505	960
总数	2 810	3 233

新窗口打开| 下载CSV

2.2 实验设置

本文采用SVM^[4],1D CNN^[11],2D CNN^[13],3D CNN^[16]和ResNet^[21]等5种方法作为对比实验,对5类地物进行分类,同时通过实验分析卷积核个数对实验精度的影响。实验以Windows10系统为操作平台,使用NVIDIA RTX2060 6G的GPU,所采用的CPU型号是Inter Core i7-9700,频率为3 GHz,内存48 G。ENVI5.3和MATLAB软件为制作图像标签工具,深度学习采用PYTORCH框架。

实验流程包括3个部分: ①对数据进行预处理,包括对原始影像的预处理和其他数据的预处理; ②实验部分,包括本文方法和其他算法的对比; ③通过计算评价指标总体精度(overall accuracy, OA)和Kappa系数,来评估实验的分类性能。

2.3 评价指标

采用2种评价指标分析实验结果的准确性,分别为OA和Kappa 系数,都是通过建立混淆矩阵来反映真实结果与检测结果之间的一致性程度,计算公式分别为:

(4)

O A = \frac{1}{N} \overset{r}{\sum_{i = 1}} x_{i i}

(5)

K a p p a = \frac{N \overset{r}{\sum_{i = 1}} x_{i i} - \overset{r}{\sum_{i = 1}} (N x_{i i})}{N^{2} - \overset{r}{\sum_{i = 1}} (N x_{i i})}

式中: $r$ 为类别总数量; $N$ 为样本总数量; $x_{i i}$ 为第 $i$ 类被识别成第 $i$ 的样本数。

2.4 结果分析

崇明数据集和南通数据集经过实验得到的分类结果如图5所示。

图5

图5 实验数据分类结果

Fig.5 Classification results of experimental data

表2为本文方法与SVM,1DCNN,2DCNN,3DCNN和ResNet在崇明数据集和南通数据集进行对比的分类结果。以崇明数据集为例展示不同模型下的分类结果(图6)。实验结果表明,与SVM,1DCNN,2DCNN,3DCNN和ResNet方法相比,本文方法实现了最好的分类结果。

表2 不同方法的对比结果

Tab.2 Comparison results of different methods

模型	崇明数据集		南通数据集
模型	OA/%	Kappa	OA/%	Kappa
SVM	74.18	0.697	74.30	0.680
1D CNN	70.61	0.622	74.13	0.677
2D CNN	88.15	0.849	88.56	0.854
3D CNN	90.83	0.876	91.90	0.893
ResNet	92.17	0.900	93.28	0.914
本文方法	95.21	0.939	95.84	0.947

新窗口打开| 下载CSV

图6

图6 不同模型的崇明数据集分类结果

Fig.6 Classification results of the Chongming dataset of different models

从结果可以看出:

1)SVM方法和1D CNN方法,由于忽略了空间信息,在分类性能上有所欠缺。在2个数据集上的OA均未超过75%,Kappa系数均未超过0.7。

2)2D CNN方法利用到了高光谱图像的空间信息,但是未能充分联合光谱信息进行分类。在2个数据集上的OA有所提高,分别为88.15%和88.56%,Kappa系数分别为0.849和0.854。

3)3D CNN方法通过三维卷积核对高光谱数据进行卷积,充分联合了空间光谱信息。较2D CNN方法分类精度有明显提高,在2个数据集上OA分别达到了90.83%和91.90%,Kappa系数分别达到了0.876和0.893。

4)ResNet方法在网络的基础上加入了残差结构,加深了网络结构,在2个数据集上的OA均达到了90% 以上,Kappa系数也达到了0.9以上。

5)本文方法在2个数据集上的OA和Kappa系数均为最高,较对比方法提升明显。其中,在南通数据集中, OA达到95.84%,比SVM,1D CNN,2D CNN,3D CNN和ResNet方法分别高出21.54,21.71,7.28,3.94,2.56百分点。Kappa系数达到0.947,较对比方法分别高出0.267,0.270,0.093,0.054和0.033。

2.5 参数对实验的影响

在深度学习的实验过程中,设置不同的卷积核个数会得到不同的分类结果。本文通过多次实验确定最优的卷积核个数以期得到最高的分类精度。对于网络中第一层的卷积核个数,分别设置为8,16,32和40进行实验,得到如表3的实验结果。结果表明,当卷积核个数设置为16时,2个数据集均能达到最高的分类精度,卷积核个数低于16和高于16时均没达到最好的效果,原因可能是卷积核个数过少不能充分提取特征信息,卷积核个数过多导致模型的过拟合现象。因此,将第一层卷积核个数设定为16。

表3 不同卷积核个数的对比结果

Tab.3 Comparison results of different number of convolution kernels

卷积核个数	崇明数据集		南通数据集
卷积核个数	OA/%	Kappa	OA/%	Kappa
8	95.01	0.937	95.58	0.944
16	95.21	0.939	95.84	0.947
32	93.23	0.914	94.92	0.935
40	93.89	0.922	94.08	0.924

新窗口打开| 下载CSV

3 结论

为充分挖掘高光谱图像中包含的空谱信息,本文提出了一种3D CNN结合注意力机制的分类方法。通过三维卷积核计算特征图,同时,提出三重注意力机制,从图像的众多特征中,筛选出更重要的特征,重新分配每个特征的权重,抑制对分类无用的特征。同时,采取跨层特征融合和多通道策略进行特征提取,全面地利用不同层的特征信息,更好地进行地物分类。

利用GF-5卫星在上海崇明及江苏南通地区获取的2景遥感影像数据进行实验,并与SVM,1D CNN,2D CNN,3D CNN和ResNet等方法进行对比分析。结果表明,与其他分类方法相比,本文提出的方法在精度上达到最高,有效证明了本文方法的实用性,可作为其他应用场景下的地物分类的模板。后续的研究将探索有效的数据扩充方法来增强数据样本,从而提高分类精度。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

叶珍, 白璘, 何明一.

高光谱图像空谱特征提取综述

[J]. 中国图象图形学报, 2021, 26(8):1737-1763.

, Bai

, He

M Y

Overview of spatial spectrum feature extraction of hyperspectral images

[J]. Chinese Journal of image and graphics, 2021, 26(8):1737-1763.

[2]

王振华, 张鑫月, 刘智翔, 等.

遥感地物分割的改进格子玻尔兹曼并行模型

[J]. 遥感信息, 2021, 36(4):1-6.

Wang

Z H

, Zhang

X Y

, Liu

Z X

, et al.

Improved lattice Boltzmann parallel model for remote sensing ground object segmentation

[J]. Remote Sensing Information, 2021, 36(4):1-6.

[3]

涂兵, 张晓飞, 张国云, 等.

递归滤波与KNN的高光谱遥感图像分类方法

[J]. 国土资源遥感, 2019, 31(1):22-32.doi:10.6046/gtzyyg.2019.01.04.

, Zhang

X F

, Zhang

G Y

, et al.

Hyperspectral remote sensing image classification method based on recursive filtering and KNN

[J]. Remote Sensing of Land and Resources, 2019, 31(1):22-32.doi: 10.6046/gtzyyg.2019.01.04.

[4]

Peng

, Zhou

, Chen

Region-kernel-based support vector machines for hyperspectral image classification

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(9):4810-4824.

DOI:10.1109/TGRS.2015.2410991 URL [本文引用: 2]

[5]

Peng

, Li

, Tang

Y Y

Maximum likelihood estimation-based joint sparse representation for the classification of hyperspectral remote sensing images

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 30:1790-1802.

DOI:10.1109/TNNLS.5962385 URL [本文引用: 1]

[6]

Chen

G Y

Multiscale filter-based hyperspectral image classification with PCA and SVM

[J]. Journal of Electrical Engineering, 2021, 72(1):40-45.

DOI:10.2478/jee-2021-0006 URL [本文引用: 1]

Hyperspectral imagery can offer images with high spectral resolution and provide a unique ability to distinguish the subtle spectral signatures of different land covers. In this paper, we develop a new algorithm for hyperspectral image classification by using principal component analysis (PCA) and support vector machines (SVM). We use PCA to reduce the dimensionality of an HSI data cube, and then perform spatial convolution with three different filters on the PCA output cube. We feed all three convolved output cubes to SVM to classify every pixel. Finally, we perform fusion on the three output maps to determine the final classification map. We conduct experiments on three widely used hyperspectral image data cubes (ie indian pines, pavia university, and salinas). Our method can improve the classification accuracy significantly when compared to several existing methods. Our novel method is relatively fast in term of CPU computational time as well.

[7]

梁亮, 杨敏华, 李英芳.

基于ICA与SVM算法的高光谱遥感影像分类

[J]. 光谱学与光谱分析, 2010, 30(10):2724-2728.

PMID:21137408 [本文引用: 1]

Liang

, Yang

M H

, Li

Y F

Hyperspectral remote sensing image classification based on ICA and SVM algorithm

[J]. Spectroscopy and Spectral Analysis, 2010, 30(10):2724-2728.

PMID:21137408 [本文引用: 1]

A novel method was developed to classify hyperspectral remote sensing image based on independent component analysis (ICA) and support vector machine (SVM) algorithms. The characteristic information of the hyperspectral remote sensing image captured by PHI (made in China, with 80 bands) was extracted by ICA algorithm, and SVM classifier was established with the extracted image data (20 spectral dimensions). After kernel function selecting and parameter optimizing, it was found that the SVM algorithm(RBF kernel function; parameter C = 1093), gamma = 0.05) with accuracy 94.5127% and kappa coefficient 0.9351 has the best classification result, better than the results of four kinds of conventional algorithms, including neural net classification (accuracy 39.4758% and kappa coefficient 0.3155), spectral angle mapper classification (accuracy 80.2826% and kappa coefficient 0.7709), minimum distance classification (accuracy 85.4627% and kappa coefficient 0.8277) and maximum likelihood classification (accuracy 86.0156% and Kappa coefficient 0.8351). In order to control the "pepper and salt" phenomenon which appeared in classification map frequently, the classification result of SVM (RBF kernel) was operated by the method of clump classes using the morphological operators, and that the classification map closer to actual situation was acquired, with the accuracy and kappa coefficient increasing to 94.7584% and 0.9380, respectively. The study indicated that the ICA combined with SVM was an preferred method for hyperspectral remote sensing image classification, and clump classes was a effective method to optimized the classification result.

[8]

张兵

高光谱图像处理与信息提取前沿

[J]. 遥感学报, 2016, 20(5):1062-1090.

Zhang

Hyperspectral image processing and information extraction frontier

[J]. Journal of Remote Sensing, 2016, 20(5):1062-1090.

[9]

Tong

, Zhang

, Ye

Classification of hyperspectral image based on deep belief networks

[C]// 2014 IEEE International Conference on Image Processing (ICIP), 2014:5132-5136.

[10]

Zabalza

, Ren

J C

, Zheng

J B

, et al.

Novel segmented stacked autoencoder for effective dimensionality reduction and feature extraction in hyperspectral imaging

[J]. Neurocomputing, 2016, 185:1-10.

DOI:10.1016/j.neucom.2015.11.044 URL [本文引用: 1]

[11]

, Huang

Y Y

, Wei

, et al.

Deep convolutional neural networks for hyperspectral image classification

[J]. Journal of Sensors, 2015:1-12.

[12]

Zhao

, Du

Learning multiscale and deep representations for classifying remotely sensed imagery

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2016, 113:155-165.

DOI:10.1016/j.isprsjprs.2016.01.004 URL [本文引用: 2]

[13]

Yue

, Zhao

, Mao

, et al.

Spectral-spatial classification of hyperspectral images using deep convolutional neural networks

[J]. Remote Sensing Letters, 2015, 6(4-6):468-477.

DOI:10.1080/2150704X.2015.1047045 URL [本文引用: 2]

[14]

Ghamisi

, Chen

, Xiao

X Z

A self-improving convolution neural network for the classification of hyperspectral data

[J]. IEEE Geoence and Remote Sensing Letters, 2017, 13(10):1537-1541.

[15]

Makantasis

, Karantzalos

, Doulamis

, et al.

Deep supervised learning for hyperspectral data classifification through convolutional neural networks

[J]. 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 2015:4959-4962.

[16]

, Zhang

H K

, Shen

Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network

[J]. Remote Sensing, 2017, 9(1):67.

DOI:10.3390/rs9010067 URL [本文引用: 2]

[17]

Woo

, Park

, Lee

, et al.

CBAM:Convolutional block attention module

[J]. Springer, 2018, 11211:3-19.

[18]

Sun

, Zheng

X T

, Lu

X Q

, et al.

Spectral-spatial attention network for hyperspectral image classification

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5):3232-3245.

DOI:10.1109/TGRS.36 URL [本文引用: 1]

[19]

Hang

R L

, Li

, Liu

Q S

, et al.

Hyperspectral image classification with attention-aided CNNs

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(3):2281-2293.

DOI:10.1109/TGRS.36 URL [本文引用: 1]

[20]

S W

, Xu

, Yang

, et al.

3D convolutional neural networks for human action recognition

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1):221-231.

PMID:22392705 [本文引用: 1]

We consider the automated recognition of human actions in surveillance videos. Most current methods build classifiers based on complex handcrafted features computed from the raw inputs. Convolutional neural networks (CNNs) are a type of deep model that can act directly on the raw inputs. However, such models are currently limited to handling 2D inputs. In this paper, we develop a novel 3D CNN model for action recognition. This model extracts features from both the spatial and the temporal dimensions by performing 3D convolutions, thereby capturing the motion information encoded in multiple adjacent frames. The developed model generates multiple channels of information from the input frames, and the final feature representation combines information from all channels. To further boost the performance, we propose regularizing the outputs with high-level features and combining the predictions of a variety of different models. We apply the developed models to recognize human actions in the real-world environment of airport surveillance videos, and they achieve superior performance in comparison to baseline methods.

[21]

韩彦岭, 崔鹏霞, 杨树瑚, 等.

基于残差网络特征融合的高光谱图像分类

[J]. 国土资源遥感, 2021, 33(2) :11-19.doi:10.6046/gtzyyg.2020209.

Han

Y L

, Cui

P X

, Yang

S H

, et al.

Classification of hyperspectral images based on feature fusion of residual network

[J]. Remote Sensing for Land and Resources, 2021, 33(2) :11-19.doi:10.6046/gtzyyg.2020209.