基于多尺度超像素的高光谱图像分类研究

doi:10.6046/zrzyyg.2020344

基于多尺度超像素的高光谱图像分类研究

王华^,¹^,², 李卫卫^,², 李志刚², 陈学业¹, 孙乐³

1.自然资源部城市土地资源监测与仿真重点试验室,深圳 518034

2.郑州轻工业大学河南省食品安全数据智能重点实验室,郑州 450002

3.南京信息工程大学计算机与软件学院,南京 210044

Hyperspectral image classification based on multiscale superpixels

WANG Hua^,¹^,², LI Weiwei^,², LI Zhigang², CHEN Xueye¹, SUN Le³

1. Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural Resources, Shenzhen 518034, China

2. Henan Key Laboratory of Food Safety Data Intelligence, Zhengzhou University of Light Industry, Zhengzhou 450002, China

3. Nanjing University of Information Science and Technology, School of Computer and Software, Nanjing 210044, China

通讯作者: 李卫卫(1993-),女,硕士研究生,主要从事图像处理研究。Email:1195203650@qq.com。

责任编辑: 李瑜

收稿日期: 2020-11-2 修回日期: 2021-01-7

基金资助:

国家自然科学基金项目“领域知识驱动的土地利用空间优化配置与多情景模拟”(41771438)
自然资源部城市土地资源监测与仿真重点实验室开放基金资助项目“融合多源数据的多粒度土地利用现状时空建模和系统研发”(KF-2019-04-038)
数字制图与国土信息应用工程国家测绘地理信息局重点实验室开放研究基金资助项目“基于深度学习的城市地价评估样本点选择研究”(ZRZYBWD201911)

Received: 2020-11-2 Revised: 2021-01-7

作者简介 About authors

王华(1986-),男,博士,副教授,主要从事空间数据挖掘、空间决策支持技术研究。Email: whuwanghua@163.com。

摘要

随着遥感技术的快速发展,高光谱遥感影像的分类方法研究受到普遍关注。现有高光谱遥感影像分类研究采用单一尺度下的超像素方法进行图像分割处理,无法确定最佳超像素个数,较易忽视图像细节信息,且单一核矩阵无法表征多特征信息导致分类精度降低。因此,本研究拟在多尺度下采用超像素分割方法对高光谱影像的第一主成分分量进行多尺度超像素分割处理,通过权值耦合多尺度空间光谱核与原始空间光谱核形成合成核来进行高光谱影像分类,并以Washington DC Mall高光谱影像为实验数据对本文方法进行测试与分析。实验结果显示,相较于对比方法,这一方法的有效分类精度最高提升6.93个百分点。结果证明该方法可以有效解决图像光谱无法自适应、光谱信息获取不全面的问题,能够显著提升高光谱影像分类精度。

关键词： RBF核函数; 多尺度; 超像素; 合成核SVM; 高光谱

Abstract

With the rapid development of remote sensing technology, the research on the classification methods of hyperspectral remote sensing images has received widespread attention. However, existing studies on the classification of hyperspectral remote sensing images conduct image segmentation using a single-scale superpixel method. As a result, the optimal superpixel number cannot be determined, image details are liable to be omitted, and a single kernel matrix cannot characterize multiple feature information, thus leading to a decrease in the classification precision. Therefore, this study proposes to perform multiscale superpixel segmentation of the first principal component of hyperspectral images. Then it conducts hyperspectral image classification using the composite kernel obtained by coupling the multiscale spatial-spectral kernel with the original spatial-spectral kernel according to weights. Finally, it tests and analyzes the proposed method using the hyperspectral images of the National Mall in Washington, D.C. as experimental data. The test results show that the effective classification precision of this method is 6.93% higher than that of the compared methods. As proved by the results, this method can be used to effectively solve the problems such as the lack of self-adaption of image spectra and incomplete spectrum information acquired, thus significantly improving the classification accuracy of hyperspectral images.

Keywords： RBF kernel function; multiscale; superpixel; composite kernel SVM; hyperspectral image

PDF (4297KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

王华, 李卫卫, 李志刚, 陈学业, 孙乐. 基于多尺度超像素的高光谱图像分类研究[J]. 自然资源遥感, 2021, 33(3): 63-71 doi:10.6046/zrzyyg.2020344

WANG Hua, LI Weiwei, LI Zhigang, CHEN Xueye, SUN Le. Hyperspectral image classification based on multiscale superpixels[J]. Remote Sensing For Natural Resources, 2021, 33(3): 63-71 doi:10.6046/zrzyyg.2020344

0 引言

遥感影像由于其较高的时效性,一直被用作土地利用分类、医学图像处理、目标检测识别等信息采集、更新的主要数据源。高光谱遥感影像不仅包含地物空间信息,还包含丰富的地物光谱信息,在高光谱图像分类研究中,特征提取、数据处理、算法运用等因素会影响最终分类精度。因此,全面考虑图像特征信息、灵活运用算法对于提升高光谱图像分类精度具有非常重要的意义^[1]。

目前,用于高光谱图像(hyperspectral image, HSI)分类的算法包括决策树^[2,3]、支持向量机(support vector machines,SVM)^[4,5]、深度学习^[6,7]等,相比于一般遥感影像,HSI数据提供了更加庞大的细微光谱特征^[8,9,10],使得传统的逐像素方法极易受噪声影响,并且在提取图像特征时往往忽略相似特征聚类的重要性,降低了分类精度^[11]。超像素分割能够将图像中空间位置相邻且色彩、亮度、纹理等特征相似的像素点划分成小区域,能够将像素级影像抽象为区域级的高维数据^{[12,13,14,15]},是应用较为广泛的图像分割方法^[16,17,18]。将超像素分割方法运用到HSI分类或目标检测,可以提取更加有效的样本空间特征,进而提升分类效果或目标检测效率,如陈允杰等^[19]基于超像素方法提升HSI的分类精度; 刘忠林等^[20]基于超像素图像模型,极大地提高了复杂背景下的小目标检测准确率。上述方法表明,基于超像素的改进方法可有效提高目标分类精度,但是将超像素分割应用到HSI分类中仍然存在以下缺陷: ①将图像在单一尺度下进行超像素分割,无法精确判断初始超像素个数,数值过小可能会丢失关键判别信息,初始数值过大会包含过多干扰信息; ②单一尺度的特征提取与单一核的特征分类很难提取较为精细的图像信息。较为合理的方法应在满足减少干扰信息的情况下,尽可能提取更加全面的判别信息。

基于上述研究,为有效提高HSI分类精度,本文提出一种耦合多尺度超像素分割与合成核(multi-scale spatial spectrum synthesis kernel,Ms-SSSK)的分类方法。该方法将HSI的第一主成分分量,在多个尺度下进行超像素分割,并融合所有尺度下的分割图像,以提取较为全面的图像空间光谱特征核矩阵,并通过权重与原始光谱核矩阵结合,形成多尺度空间光谱合成核矩阵,完成分类模型的构建与预测。本研究以Washington DC Mall HYDICE为实验数据,在MATLAB平台上对本文所提方法进行实现与测试,并将本文方法所得高光谱影像分类结果与多尺度滤波空间光谱核(multi-scale filtering spatial spectrum kernel,Ms-FSSK)、单一尺度下空间光谱合成核(single-scale spatial spectrum synthesis kernel,Ss-SSSK)方法、原始空间光谱合成核(original spatial spectrum synthesis kernel,O-SSSK)方法进行对比,验证改进方法的有效性及可行性。

1 研究方法

1.1 方法流程

Ms-SSSK方法将多尺度超像素和空间光谱特征结合,有效地提升了HSI的分类精度,方法总体研究流程如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 模型流程图

Fig.1 Overall flowchart

由图1可知,该方法提取了空间光谱特征和原始光谱特征2种分类特征,其中空间光谱特征获取步骤如下: ①采用主成分分析(principal component analysis,PCA)算法对HSI降维,提取HSI的第一主成分分量; ②在多个尺度下将提取的主成分分量采用基于熵率的超像素分割算法(entropy rate superpixel,ERS)进行超像素分割处理; ③通过径向基核函数(radial basis function, RBF)计算每一尺度下的空间光谱核矩阵; ④将所有尺度下的核矩阵做均值运算,得到空间光谱核矩阵。原始光谱特征获取步骤如下: ①计算原始HSI中各像素所有波段的光谱均值; ②使用RBF核函数计算各像素间的相似性,形成原始光谱核矩阵。随后,通过权值将空间光谱核矩阵和原始光谱核矩阵结合形成多尺度超像素空间光谱合成核,并随机选取训练样本和测试样本,索引出训练核矩阵与测试核矩阵,随后通过LIBSVM软件包进行分类模型的构建与预测。

1.2 数据降维

本文使用的HSI具有191个波段,每个像素点均包含大量的光谱信息,此外,相邻的波段之间具有紧密的空间、光谱关系,若使用全部波段的光谱信息进行影像空间光谱核形成的实验,将会因数据维数大导致实验时间的延长、实验工作的繁重。因此,为了快速、高效地完成空间光谱核形成工作,需要对HSI进行降维,目的是在众多波段中挑选出包含HSI大部分光谱信息的主成分分量,再使用该主成分分量进行实验,能够极大地提升分类效率。

一般情况下,用于数据降维的算法有线性判别分析(linear discriminant analysis,LDA)、PCA、局部线性嵌入(locally linear embedding, LLE)等,其中应用较为广泛的降维方法^[21]是PCA,此方法降维步骤如下: ①输入原始HSI数据a×b×n,将原始矩阵处理成m×n(m=a×b)的二维矩阵; ②求出m×n矩阵的均值(μ)与协方差矩阵(C)n×n,计算C的特征值(λ)与特征向量(E); ③将特征值从大到小依次排列,特征值越大则代表此特征越重要,若只提取前p个特征,则选取E中前p个列向量构造模式矩阵E_p; ④将原始图像去中心化后形成矩阵A,最后通过计算[ ${E_{p}}^{T}$ ×A^T]^T形成降维后的矩阵。本研究通过调用MATLAB软件中的PCA函数进行数据降维获得第一个主成分分量且贡献率为81.7%。

1.3 超像素分割

采用PCA算法提取高光谱影像的第一主成分分量之后,需要对第一主成分分量进行超像素分割处理,以确保具有相同或相似光谱特征的相邻像素同属一个类别标签,除此之外,图像进行超像素分割后,按超像素区域块执行运算操作,避免了逐像素运算的繁琐过程。

目前,用于超像素分割的常用算法有ERS、基于梯度下降法的超像素分割算法(simple linear iterative clustering,SLIC)、基于图论的超像素分割算法(Graph-based)等,本文基于ERS^[22]对提取的主成分分量进行多尺度超像素分割处理。该方法通过定义目标函数计算每个像素顶点与其邻像素间边的函数值,函数值越大代表2个像素相似性越高、属于同一类别的可能性越大,将函数值最大的边删除,使2个像素同属一个超像素,依次计算所有像素顶点直至超像素个数等于设定超像素数值。通过ERS算法分割图像能够最大程度地保留图像边缘信息生成较优的超像素图像,并且在多个尺度下对图像分别进行超像素分割处理,能够使某一尺度中较难获取到的特性在某个尺度中轻松提取。每个尺度的数值需满足M= ${2^{L}}^{-1}^{}^{}$ ^[23],其中L为尺度个数,超像素数量N=M×q,q为初始超像素个数,根据现有研究^[24],本文选择4个尺度进行图像分割处理,并且q设置为400,各个尺度下的超像素分割图像如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 超像素分割图像

Fig.2 Superpixel segmentation image

1.4 SVM

SVM是较为常用且能有效解决分类问题的机器学习算法,针对维度较高、样本较少等问题表现出良好的分类效果,最常见的是线性分类问题,对待线性不可分问题,需要通过核函数完成低维空间至高维空间的映射,随后进行分类研究^[25],核函数定义为:

(1)K

(x, y)

=<φ(x),φ(y)>,

式中: φ为映射; x,y为空间内任意点。常用的核函数有sigmoid核函数、高斯(RBF)核函数与线性核函数等,针对大、小样本,RBF核函数能够产生很好的性能,且涉及参数相对较少^[26],因此本文选择RBF核函数进行研究,其表达式为:

(2)K

(X_{i}, X_{j})

=exp (-

| | X_{i} - X_{j} | | / 2 δ^{2}

式中: δ是宽度参数,该数值的选取对分类精度会产生较大的影响; X_i,X_j为空间内任意点。基于2个有效核K₁,K₂,一个新的有效核可由下式产生,即

(3)K

(X_{i}, X_{j})

=K₁

(X_{i}, X_{j})

+K₂

(X_{i}, X_{j})

(4)K

(X_{i}, X_{j})

=K₁

(X_{i}, X_{j})

·K₂

(X_{i}, X_{j})

(5)K

(X_{i}, X_{j})

=μK₁

(X_{i}, X_{j})

; μ>0,

式中μ为权重值。新构造的核函数K(X_i,X_j)由K₁和K₂进行组合,并且K₁和K₂可以应用于不同来源、时相的高光谱遥感影像数据^[27,28],本研究通过式(3)将不同尺度下的空间光谱特征进行结合形成新的空间光谱核,通过式(5)以赋予权重值的形式将空间光谱核与原始光谱核结合形成合成核进行分类。

1.5 Ms-SSSK分类

本研究使用的高光谱数据集经过PCA提取主成分分量之后,在多个尺度下进行超像素分割处理,并将超像素特征定义为超像素中所有像素的光谱特征均值,通过RBF核函数计算每2个超像素的线性内积代表超像素之间的相似性,使样本映射至核空间形成核矩阵。实验中某一像素X_i₁,其所在超像素S_i={X_i₁,X_i₂, X_i₃…X_ik},超像素中像素集合的光谱均值为:

(6)

S_{i}^{mean}

\frac{1}{k} \overset{k}{\sum_{i = 1}}

X_ik,

式中: k为超像素中的像素总数; X_ik为第k个像素的光谱值; $S_{i}^{mean}$ 为超像素中所有像素点的均值。因此将 $S_{i}^{mean}$ 代表为超像素光谱均值特征的同时,也可代表超像素中所有像素的空间光谱特征。任意超像素均有其独特的特征,则2个不同超像素S_i与S_j间的相似性计算公式为:

(7)<Φ(S_i),Φ(S_j)> = K(S_i,S_j) =K(

{S_{i}}^{mean}

{S_{j}}^{mean}

由式(7)计算得出空间光谱核矩阵,遍历训练集中各个像素所在超像素位置并提取训练核矩阵,p个训练样本的训练核矩阵为p×p,随后在核空间中查找出测试样本中每个像素所在超像素位置,并找出与所有训练样本所在超像素间的相似性构成测试核矩阵。图像的尺度不同获得的核矩阵不同,将所有尺度下的核矩阵结合,公式为:

(8)K

(X_{i}, X_{j})

\frac{1}{L} \overset{L}{\sum_{s = 1}}

K_s(X_i,X_j),

式中L为尺度个数,由该式可得出最终的训练空间光谱核矩阵与测试空间光谱核矩阵。原始光谱核矩阵的获得依赖于HSI包含丰富的光谱信息,若s=(s₁,s₂,…,s_n)为任一像素在n个波段下的光谱值,则该像素原始光谱均值S^mean= $\frac{1}{n} \overset{n}{\sum_{i = 1}}$ s_i,并将S^mean作为该像素原始光谱特征,则样本集中任意像素X_i和X_j,二者的相似性可用K( ${S_{i}}^{mean}$ , ${S_{j}}^{mean}$ )表示。

空间光谱信息的提取有利于建立各像元间空间关系,原始光谱信息的提取则更加注重地物间光谱差异有利于区分不同物体。提取出训练集与测试集的原始光谱核矩阵,并分别将训练集与测试集的空间光谱核矩阵与原始光谱核矩阵结合,公式为:

(9)K = ϑK_pp+(1-ϑ)K_yp,

式中: ϑ为平衡参数,范围为[0,1]; K_pp为空间光谱核矩阵; K_yp为原始光谱核矩阵。用于构建分类模型的多尺度超像素空间光谱合成核矩阵的计算公式为:

(10)K_Ms_-_SSSK

(X_{i}, X_{j})

=ϑK_pp

(X_{i}, X_{j})

(1 - ϑ)

K_yp

(X_{i}, X_{j})

=ϑ(

\frac{1}{L} \overset{L}{\sum_{s = 1}}

K_s

(X_{i}, X_{j})

)+(1-ϑ)K(

\frac{1}{n} \overset{n}{\sum_{i = 1}}

s_i,

\frac{1}{n} \overset{n}{\sum_{j = 1}}

s_j),

式中s_i和s_j分别为像素i和j的光谱信息。由式(10)计算得出训练核矩阵与测试核矩阵,并应用LIBSVM软件包进行分类模型的构建与测试样本集分类结果的预测,以验证本文方法分类性能,并通过分类模型得出整个区域内样本的所属类别,由此观察此区域地物分类现状。

1.6 实验方案

本文实验在原有Ms-SSSK方法的基础之上,设置了3组对照实验,分别为Ms-FSSK,Ss-SSSK和O-SSSK,每组实验的计算方法如下:

1) Ms-FSSK方法。Ms-FSSK由多尺度滤波和空间光谱核共同组成,其中多尺度滤波空间光谱核获得方式如图3所示。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 多尺度滤波空间光谱核获取流程

Fig.3 Multi-scale filtering spatial spectrum kernel acquisition process

该方法中不同大小的滤波窗代表不同的尺度,将所有尺度下的空间光谱核结合求均值,得到多尺度空间多谱核,并通过RBF核函数获得原始光谱核,多尺度滤波空间光谱核与原始光谱核通过权值结合形成Ms-FSSK。

2)Ss-SSSK方法。Ss-SSSK由单尺度超像素空间光谱核与原始光谱核共同组成,其中单尺度超像素空间光谱核获得方式如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 单尺度超像素空间光谱核获取流程

Fig.4 Single-scale superpixel spatial spectrum nuclear acquisition process

获取原始高光谱影像各个像素所有波段的光谱均值信息,并通过RBF核函数得到原始光谱核矩阵,单尺度超像素空间光谱核矩阵与原始光谱核矩阵通过权值结合形成Ss-SSSK进行高光谱影像分类。

3)O-SSSK方法。O-SSSK由原始空间光谱核与原始光谱核共同组成,其中原始空间光谱核的获得方式如图5所示。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 原始空间光谱核获取流程

Fig.5 Original space spectrum nuclear acquisition process

获取高光谱影像的第一主成分分量,随后使用5×5的窗口对主成分图像进行光谱均值提取,并使用RBF核函数获取原始空间光谱核矩阵,将原始空间光谱核矩阵与原始光谱核矩阵通过权值结合形成O-SSSK进行高光谱影像分类。

2 实验结果与分析

2.1 实验数据

本文实验使用的高光谱数据集为Washington DC Mall,去除不透明波段之后,此影像剩余波段个数为191。影像像素大小为1 280×307×191,本研究使用图像为591行以下部分数据(690×307×191)作为研究对象,并根据地面实际情况将研究区分为住宅、公路、街道、草地、林地、水域和阴影7种类别,各波段包含像素个数为211 830,其中样本集个数为5 471,7个类别的训练集和测试集个数如下表1所示。

表1 样本类别与样本集个数

Tab.1 Number of sample categories and sample sets(个)

类别	训练集数量	测试集数量
住宅	500	3 365
公路	60	356
街道	50	89
草地	60	358
林地	60	345
水域	60	389
阴影	30	39

新窗口打开| 下载CSV

2.2 Ms-SSSK模型结果分析

本文选取具有191个有效光谱波段的HSI为分析对象,并将样本集中的5 471个已知地物类别的样本点进行标注,随机抽取其中的820个样本作为训练集构建分类模型,其余4 651个样本作为测试集验证分类模型性能。选取RBF核构建Ms-SSSK分类模型,并结合7次交叉验证及网格搜索,遍历出最佳核函数参数值g为9.196,最佳惩罚因子c为16.489。

ϑ为空间光谱核权重系数,(1-ϑ)为原始光谱核权重系数,Ms-SSSK方法中的合成核形成时,参数ϑ的选取对分类精度会产生一定的影响^[27],因此Ms-SSSK方法在区间[0,1]内以0.1为增幅进行权值的搜索,在每个ϑ值下运行5次实验程序并计算平均分类精度,找出获得最高平均分类精度的最佳ϑ值。针对测试集,不同权值ϑ下的分类精度如图6所示。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 权值ϑ对应的分类精度

Fig.6 Classification accuracycorresponding to the weight ϑ

由图6可知,当ϑ为0或1时,代表最终分类核矩阵由单一核构成,并且单一原始光谱核分类精度为85.87%,低于单一空间光谱核分类精度91.79%; 当ϑ从0递增至0.6时,测试集的分类精度承上升状态,当ϑ从0.6递增至1时分类精度开始下降,因此可以认为,当ϑ为0.6时分类精度最高,为98.53%。

由此可以看出,在基于Ms-SSSK方法的高光谱影像分类实验过程中,用于构建合成核的空间光谱核与原始光谱核都占有重要作用,并且空间光谱核的贡献率略高于原始光谱核。各类地物都有其独特的原始光谱特征,但是同谱异物、同物异谱的现象时有发生,Ms-SSSK方法中原始光谱特征占比较大时,具有较精细的空间光谱特征发挥不出优势,较易导致整体分类精度的下降,使用权值ϑ合理地分配空间光谱和原始光谱特征,可以极大地提高高光谱影像分类精度。

2.3 方法对比分析

当ϑ为0.6时,按照原来的c和g参数和训练集、测试集个数设置,将Ms-SSSK,Ms-FSSK,Ss-SSSK和O-SSSK这4种分类方法分别运行5次,得出测试集的平均分类精度和所有地物分类精度如表2所示。

表2 分类结果对比

Tab.2 Comparison of classification results

类别	Ms-SSSK /%	Ms-FSSK /%	Ss-SSSK /%	O-SSSK /%
住宅	99.28	98.57	98.30	96.67
公路	98.32	94.36	92.68	87.55
街道	98.70	98.01	96.70	91.60
草地	97.35	95.25	92.12	89.16
林地	97.60	96.88	96.37	93.65
水域	98.65	96.31	98.71	96.87
阴影	98.16	96.98	96.60	87.73
总体精度/%	98.53	96.49	95.33	91.60
Kappa	0.960 1	0.948 9	0.921 6	0.903 1

新窗口打开| 下载CSV

从表2中可以看出,Ms-SSSK的分类精度最高,达到98.53%,O-SSSK的分类精度最低,为91.60%。相比于O-SSSK,Ss-SSSK的分类精度提升3.73个百分点; 相比于Ms-FSSK,Ss-SSSK和O-SSSK这3种方法,Ms-SSSK的分类精度分别提高2.04,3.20和6.93个百分点。相比于现有深度学习方法^[29],针对该数据集Ms-SSSK方法的分类精度提升了6.97个百分点。表2中的4种高光谱影像分类方法,采用Ms-SSSK得到的阴影、公路、草地的分类精度提升幅度较大,其中,阴影从O-SSSK的87.73%、Ss-SSSK的96.60%和Ms-FSSK的96.98%提升到Ms-SSSK的98.16%; 草地的分类精度从O-SSSK的89.16%、Ss-SSSK的92.12%和Ms-FSSK的95.25%提升到Ms-SSSK方法的97.35%; 公路的分类精度从O-SSSK的87.55%、Ss-SSSK的92.68%和Ms-FSSK的94.36%提升到Ms-SSSK方法的98.32%。4种模型的测试集分类结果如图7所示。由图7可以看出,数据集中阴影所占面积小且布局分散,当住宅面积较大时,极易将住宅与阴影分为一类; 研究区中的林地与草地在空间格局上不够聚集且散布整个区域,并且二者具有较为相似的光谱特征,因此草地与林地在分类时易产生混淆; 公路在整个区域中所占面积较大,并且与草地、林地,住宅等像元毗邻,因此分类时易被误划入上述地类。

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 测试集分类结果

Fig.7 Classification result of test set

Ss-SSSK方法将图像在一个尺度下进行超像素分割,无法判断最佳原始超像素个数,相较于多尺度超像素而言,无法考虑较为精细的图像特征信息; Ms-FSSK和O-SSSK方法采用滤波窗的方式获得图像空间光谱均值信息,然而最佳窗口的大小很难被确定,窗口过小无法包含全部重要信息,窗口过大会包含干扰信息,相较于超像素而言无法自适应均值计算区域; 因此3种方法很难获得优于Ms-SSSK方法的分类效果。将在测试集上训练完成的模型用于分类原始图像,形成全区域分类结果如图8所示。并选取了2个典型区域用于分类细节信息对比,如图9所示。

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 图像整体对比

Fig.8 Overall image comparison

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 图像局部对比

Fig.9 Local image comparison

O-SSSK方法针对大住宅附近公路的分类效果较差,并且易混淆草地和林地,如图8(e)和图9(e)(j)所示; Ss-SSSK方法可以大致对7种地物进行分类,但是缺少空间细节,如图8(d)和图9(d)所示; Ms-FSSK方法的分类结果中阴影细节较为明显,但是总体分类结果出现较多差错,尤其是公路与草地,如图8(c)和图9(c)(h)所示; Ms-SSSK方法考虑的图像特征较为精细,相比于另外2种方法,图像细节区分较为明显(如图8(b)和图9(b)(g)所示),获得了较高的地物分类精度。

为了继续探讨上述4类方法在不同规模样本集上的分类精度变化情况,分别从样本集合中随机抽取200,400,600和800个样本点用来训练模型,剩余样本作为测试集验证模型性能,针对不同规模测试集各模型的相对误差如图10所示。

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 各模型相对误差结果图

Fig.10 Relative error results of each model

从图10中可以看出,样本量从200递增到800,各模型的分类误差都在不断下降, 且样本数目为200时,Ms-SSSK模型的分类相对误差在10%~15%内,与另外3个模型差距最大,随着样本数目的递增,分类精度差距逐渐缩小至2%~4.5%。该结果证明Ms-SSSK模型的空间光谱合成核方法能够在核空间中学习样本的相似性特征,进而融合图像多维特征,以获得较为精细充分的图像信息,在训练样本集规模较小时,依然可以获得较为理想的HSI分类精度。

3 结论

本研究针对高光谱影像具有的高维光谱特征信息,提出了耦合多尺度超像素空间光谱特征与原始光谱特征的Ms-SSSK分类模型,以Washington DC Mall高光谱图像为实验对象进行高光谱影像分类,并将分类结果与Ms-FSSK,Ss-SSSK和O-SSSK方法进行对比分析,主要结论如下:

1)Ms-SSSK方法得到的测试集分类精度为98.53%,相比于另外3种方法,该方法可以有效提升HSI分类精度,较易区分林地与草地等空间相邻且光谱特征相似的地类,有利于土地监管人员了解更为准确的地物现势信息。

2)多尺度超像素方法的运用,有利于提取更加精细的空间信息,并且能够减少最佳初始超像素个数对分类精度的影响。合成核的运用在注重图像空间关系的同时,合理利用丰富的光谱信息,使提取的特征更加全面。

3)在样本集规模很小的情况下,Ms-SSSK模型依然可以获得高于另外2种方法的分类精度,表明特征提取的全面性和精细程度在分类过程与分类精度有很大的关系。

Ms-SSSK方法能够有效解决图像光谱无法自适应、光谱信息获取不全面的问题,能够显著提升高光谱影像分类精度,对未来精准目标识别、地物准确分类、医学正确检测等具有重要意义。但是,不同地物具有不同的纹理特征,本文未探讨纹理特征在HSI分类中的影响,因此,在后续研究中考虑进一步结合图像纹理特征和空间光谱特征,研究出更高精度的高光谱遥感影像分类方法。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Goetz A F

Three decades of hyperspectral remote sensing of the Earth:A personal view

[J]. Remote Sensing of Environment, 2009, 113(s1):5-16.

[本文引用: 1]

[2]

Uwe

, Andreas

, Udo

Fusion trees for fast and accurate classification of hyperspectral data with ensembles of γ -divergence-based RBF networks

[J]. Neural Computing and Applications, 2015, 26(2):253-262.

DOI:10.1007/s00521-014-1634-9 URL [本文引用: 1]

[3]

胥海威, 杨敏华, 韩瑞梅, 等.

用随机决策树群算法进行高光谱遥感影像分类

[J]. 应用科学学报, 2011, 29(6):598-604.

[本文引用: 1]

Xu H

, Yang M

, Han R

, et al.

Classification of hyperspectral remote sensing images using stochastic decision tree group algorithm

[J]. Journal of Applied Sciences, 2011, 29(6):598-604.

[本文引用: 1]

[4]

Guo Y

, Yin X

, Zhao X

, et al.

Hyperspectral image classification with SVM and guided filter

[J]. Eurasip Journal on Wireless Communications and Networking, 2019(1):1-9.

[本文引用: 1]

[5]

廖建尚, 王立国.

面向空间自相关信息的高光谱图像分类方法

[J]. 农业机械学报, 2018, 49(6):215-224.

[本文引用: 1]

Liao J

, Wang L

Hyperspectral image classification method for spatial autocorrelation information

[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(6):215-224.

[本文引用: 1]

[6]

Kavita

, Vijaya

Evaluation of deep learning CNN model for land use land cover classification and crop identification using hyperspectral remote sensing images

[J]. Journal of the Indian Society of Remote Sensing, 2019, 47(11):1949-1958.

DOI:10.1007/s12524-019-01041-2 [本文引用: 1]

Deep learning convolutional neural network (CNN) is popular as being widely used for classification of unstructured data. Land use land cover (LULC) classification using remote sensing data can be used for crop identification also. Present study aims to examine the use of deep learning CNN for LULC classification on Indian Pines dataset and for crop identification on our study area dataset. In the present work, AVIRIS sensor's Indian Pines standard dataset has been used for LULC classification. Study area from Phulambri, Aurangabad, MH, India, has been used for crop classification. Data have been gathered from EO-1 Hyperion sensor. The accuracy of CNN model depends on optimizer, activation function, filter size, learning rate and batch size. Deep learning CNN is evaluated by changing these parameters. It has been observed that deep learning CNN using optimized combination of parameters has provided 97.58% accuracy for the Indian Pines dataset, while 79.43% accuracy for our study area dataset. The empirical results demonstrate that CNN works well in practice for unstructured data as well as for small size dataset.

[7]

朱瑞飞, 马经宇, 李竺强, 等.

多层感知卷积神经网络的国产多光谱影像分类

[J]. 光学学报, 2020, 40(15):1-21.

[本文引用: 1]

Zhu R

, Ma J

, Li Z

, et al.

Classification of domestic multispectral images based on multilayer perceptual convolutional neural network

[J]. Acta Optica Sinica, 2020, 40(15):1-21.

[本文引用: 1]

[8]

Bera

, Shrivastava

Analysis of various optimizers on deep convolutional neural network model in the application of hyperspectral remote sensing image classification

[J]. International Journal of Remote Sensing, 2020, 41(7):2664-2683.

DOI:10.1080/01431161.2019.1694725 URL [本文引用: 1]

[9]

Mohamad

, Mauro D

, Pierre

Hyperspectral image classification based on mathematical morphology and tensor decomposit-ion

[J]. Mathematical Morphology-Theory and Applications, 2020, 4(1):1-30.

DOI:10.1515/mathm-2020-0001 URL [本文引用: 1]

[10]

Paulina

, Koziol

, Magda

, et al.

Comparison of spectral and spatial denoising techniques in the context of High Definition FT-IR imaging hyperspectral data

[J]. Scientific Reports, 2018, 8(11):1444-1463.

DOI:10.1038/s41598-018-19829-6 URL [本文引用: 1]

[11]

杜培军, 夏俊士, 薛朝辉, 等.

高光谱遥感影像分类研究进展

[J]. 遥感学报, 2020, 20(2):236-256.

[本文引用: 1]

Du P

, Xia J

, Xue Z

, et al.

Review of hyperspectral remote sensing image classification

[J]. Journal of Remote Sensing, 2020, 20(2):236-256.

[本文引用: 1]

[12]

Wang P

, Zhu H

, Chen

Umms:Efficient superpixel segmentation driven by a mixture of spatially constrained uniform distribution

[J]. Ieice Transactions on Information and Systems, 2020, 103(1):181-185.

[本文引用: 1]

[13]

Sanghyun

Crab region extraction method from tidal flat images using superpixels

[J]. Journal of Advanced Information Technology and Convergence, 2019, 9(2):29-39.

DOI:10.14801/JAITC.2019.9.2.29 URL [本文引用: 1]

[14]

Vitaliy

, Grzegorz

Persistence-based resolution-independent meshes of superpixels

[J]. Pattern Recognition Letters, 2020, 131(3):300-306.

DOI:10.1016/j.patrec.2020.01.014 URL [本文引用: 1]

[15]

Tang K

, Su Z

, Jiang

, et al.

Superpixels for large dataset subspace clustering

[J]. Neural Computing and Applications, 2019, 31(12):8727-8736.

DOI:10.1007/s00521-018-3914-2 URL [本文引用: 1]

[16]

Song D

, Tan

, Wang

, et al.

Integration of super-pixel segmentation and deep-learning methods for evaluating earthquake-damaged buildings using single-phase remote sensing imagery

[J]. International Journal of Remote Sensing, 2020, 41(3):1040-1066.

DOI:10.1080/01431161.2019.1655175 URL [本文引用: 1]

[17]

Amin

, Riaz M

, Ghafoor

Automatic image matting of synthetic aperture radar target chips

[J]. Radio Engineering, 2020, 29(1):228-234.

[本文引用: 1]

[18]

Yuan X

, Guo S

, Li C

, et al.

Near infrared star centroid detection by area analysis of multi-scale super pixel saliency fusion map

[J]. Tsinghua Science and Technology, 2019, 24(3):291-300.

DOI:10.1109/TST.5971803 URL [本文引用: 1]

[19]

陈允杰, 马辰阳, 孙乐, 等.

基于边缘修正的高光谱图像超像素空谱核分类方法

[J]. 电子学报, 2019, 47(1):73-81.

[本文引用: 1]

Chen Y

, Ma C

, Sun

Edge-modified superpixel based spectral-spatial kernel method for hyperspectral image classification

[J]. Acta Electronica Sinica, 2019, 47(1):73-81.

[本文引用: 1]

[20]

刘忠林, 吴一全, 邹宇.

多尺度红外超像素图像模型的小目标检测

[J]. 中国图象图形学报, 2019, 24(12):2159-2173.

[本文引用: 1]

Liu Z

, Wu Y

, Zou

Multiscale infrared superpixel-image model for small-target detection

[J]. Journal of Image and Graphics, 2019, 24(12):2159-2173.

[本文引用: 1]

[21]

Kang X

, Duan P

, Li S

Hyperspectral image visualization with edge-preserving filtering and principal component analysis

[J]. Information Fusion, 2020, 57(5):130-143.

DOI:10.1016/j.inffus.2019.12.003 URL [本文引用: 1]

[22]

Shi

, Pun C

Multiscale superpixel-based hyperspectral image classification using recurrent neural networks with stacked autoencoders

[J]. IEEE Transactions on Multimedia, 2020, 22(2):487-501.

DOI:10.1109/TMM.6046 URL [本文引用: 1]

[23]

Sun

, Ma

, Chen

, et al.

Adjacent superpixel-based multiscale spatial-spectral kernel for hyperspectral classification

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2019, 12(6):1909-1919.

[本文引用: 1]

[24]

刘纯, 洪亮, 陈杰, 等.

融合像素—多尺度区域特征的高分辨率遥感影像分类算法

[J]. 遥感学报, 2015, 19(2):228-239.

[本文引用: 1]

Liu

, Hong

, Chen

, et al.

Fusion of pixel-based and multi-scale region-based features for the classification of high-resolution remote sensing image

[J]. Journal of Remote Sensing, 2015, 19(2):228-239.

[本文引用: 1]

[25]

Ramzan

, Abid

, Khan

, et al.

A review on state-of-the-art violence detection techniques

[J]. IEEE Access, 2019, 7(9):107560-107575.

DOI:10.1109/Access.6287639 URL [本文引用: 1]

[26]

Chang C

, Huang H

Automatic tuning of the RBF kernel parameter for batch-mode active learning algorithms:A scalable framework

[J]. IEEE Transactions on Cybernetics, 2019, 49(12):4460-4472.

DOI:10.1109/TCYB.6221036 URL [本文引用: 1]

[27]

尚坤, 李培军, 程涛.

基于合成核支持向量机的高光谱土地覆盖分类

[J]. 北京大学学报:自然科学版, 2011, 47(1):109-114.

[本文引用: 2]

Shang

, Li P

, Cheng

Land cover classification of hyperspectral data using composite kernel support vector machines

[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2011, 47(1):109-114.

[本文引用: 2]

[28]

, Xu J

Ultra-short-term wind speed forecasting based on support vector machine with combined kernel function and similar data

[J]. Eurasip Journal on Wireless Communications and Networking, 2019(1):1-7.

[本文引用: 1]

[29]

Akbari

, Moradizadeh

, Akbari

Spectral-spatial classification of hyperspectral imagery using neural network algorithm and hierarchical segmentation

[J]. The International Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences, 2019, XLII-2(W12):1-5.

DOI:10.5194/isprs-archives-XLII-2-1-2018 URL [本文引用: 1]

Three decades of hyperspectral remote sensing of the Earth:A personal view

2009

... 遥感影像由于其较高的时效性,一直被用作土地利用分类、医学图像处理、目标检测识别等信息采集、更新的主要数据源.高光谱遥感影像不仅包含地物空间信息,还包含丰富的地物光谱信息,在高光谱图像分类研究中,特征提取、数据处理、算法运用等因素会影响最终分类精度.因此,全面考虑图像特征信息、灵活运用算法对于提升高光谱图像分类精度具有非常重要的意义^[1]. ...

Fusion trees for fast and accurate classification of hyperspectral data with ensembles of γ -divergence-based RBF networks

2015

... 目前,用于高光谱图像(hyperspectral image, HSI)分类的算法包括决策树^[2,3]、支持向量机(support vector machines,SVM)^[4,5]、深度学习^[6,7]等,相比于一般遥感影像,HSI数据提供了更加庞大的细微光谱特征^[8,9,10],使得传统的逐像素方法极易受噪声影响,并且在提取图像特征时往往忽略相似特征聚类的重要性,降低了分类精度^[11].超像素分割能够将图像中空间位置相邻且色彩、亮度、纹理等特征相似的像素点划分成小区域,能够将像素级影像抽象为区域级的高维数据^{[12,13,14,15]},是应用较为广泛的图像分割方法^[16,17,18].将超像素分割方法运用到HSI分类或目标检测,可以提取更加有效的样本空间特征,进而提升分类效果或目标检测效率,如陈允杰等^[19]基于超像素方法提升HSI的分类精度; 刘忠林等^[20]基于超像素图像模型,极大地提高了复杂背景下的小目标检测准确率.上述方法表明,基于超像素的改进方法可有效提高目标分类精度,但是将超像素分割应用到HSI分类中仍然存在以下缺陷: ①将图像在单一尺度下进行超像素分割,无法精确判断初始超像素个数,数值过小可能会丢失关键判别信息,初始数值过大会包含过多干扰信息; ②单一尺度的特征提取与单一核的特征分类很难提取较为精细的图像信息.较为合理的方法应在满足减少干扰信息的情况下,尽可能提取更加全面的判别信息. ...

用随机决策树群算法进行高光谱遥感影像分类

2011

用随机决策树群算法进行高光谱遥感影像分类

2011

Hyperspectral image classification with SVM and guided filter

2019

面向空间自相关信息的高光谱图像分类方法

2018

面向空间自相关信息的高光谱图像分类方法

2018

Evaluation of deep learning CNN model for land use land cover classification and crop identification using hyperspectral remote sensing images

2019

多层感知卷积神经网络的国产多光谱影像分类

2020

多层感知卷积神经网络的国产多光谱影像分类

2020

Analysis of various optimizers on deep convolutional neural network model in the application of hyperspectral remote sensing image classification

2020

Hyperspectral image classification based on mathematical morphology and tensor decomposit-ion

2020

Comparison of spectral and spatial denoising techniques in the context of High Definition FT-IR imaging hyperspectral data

2018

高光谱遥感影像分类研究进展

2020

高光谱遥感影像分类研究进展

2020

Umms:Efficient superpixel segmentation driven by a mixture of spatially constrained uniform distribution

2020

Crab region extraction method from tidal flat images using superpixels

2019

Persistence-based resolution-independent meshes of superpixels

2020

Superpixels for large dataset subspace clustering

2019

Integration of super-pixel segmentation and deep-learning methods for evaluating earthquake-damaged buildings using single-phase remote sensing imagery

2020

Automatic image matting of synthetic aperture radar target chips

2020

Near infrared star centroid detection by area analysis of multi-scale super pixel saliency fusion map

2019

基于边缘修正的高光谱图像超像素空谱核分类方法

2019

基于边缘修正的高光谱图像超像素空谱核分类方法

2019

多尺度红外超像素图像模型的小目标检测

2019

多尺度红外超像素图像模型的小目标检测

2019

Hyperspectral image visualization with edge-preserving filtering and principal component analysis

2020

... 一般情况下,用于数据降维的算法有线性判别分析(linear discriminant analysis,LDA)、PCA、局部线性嵌入(locally linear embedding, LLE)等,其中应用较为广泛的降维方法^[21]是PCA,此方法降维步骤如下: ①输入原始HSI数据a×b×n,将原始矩阵处理成m×n(m=a×b)的二维矩阵; ②求出m×n矩阵的均值(μ)与协方差矩阵(C)n×n,计算C的特征值(λ)与特征向量(E); ③将特征值从大到小依次排列,特征值越大则代表此特征越重要,若只提取前p个特征,则选取E中前p个列向量构造模式矩阵E_p; ④将原始图像去中心化后形成矩阵A,最后通过计算[

{E_{p}}^{T}

×A^T]^T形成降维后的矩阵.本研究通过调用MATLAB软件中的PCA函数进行数据降维获得第一个主成分分量且贡献率为81.7%. ...

Multiscale superpixel-based hyperspectral image classification using recurrent neural networks with stacked autoencoders

2020

... 目前,用于超像素分割的常用算法有ERS、基于梯度下降法的超像素分割算法(simple linear iterative clustering,SLIC)、基于图论的超像素分割算法(Graph-based)等,本文基于ERS^[22]对提取的主成分分量进行多尺度超像素分割处理.该方法通过定义目标函数计算每个像素顶点与其邻像素间边的函数值,函数值越大代表2个像素相似性越高、属于同一类别的可能性越大,将函数值最大的边删除,使2个像素同属一个超像素,依次计算所有像素顶点直至超像素个数等于设定超像素数值.通过ERS算法分割图像能够最大程度地保留图像边缘信息生成较优的超像素图像,并且在多个尺度下对图像分别进行超像素分割处理,能够使某一尺度中较难获取到的特性在某个尺度中轻松提取.每个尺度的数值需满足M=

{2^{L}}^{-1}^{}^{}

^[23],其中L为尺度个数,超像素数量N=M×q,q为初始超像素个数,根据现有研究^[24],本文选择4个尺度进行图像分割处理,并且q设置为400,各个尺度下的超像素分割图像如图2所示. ...

Adjacent superpixel-based multiscale spatial-spectral kernel for hyperspectral classification

2019

{2^{L}}^{-1}^{}^{}

融合像素—多尺度区域特征的高分辨率遥感影像分类算法

2015

{2^{L}}^{-1}^{}^{}

融合像素—多尺度区域特征的高分辨率遥感影像分类算法

2015

{2^{L}}^{-1}^{}^{}

A review on state-of-the-art violence detection techniques

2019

... SVM是较为常用且能有效解决分类问题的机器学习算法,针对维度较高、样本较少等问题表现出良好的分类效果,最常见的是线性分类问题,对待线性不可分问题,需要通过核函数完成低维空间至高维空间的映射,随后进行分类研究^[25],核函数定义为: ...

Automatic tuning of the RBF kernel parameter for batch-mode active learning algorithms:A scalable framework

2019

... 式中: φ为映射; x,y为空间内任意点.常用的核函数有sigmoid核函数、高斯(RBF)核函数与线性核函数等,针对大、小样本,RBF核函数能够产生很好的性能,且涉及参数相对较少^[26],因此本文选择RBF核函数进行研究,其表达式为: ...

基于合成核支持向量机的高光谱土地覆盖分类

2011

... 式中μ为权重值.新构造的核函数K(X_i,X_j)由K₁和K₂进行组合,并且K₁和K₂可以应用于不同来源、时相的高光谱遥感影像数据^[27,28],本研究通过式(3)将不同尺度下的空间光谱特征进行结合形成新的空间光谱核,通过式(5)以赋予权重值的形式将空间光谱核与原始光谱核结合形成合成核进行分类. ...

... ϑ为空间光谱核权重系数,(1-ϑ)为原始光谱核权重系数,Ms-SSSK方法中的合成核形成时,参数ϑ的选取对分类精度会产生一定的影响^[27],因此Ms-SSSK方法在区间[0,1]内以0.1为增幅进行权值的搜索,在每个ϑ值下运行5次实验程序并计算平均分类精度,找出获得最高平均分类精度的最佳ϑ值.针对测试集,不同权值ϑ下的分类精度如图6所示. ...

基于合成核支持向量机的高光谱土地覆盖分类

2011

Ultra-short-term wind speed forecasting based on support vector machine with combined kernel function and similar data

2019

Spectral-spatial classification of hyperspectral imagery using neural network algorithm and hierarchical segmentation

2019

... 从表2中可以看出,Ms-SSSK的分类精度最高,达到98.53%,O-SSSK的分类精度最低,为91.60%.相比于O-SSSK,Ss-SSSK的分类精度提升3.73个百分点; 相比于Ms-FSSK,Ss-SSSK和O-SSSK这3种方法,Ms-SSSK的分类精度分别提高2.04,3.20和6.93个百分点.相比于现有深度学习方法^[29],针对该数据集Ms-SSSK方法的分类精度提升了6.97个百分点.表2中的4种高光谱影像分类方法,采用Ms-SSSK得到的阴影、公路、草地的分类精度提升幅度较大,其中,阴影从O-SSSK的87.73%、Ss-SSSK的96.60%和Ms-FSSK的96.98%提升到Ms-SSSK的98.16%; 草地的分类精度从O-SSSK的89.16%、Ss-SSSK的92.12%和Ms-FSSK的95.25%提升到Ms-SSSK方法的97.35%; 公路的分类精度从O-SSSK的87.55%、Ss-SSSK的92.68%和Ms-FSSK的94.36%提升到Ms-SSSK方法的98.32%.4种模型的测试集分类结果如图7所示.由图7可以看出,数据集中阴影所占面积小且布局分散,当住宅面积较大时,极易将住宅与阴影分为一类; 研究区中的林地与草地在空间格局上不够聚集且散布整个区域,并且二者具有较为相似的光谱特征,因此草地与林地在分类时易产生混淆; 公路在整个区域中所占面积较大,并且与草地、林地,住宅等像元毗邻,因此分类时易被误划入上述地类. ...

〈

〉