融合超像素和多属性形态学轮廓方法的高光谱图像分类
Hyperspectral image classification based on superpixel segmentation and extended multi-attribute profiles
通讯作者: 纪元法(1975-),男,博士,教授,研究方向为卫星导航与接收机。Email:jiyuanfa@163.com。
责任编辑: 张仙
收稿日期: 2022-07-27 修回日期: 2022-10-4
基金资助: |
|
Received: 2022-07-27 Revised: 2022-10-4
作者简介 About authors
李雷(1998-),男,硕士研究生,研究方向为高光谱遥感图像处理。Email:
基于超像素分割的图像处理方法近年来被广泛应用于高光谱遥感图像(hyperspectral image,HSI)分类过程中,但是其单一尺度下无法充分提取HSI的丰富信息,且分类过程受参数依赖严重。因此针对基于超像素分割的HSI分类技术利用空间信息不足的问题,提出一种超像素分割方法和扩展多属性轮廓(extended multi-attribute profile,EMAP)方法相结合的HSI图像分类方法。该方法首先采用超像素分割方法提取超像素级特征,同时利用EMAP方法提取像素级HSI特征,融合2种特征后的图像具有完整的HSI结构特性,考虑到融合之后的信息冗余,采用递归滤波的方法进行光谱学滤波,最后将特征输入到支持向量机(support vector machine,SVM)分类器中,确定像素的标签。在Indian Pines和University of Pavia 这2个数据集上实验,分析了参数的变化对分类精度的影响,并与其他同类算法相比较,分类精度和Kappa系数较S3-PCA方法分别提高了3.55百分点和2.88百分点。
关键词:
Superpixel segmentation-based image processing has been extensively used for the classification of hyperspectral images (HSI) in recent years. However, it fails to fully extract the HSI information at a single scale, and its classification process highly depends on parameters. Given the insufficient spatial information utilization by the superpixel segmentation-based HSI classification technology, this study proposed an HSI classification method that combines the superpixel segmentation method and the extended multi-attribute profile (EMAP) method. First, the superpixel segmentation and EMAP methods were employed to extract superpixel-level and pixel-level HSI features, respectively. By fusing the two types of features, the resulting images displayed complete HSI structural characteristics. To eliminate information redundancy, the fused images were subjected to spectral filtering through the recursive filtering method. Finally, the features were input to the support vector machine (SVM) for pixel tag determination. Experiments on the Indian Pines and University of Pavia datasets analyzed the effects of parameter variations on classification accuracy. Compared with the S3-PCA algorithm, the method proposed in this study exhibited superior classification accuracy and Kappa coefficient, which were improved by 3.55 and 2.88 percentage points, respectively.
Keywords:
本文引用格式
李雷, 孙希延, 纪元法, 付文涛.
LI Lei, SUN Xiyan, JI Yuanfa, FU Wentao.
0 引言
由于HSI的丰富的光谱特性,在以往的分类方法中,产生了众多光谱信息的特征提取和分类方法,基于光谱信息的稀疏表示方法[8],寻找最优超平面的支持向量机(support vector machine,SVM)分类后处理方法[9],此外,空间信息同样不可忽视,在发现仅使用光谱信息的分类效率有限时,针对空间特征提取的HSI分类方法也被提出,例如利用扩展多属性轮廓(extended multi-attribute profile,EMAP)方法提取空间纹理信息[10-11]。Liao等[12]利用双边滤波提取HSI中的空间信息; Feng等[13]叠加了从原始图像中提取的EMAP和Gabor空间信息,构建HSI单个场景的多视图数据集。
一般来说,上述所提方法皆是从像素级层面对HSI进行信息提取,即直接对HSI进行纹理、光谱等特征提取,除此之外,HSI的另外一种表征方式是超像素分割,其考虑到了空间邻域弱假设,从超像素级层面对HSI进行表征,提高了对HSI的辨识度。Ren等[14]利用超像素改进了异常检测算法RX的自适应内窗; Sellars等[15]采用超像素生成收缩加权图表示,加速了HSI的图形分类器; Jiang等[16]通过多尺度超像素方法与传统的主成分分析(principal component analysis,PCA)方法相结合来学习HSI固有的低维特征,提出了SuperPCA方法; Zhang等[17]改进了SuperPCA方法,将全局PCA方法结合了局部PCA,重建降维HSI; Beirami等[18]采用波段分组技术改进了SuperPCA方法,总体精度比传统SuperPCA提高了8百分点; Jia等[19]建立了超像素之间的相似度矩阵,在超像素特征层面传播样本标签。
但是上述方法均建立在超像素分割方法能够完全提取信息的基础上,其他处理方案诸如波段分组、线性判别分析(linear discriminant analysis,LDA)、PCA等只是辅助,因此分类的结果极度依赖分割方法的参数设置。本文受SuperPCA方法的启发,从超像素方面来表示HSI,然而,并没有一种最佳的方式能够完整无缺地利用HSI的丰富信息,同样地,也没有任何单独的一种表达方式能够完整地表达HSI,性能较好的超像素分割方法也是比较依赖参数设置,需要进行多次重复实验才能取得令人满意的效果。因此,本文介绍了一种HSI分类方法,重点在于解决超像素分割方法依赖参数严重以及单一方法提取信息不充分的问题。该方法建立在超像素分割方法基础上,分别从超像素级和像素级层面提取HSI特征并相结合。采用熵率超像素分割方法(entropy rate superpixel segmentation,ERS)将HSI分割为一个个单独的区域,然后对每一个同质区域进行PCA分析,并重新组合,提取了HSI的低维固有的局部特征; 采用EMAP方法提取纹理特征,之后将2种信息进行融合,并采用递归滤波(recursive filtering,RF)方法去除信息融合后的冗余,最后进行分类。该方法将提高分类精度,减少对超像素数目设置的依赖性,提高单一方法对HSI的信息提取程度。
1 理论模型
本文提出的分类框架如图1所示,主要包括4个主要部分: ①超像素级特征生成; ②生成EMAP特征; ③分别融合这些特征并采用RF方法滤波; ④进行SVM分类,确定最后的分类标签。
图1
1.1 超像素级特征生成
超像素分割方法基于相邻像素具有相似结构的假设,将整个图像精细划分为多个彼此不重叠的同质子区域,小尺度分割的超像素在强度上和纹理特征上都具有较高的一致性,由于其简单、高效和鲁棒性,被广泛应用于图像处理的预处理过程。由于原始的HSI波段众多,因此分割之前需要对HSI进行PCA处理,获得贡献率最大的第一主成分If,然后使用ERS对图像的第一主成分进行分割[11],描述为:
式中
图2
相对于全局意义上的PCA分析,针对每一个同质区域进行PCA固然是增加了计算量,但由于PCA的高效性,两者的计算量差距可以忽略不计。而带来的好处是可以显著提高第一特征向量方向的偏心率,即有效在低维空间中保存基本数据信息,经过重组后的图像
1.2 像素级特征生成及融合
像素级特征的提取采用EMAP方法,作为传统形态学剖面纹理特征提取方法的改进,EMAP级联了多种属性原则的形态学滤波器[20],其做法是首先对HSI进行PCA分析,然后根据面积、标准差、形状等准则,分别生成不同的属性文件(attribute profile,AP),然后级联起来形成扩展属性文件(extended attribute profile,EAP),公式为:
式中:
式中EA
图3
EMAP方法的像素级特征提取采用阈值参数计算,该参数相当于单个特征的平均值为2.5%~10%,标准偏差为2.5%,面积属性为200和500的阈值,由于EMAP特征生成要增加众多的维度,因此本文基于HSI的前3个主成分分量生成EMAP特征
1.3 融合特征及分类
EMAP方法集中考虑了图像的全局特征,基于超像素级的分割方法生成的特征Hsp是基于局部的PCA来学习固有的低维特征,这2种特征形成了信息互补,重要的是,EMAP特征弥补了分割方法提取边缘信息的不足的缺陷。因此采用一种简单的融合方法,将2种特征沿着光谱维度叠加起来,计算公式为:
在分类之前,由于融合了多个特征,新特征的维度会变大,因此需要对新的特征再次进行PCA分析,提取HSI的光谱-空间特征,方法是对融合后的图像进行域变换RF, 获得特征图像,公式为:
式中: RF为域变换递归滤波操作;
最后,采用SVM分类器来获得最后的分类标签图label,其中,分类器的核函数选用高斯核函数(radial basis function,RBF)。
2 实验及分析
为了验证所提方法的可行性和有效性,本文选择2个数据集作为试验场景,同时以SVM,PCA,LDA,SuperPCA[16], S3-PCA[17],BG-SuperPCA[18] 几种方法作为对照试验,均在一台2.5 GHz CPU和12 GB 内存的笔记本电脑上使用MATLAB进行实验,同时为了评估总体分类性能,使用3种常用的分类指标,即总体精度(overall accuracy,OA)、平均精度(average accuracy,AA)和Kappa系数。OA是正确分类的像素的比例,AA是每个类别中正确分类的特征的比例,Kappa系数则基于混淆矩阵,综合了OA和AA这2种精度指标,取值越靠近1,表明其分类效果越好,其中,Kappa系数是图像分类精度的最有价值的评价指标[21]。
2.1 实验数据集
实验选择2个经典的高光谱数据集: Indian Pines数据集和University of Pavia数据集[22]。
图4
图5
2.2 数据集实验
对于2个数据集,随机从样本总含量中选择10%标记样本作为训练样本,剩余的作为测试样本。RF的参数分别为
2.2.1 Indian Pines 数据集测试
图6
表1中给出了6种对照算法分别在3种分类精度评价指标上的数据对比,其中,PCA和LDA方法仅仅提取了光谱信息,因此在分类精度有限,S3-PCA由于是在SuperPCA方法的基础上提取了全局特征,因此精度有所提升。BG-superPCA方法是在superPCA基础上将初始图像的波段进行分组,原因是考虑到相邻波段之间拥有相似的信息,聚合波段在一定程度上减少了冗余小噪声的干扰,但其精度依赖超像素数目,随机超像素数目下表现略差。本文提出的方法在增加了纹理特征的同时,采用RF方法去除了细小的噪声,因此在3个精度评价指标上较其他算法均有明显提升。其中,Kappa系数较最高的S3-PCA方法提高了3.55百分点,AA提高了2.24百分点。
表1 Indian Pines 数据集分类精度对比
Tab.1
指标 | SVM | PCA | LDA | BG-SuperPCA | S3-PCA | SuperPCA | 本文算法 |
---|---|---|---|---|---|---|---|
OA | 85.23 | 83.52 | 84.74 | 87.35 | 94.62 | 93.56 | 98.26 |
AA | 83.51 | 84.69 | 82.34 | 88.10 | 95.39 | 94.37 | 97.63 |
Kappa系数 | 83.62 | 82.69 | 83.08 | 87.96 | 95.10 | 94.50 | 98.65 |
2.2.2 University of Pavia数据集测试
图7
图7
University of Pavia数据集分类结果
Fig.7
Classification results of data set of University of Pavia
表2 University of Pavia 数据集分类精度对比
Tab.2
指标 | SVM | PCA | LDA | BG-SuperPCA | S3-PCA | SuperPCA | 本文算法 |
---|---|---|---|---|---|---|---|
OA | 86.39 | 84.45 | 86.75 | 89.35 | 96.34 | 95.20 | 97.68 |
AA | 85.78 | 86.12 | 86.10 | 88.36 | 95.56 | 94.85 | 98.45 |
Kappa系数 | 84.23 | 84.55 | 85.19 | 88.67 | 95.78 | 94.03 | 98.66 |
2.3 参数变化对比
本节实验测试不同训练集比例对3种分类精度的影响,测试分别在2个数据集上进行,数据集比例分别设置从5%~40%,间隔5百分点,测试3个分类精度的变化。图8为在2个数据集中,3种分类精度随训练集比例增加的变化图。当训练集比例均从1%逐渐增加至40%时,3种分类精度均在提高,验证了本文方法的有效性。
图8
图9为在2个数据集中,以10%训练集,进行测试Kappa系数随超像素的数目变化,可以看出,超像素数目的增加会对Kappa系数造成一定的影响,即有轻微的下降趋势,但总体来看,在超像素数目很高时,2个数据集中的Kappa系数依然有令人满意的表现,这是因为EMAP方法弥补了由于超像素过高导致图像过分解时的缺陷,说明了本文算法能够很好地减少对超像素参数的依赖性。
图9
2.4 消融实验分析
为了全方位验证本文方法的有效性,在本节中,分别在Indian Pines数据集中将EMAP特征、光谱学RF、超像素特征这3种步骤去除,将训练集逐渐增加至40%,观察Kappa精度的变化,来测试每一个步骤的必要性。
图10可以看出,当去掉超像素特征时获得的Kappa精度最低,精度较完整方法下降了约10百分点,可见对高光谱图像进行局部特征提取的必要性。不叠加EMAP特征时获得较高的精度,去掉RF步骤的效果次之。但是均未达到完整方法的效果,验证了叠加EMAP特征为提取纹理特征时起到了积极的效果。综合来看,去掉任何一个步骤时,都不能达到完整算法所达到的效果,本文提出算法的每一个步骤均对特征提取过程起到了积极作用,每一个步骤都缺一不可。
图10
图10
Indian Pines数据集消融试验分析
Fig.10
Ablation test analysis in Indian Pines data set
3 结论
本文提出了一种基于像素和超像素互补信息自适应融合的HSI分类框架。基于超像素的降维方法,采用分而治之的策略,提取了HSI固有的低维特征; 使用EMAP方法从像素级层面提取特征,达到像素级和超像素级信息的互补; 同时使用了RF方法去除融合信息的冗余; 最后采用SVM方法确定最后的分类标签。
在2个公开的高光谱数据集上进行了实验验证,与现有的几种分类方法相比,该分类方法在3种分类精度上均有明显的优势。更重要的是,该方法可以分别从像素级和超像素级层面提取特征,充分提取HSI的内部信息,在保留局部特征的同时联系全局特征。减少了在基于超像素分割方法中对分割参数的依赖性。
在今后的研究工作中,笔者将着眼于更适合超像素级特征和像素级特征的融合方法,从而更好地适应实际应用。
参考文献
Advances in hyperspectral image classification:Earth monitoring with statistical learning methods
[J].
Cross-domain distance metric learning framework with limited target samples for scene classification of aerial images
[J].DOI:10.1109/TGRS.36 URL [本文引用: 1]
A hybrid sparsity and distance-based discrimination detector for hyperspectral images
[J].DOI:10.1109/TGRS.2017.2767068 URL [本文引用: 1]
A novel hyperspectral anomaly detection algorithm for real-time applications with push-broom sensors
[J].
DOI:10.1109/JSTARS.2019.2919911
[本文引用: 1]
Most practical hyperspectral anomaly detection (AD) applications require real-time processing for detecting complex targets from their background. This is especially critical in defense and surveillance domains, but also in many other scenarios, in which a rapid response is mandatory to save human lives. Dealing with such a high dimensionality of data requires the conception of new algorithms to ease the demanding computing performance. Push-broom scanning represents the mainstream in hyperspectral imaging, introducing added complexity to the equation as there is no information of future pixels. In this paper, a novel technique named line-by-line anomaly detection (LbL-AD) algorithm, is presented as a way of performing real-time processing with a push-broom sensor. The sensor has been mounted on an unmanned aerial vehicle, and the acquired images, together with others from the scientific literature and synthetic ones, have been used to extensively validate the proposed algorithm in terms of accuracy, based on different metrics and processing time. Comparisons with state-of-the-art algorithms were accomplished in order to evaluate the goodness of the LbL-AD, giving as a result an outstanding performance.
Hypersectral imaging for military and security applications:Combining myriad processing and sensing techniques
[J].DOI:10.1109/MGRS.2019.2902525 [本文引用: 1]
Land-cover classification with high-resolution remote sensing images using transferable deep models
[J/OL].
Close-range,ground-based hyperspectral imaging for mining applications at various scales:Review and case studies
[J].DOI:10.1016/j.earscirev.2019.102952 URL [本文引用: 1]
Hyperspectral image classification by fusing collaborative and sparse representations
[J].DOI:10.1109/JSTARS.4609443 URL [本文引用: 1]
Spectral-spatial hyperspectral image classification with edge-preserving filtering
[J].DOI:10.1109/TGRS.2013.2264508 URL [本文引用: 1]
Tensor morphological profile for hyperspectral image classification
[C]//
多尺度超像素分割和奇异谱分析的高光谱影像分类
[J].
Combining multiscale superpixel segmentation and singular spectral analysis for hyperspectral image classification
[J].
Hyperspectral image classification based on bilateral filter with linear spatial correlation information
[J].DOI:10.1080/01431161.2019.1597301 URL [本文引用: 1]
A multiview spectral-spatial feature extraction and fusion framework for hyperspectral image classification
[J].
A superpixel-based dual window RX for hyperspectral anomaly detection
[J].DOI:10.1109/LGRS.8859 URL [本文引用: 1]
Superpixel contracted graph-based learning for hyperspectral image classification
[J].DOI:10.1109/TGRS.36 URL [本文引用: 1]
SuperPCA:A superpixelwise PCA approach for unsupervised feature extraction of hyperspectral imagery
[J].DOI:10.1109/TGRS.2018.2828029 URL [本文引用: 3]
Spectral-spatial and superpixelwise PCA for unsupervised feature extraction of hyperspectral imagery
[J].
Band grouping SuperPCA for feature extraction and extended morphological profile production from hyperspectral images
[J].DOI:10.1109/LGRS.8859 URL [本文引用: 2]
Superpixel-level weighted label propagation for hyperspectral image classification
[J].DOI:10.1109/TGRS.36 URL [本文引用: 1]
利用多属性剖面与双边滤波的高光谱影像分类
[J].
Hyperspectral image classification using extended multi-attribute profiles and guide bilateral filter
[J].
基于深度卷积神经网络的高光谱遥感图像分类
[J].
Hyperspectral remote sensing images classification using a deep convolutional neural network model
[J].
/
〈 |
|
〉 |
