基于3D-CAE的高光谱解混及小样本分类方法

doi:10.6046/zrzyyg.2023260

基于3D-CAE的高光谱解混及小样本分类方法

黄川^,¹, 李雅琴¹, 祁越然², 魏晓燕³, 邵远征^,⁴

1.武汉轻工大学数学与计算机学院,武汉 430023

2.安徽师范大学地理与旅游学院,芜湖 241001

3.云南省测绘资料档案馆(云南省基础地理信息中心),昆明 650034

4.武汉大学地球空间信息技术协同创新中心,武汉 430079

A hyperspectral unmixing and few-shot classification method based on 3DCAE network

HUANG Chuan^,¹, LI Yaqin¹, QI Yueran², WEI Xiaoyan³, SHAO Yuanzheng^,⁴

1. School of Mathematics and Computer Science, Wuhan Polytechnic University,Wuhan 430023,China

2. School of Geography and Tourism, Anhui Normal University,Wuhu 241001, China

3. Yunnan Provincial Archives of Surveying and Mapping (Yunnan Provincial Geomatics Centre), Kunming 650034, China

4. Collaborative Innovation Center of Geospatial Technology, Wuhan University, Wuhan 430079, China

通讯作者: 邵远征(1983-),男,博士,副研究员,主要从事地理信息研究研究与遥感行业化应用研究。Email:yshao@whu.edu.cn。

责任编辑: 张仙

收稿日期: 2023-08-28 修回日期: 2024-09-1

基金资助:

国家自然科学基金项目“孟中缅印经济走廊公路网时空风险评估与归因”(42061074)
与“基于深度学习的高光谱图像红肉品质检测理论与技术”(61906140)

Received: 2023-08-28 Revised: 2024-09-1

作者简介 About authors

黄川(1973-),男,博士,副教授,主要从事基于深度学习的遥感数据处理与地理信息系统研究。Email: stephensky123@163.com。

摘要

我国高光谱遥感技术的快速发展为开展大区域地物分类应用提供了充分保障。然而,如何在小样本下充分利用高光谱自身的空谱信息实现高精度的分类成为挑战。该文通过构建3D卷积自编码网络,以混合像元分解物理约束对模型进行引导,从而实现在准确估计端元丰度的同时获得对规则化的高光谱空谱特征的有效表达,结合支持向量机分类器实现在小样本条件下的高光谱分类。实验中,采用包括监督分类方法在内的多种传统高光谱图谱特征提取及分类方法进行对比验证,并对比了不同模型在不同采样率下的分类性能表现。实验结果表明,所提出的高光谱分类方法具有明显的精度优势,其中平均交并比(mean intersection over union,mIoU)达到0.829,相对于传统分类方法精度有明显提升; 在1/200采样率下mIoU值依然能接近0.8,优于同类方法,证实了该文方法在小样本条件下依然具有较好的鲁棒性,为解决小样本下高光谱分类问题提供了技术参考。

关键词： 深度学习; 高光谱影像; 分类; 卷积神经网络; 解混

Abstract

The rapid development of hyperspectral remote sensing technology in China fully ensures the effective application of large-scale surface feature classification. However, achieving high-precision classification under few-spot conditions while fully leveraging hyperspectral spatial-spectral information remains challenging. This study developed a 3D convolutional autoencoder (3D-CAE) network guided by physical constraints from mixed pixel decomposition. This approach enables accurate estimation of endmember abundance while effectively expressing regularized spatial-spectral features of hyperspectral data. In combination with a support vector machine (SVM) classifier, the method achieves hyperspectral classification under few-spot conditions. The classification performance of various models was evaluated at different sampling rates. To validate the proposed method, this study conducted experiments including comparisons with traditional hyperspectral feature extraction and classification methods, such as supervised classification approaches. The classification performance of various models was also evaluated at different sampling rates. The experimental results demonstrate that the proposed hyperspectral classification method has a significant advantage of accuracy, achieving a mean intersection over union (mIoU) of 0.829, which was close to 0.8 even at a low sampling rate of 1/200, surpassing its counterparts. These results confirm that the proposed method exhibits robustness under few-spot conditions. This study provides a valuable technical reference for addressing hyperspectral classification challenges under few-spot conditions.

Keywords： deep learning; hyperspectral imagery; classification; convolutional neural network; unmixing

PDF (3738KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

黄川, 李雅琴, 祁越然, 魏晓燕, 邵远征. 基于3D-CAE的高光谱解混及小样本分类方法[J]. 自然资源遥感, 2025, 37(1): 8-14 doi:10.6046/zrzyyg.2023260

HUANG Chuan, LI Yaqin, QI Yueran, WEI Xiaoyan, SHAO Yuanzheng. A hyperspectral unmixing and few-shot classification method based on 3DCAE network[J]. Remote Sensing for Land & Resources, 2025, 37(1): 8-14 doi:10.6046/zrzyyg.2023260

0 引言

高光谱技术被认为是21世纪遥感领域最热门的研究方向之一,在对地观测中发挥着重要的作用。高光谱图像 (hyperspectral imaging, HSI)具有“图谱合一”的特点,其通常具有数百个波段,且蕴含着大量信息,在定量遥感应用中具有独特的优势^[1],常被应用于地物分类、环境监测、地质填图等领域^[2]。得益于国产高光谱卫星事业的蓬勃发展,目前我国已成功发射多颗高光谱卫星,如GF-5^[3], GF5-02, ZY1-02D^[4]等,为开展广域的高光谱遥感应用提供了数据保障。然而,高光谱维数灾难及由此引发的小样本分类问题依然是阻碍高光谱数据进一步推广应用所面临的挑战。

在过去的几十年间,学者们提出众多高光谱地物分类的方法,大体上可以概括为图像增强方法、光谱特征分析方法和机器学习方法。图像增强方法,如最小噪声分离变换(minimum noise fraction rotation, MNF)^[5-6]、主成分分析(principal component analysis, PCA)^[7]等,旨在通过降维保留有效信息,实现对不同类别地物类图像的增强显示。光谱特征分析方法通常具有明确的物理意义,可以进一步细分为光谱特征提取方法和光谱匹配方法。前者基于对地物的光谱特征的分析,并人为地设定识别规则以实现分类的目的,如植被光谱指数; 后者则是通过比较目标光谱与参考光谱的一致性来进行分类,如光谱角匹配(spectral angel match, SAM)^[8]和光谱信息散度(spectral information divergence, SID)^[9]。传统机器学习方法如随机森林、支持向量机(support vector machine, SVM) ^[10]等的应用虽然在一定程度上解决了特征提取的难题,但依然没有充分利用高光谱数据的空谱联合特征。近年来,随着深度学习技术在遥感应用领域不断取得突破,依靠卷积神经网络(convolutional neural network,CNN)强大的学习能力,深度学习模型在监督分类场景下的高光谱分类应用中取得非常有竞争力的结果^[11-12],然而人工标记样本成本高昂,而且小样本场景下监督分类方式更容易导致过拟合。

已有研究发现,解决少样本高光谱分类问题的核心是获取高光谱信息的有效表征^[13],并且采用无监督或半监督的方式可以降低模型对于样本的依赖,从而提升模型的鲁棒性。最新进展表明,混合像元分解理论可以指导网络学习到更有效的和规则化的表征特征,其生成的端元丰度可以为半监督分类提供有用的空间-光谱联合特征^[14]。这也为解决小样本分类问题提供了新的思路。通常,高光谱混合像元分解可以概括为2类: 线性混合模型和非线性混合模型^[15-16],线性混合模型的原理和计算过程简单,但未充分考虑到多重散射函数和物体之间的相互作用,这使得它不适合解决复杂场景中的混合像元分解问题^[17]。传统神经网络算法也常被用来解决非线性解混的问题^[18-19],部分研究中将非线性视为线性目标函数的非线性变换,从而实现模型的简化以及鲁棒性的提升^[20-21]。近几年,基于卷积自编码网络(convolutional auto-encoders, CAE)进行光谱分解应用的研究取得新进展^[22⇓-24],去噪自编码器^[25]、稀疏自编码器^[26]以及堆叠自编码器^[27-28]等被引入到高光谱解混应用中来估计端元的丰度。诸多研究证实通过CNN可以模拟传统非线性混合像元分解过程来生成端元丰度图,从而获得有效的高光谱表征特征,相对于传统方法如全约束最小二乘法(fully constrained least squares, FCLS)^[29]更准确高效。

为了克服HSI监督分类所面临的样本依赖性强、模型鲁棒性差等问题,本文在前人研究的启发下,提出一种轻量化的半监督高光谱分类方法。该方法利用混合像元分解约束条件对自编码网络的隐层特征进行引导,以实现在高光谱解混的同时获得对规则化的空谱特征的有效表达。此外,本文还引入多种高光谱分类方法进行对比实验,以便进一步说明本文提出的方法在空谱特征提取和小样本下高光谱分类方面的优势。

1 数据及方法

1.1 高光谱数据

Urban数据集是高光谱研究中使用最广泛的高光谱数据集之一,常被用于高光谱解混和分类应用研究。图像大小为307像元×307像元,拥有210个波段,光谱范围从400 nm到2 500 nm,如图1所示。除去48个异常波段,其余162个波段被用于高光谱解混实验。该数据集中即包含地物端元光谱也包括各端元的丰度数据,其中6个端元地物分别是沥青、草地、树木、屋顶、金属和土壤。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 高光谱图像及端元光谱

Fig.1 Hyperspectral image and endmember spectra

1.2 基于3D-CAE的高光谱解混

线性混合模型通常假设反射光谱由不同的端元线性混合,其公式可以表示为:

(1)

M = E A + N

，

式中: M为混合像元; E为端元; A为丰度; N为附加向量。但考虑到多重散射函数和物体之间的相互作用,非线性模型更适合解决复杂场景下的高光谱解混问题。非线性模型定义为:

(2)

M = g (E A) + N

，

式中g为非线性函数。

自动编码器是无监督的训练网络,旨在强制所学习的表征表现出有用的特性。在自学习过程中,输入数据被压缩,在此过程中数据的结构和分布规律能够被模型学习和利用。被降维后的隐层空谱特征可以看作是端元光谱矩阵与端元丰度矩阵的乘积,而解码器的作用是利用隐层空谱特征实现对原始高光谱数据的重构。基于以上认识,当自编码器中给定端元光谱即可通过数据重建过程来实现对端元丰度的估计。此外,CNN的堆叠卷积层和激活层可以解释为线性函数的非线性变换。

由于光谱维度对于高光谱数据是冗余的,因此,本文采用3D卷积来完成对有效特征的提取。用于实现高光谱解混的3D-CAE特点在于卷积单元采用了3D卷积结构,其表达式为:

(3)

v_{l f}^{x y z} = σ (\sum_{m}^{} \sum_{h = 0}^{H_{k} - 1} \sum_{w = 0}^{W_{k} - 1} \sum_{d = 0}^{C_{k} - 1} w_{l f m}^{h w d} v_{(l - 1) m}^{(x + h) (y + w) (z + d)}) + b_{l f}

，

式中: $v_{l f}^{x y z}$ 为第 $l$ 层第 $f$ 个三维卷积层输出的特征映射在( $x, y, z$ )处的值; $m$ 为上层传入的特征映射个数; $H_{k}$ , $W_{k}$ , $C_{k}$ 分别为卷积的行、列及通道大小; k为卷积核; $w_{l f m}^{h w d}$ 为第 $f$ 个特征层的三维卷积核在( $h, w, d$ )处的权重值; $b$ 为偏置项; $σ$ 为激活函数。

原始HSI数据经由编码器进行通道维降维处理,被降维后的特征再经由解码器被重建得到与原始高光谱数据相同的维度。模型经过多轮次的训练后,被降维后的隐层空谱特征将包含可表达原始高光谱数据的绝大部分信息,然而这些隐层空谱特征往往具有随机性,直接将其作为空谱特征用于分类往往会增加模型不确定性。与常规的自编码网络不同的是,本文提出的3D-CAE将混合像元分解的约束条件嵌入到隐层空谱特征中,使其数据结构具有规则化特征,其表现形式既是给定端元光谱的条件下模型估计的端元丰度,也是对于高光谱分类有着重要作用的空谱特征。

3D-CAE的结构采用一种轻量化的设计,主要由编码器和解码器2部分构成(图2),其中编码器由4个3D卷积层组成,解码器部分由多个全连接层组成,各特征层详细信息见表1。为了确保输出特征满足高光谱解混的“非负”及“和为1”约束条件^[30-31],解码器中Dense-2层需加入Softmax激活函数。需要说明的是,模型采用轻量化的设计而未使用结构复杂的编码器,原因有以下2个方面: 一是为了保持模型的低参数和高效率; 二是强调该模型的性能增量主要来源于将物理约束引入自编码网络,虽然通过提升模型复杂度也能带来性能提升,但这并不是本文讨论的焦点。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 基于3D-CAE的高光谱分类流程

Fig.2 The hyperspectral classification workflow based on 3D-CAE

表1 网络组成及相关参数设置

Tab.1 Network composition and related parameter settings

特征层	卷积核大小	卷积核数量/个	激活函数	特征尺寸
Conv3D-1	(1, 1, 7)	32	ReLU	(1, 1, 155, 32)
Conv3D-2	(1, 1, 7)	16	ReLU	(1, 1, 148, 16)
Conv3D-3	(1, 1, 7)	8	ReLU	(1, 1, 141, 8)
Conv3D-4	(1, 1, 7)	2	ReLU	(1, 1, 134, 2)
Flatten	—	—	—	134×2
Dense-1	—	32	ReLU	32
Dense-2	—	6	Softmax	6
Dense-3	—	162	ReLU	162

新窗口打开| 下载CSV

1.3 半监督高光谱分类模型

端元丰度数据作为带有先验知识的空谱特征,可结合分类器实现小样本条件下的地物分类应用。本文选择经典的机器学习算法SVM作为分类器,原因是其可以自动寻找对分类有较大区分能力的最优分离超平面,可以缩小同类间隔的同时扩大不同类的差异化,被公认为是一种分类精度高、泛化能力强,且更适用于小样本分类的模型^[32]。

2 实验结果

2.1 实验设置

本文所采用的方法需要以地物端元作为输入,计算获得端元丰度后用于后续分类,因而属于半监督分类。为了证实本文方法所提取的空谱特征对于高光谱分类的有效性,引入同样以地物端元作为输入的FCLS端元丰度提取方法,以及SAM和SID这2种半监督分类方法进行对比。此外,还加入PCA和MNF这2种非监督特征提取方法作为参考。在实验中,上述模型除SAM和SID直接得到分类结果之外,其余模型均使用得到的空谱特征作为输入,利用SVM算法在1/50采样率的条件下进行分类。为了进一步说明本文方法在小样本分类中模型的泛化能力。分别设置样本在1/10,1/50,1/100,1/200情况下,对比不同半监督分类模型与SVM监督分类模型在不同采样率下的分类表现。所有模型均在相同数据集以相同的训练参数设置进行实验。

实验在 TensorFlow(2.6.0)框架及NVIDIA Quadro RTX8000 GPU下进行,训练中使用自适应学习率优化算法(Adam)作为优化器,以0.000 5为初始学习率进行优化,以均方根误差(root mean squared error, RMSE)为损失函数,所有模型经过50轮训练后取其中最优模型进行对比。

2.2 评价指标

HSI分类结果采用总体分类精度、精确率、召回率、F1得分以及平均交并比(mean intersection over union,mIoU)作为评价指标。各评价参数的计算方法如下所示:

(4)

A = \frac{T P + T N}{T P + T N + F P + F N}

，

(5)

P = \frac{T P}{T P + F P}

，

(6)

R = \frac{T P}{T P + P N}

，

(7)

F = 2 / (\frac{1}{R} + \frac{1}{P})

，

(8)

m I o U = \frac{1}{k + 1} \sum_{i = 1}^{k} \frac{T P}{F P + F N + T P}

，

式中: A为总体分类精度; P为精确率; R为召回率; F为F1得分; k为地物类别总数; TP为判正的正样本; FN为判负的正样本; FP为判正的负样本; TN为判负的负样本。

采用RMSE对端元丰度的估计精度进行定量评价,RMSE数值越小代表估计的端元丰度越接近真实值,具体计算公式为:

(8)

R M S E = \sqrt{\frac{\sum_{i = 1}^{N} (A P_{i} - A T_{i})^{2}}{N}}

，

式中: N为观测值的总数; AP_i为第i个预测值; AT_i为第i个真实值。

2.3 端元丰度估计

利用本文提出的3D-CAE针对Urban数据集中6个端元进行丰度估计。表2展示了Urban 数据集的端元估计丰度与真实值的可视化对比结果。从整体上看获得的6个端元丰度图与真实值十分接近,平均RMSE为0.106,表明基于自编码网络的高光谱解混算法的有效性。其中屋顶和金属2个端元丰度估计值与真实值的平均RMSE分别为0.083和0.067,明显优于沥青路面(0.131)、草地(0.121)、树木(0.114)以及土壤(0.121)这4类地物,表明模型对于屋顶和金属这2个端元的丰度估计精度更高。结果表明3D-CAE可以在高光谱重构过程中将隐层空谱特征以端元丰度的形式进行规则化表达,这些信息是后续分类应用的重要参考。

表2 模型预测不同端元的丰度值与真实值

Tab.2 Model prediction of the abundance from different endmembers compared to the true values

类型	沥青	草地	树木	屋顶	金属	土壤
预测丰度
真实值
RMSE
图例

新窗口打开| 下载CSV

2.4 基于空谱特征的HSI分类

为了充分说明提出空谱特征提取方法的有效性,在相同采样率(1/50)条件下,分别采用PCA和MNF对高光谱数据进行降维,取前3个波段作为分类用的空谱特征。分别采用SAM,SID及FCLS方法,基于给定的端元光谱通过波谱匹配、丰度估计等得到空谱特征用于对比。基于以上数据结合SVM分类器得到Urban数据集的分类结果如图3所示。如图3(a)所示,SID预测结果中可见“树木”存在明显的漏分,且与“沥青”存在混淆的现象; SAM预测结果,如图3(b)所示,“金属”和“土壤”类地物均有一定程度的过度提取; 如图3(c)—(g)所示,其他模型提取效果与真值在视觉效果上较为接近,都明显优于SAM和SID方法。不同模型预测精度的对比信息如表3所示,可见本文提出方法在各项评价指标中均取得最优成绩,mIoU达到0.829,总体分类精度达到0.927。值得一提的是,与SVM监督分类方法对比,3D-CAE-SVM依然有突出的表现,表明利用自编码器进行空谱特征提取相对于传统高光谱特征提取方法具有更大的优势,且以3D-CAE提取的空谱特征作为输入可以有效提高监督分类的精度。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 不同模型预测分类结果与真值对比图

Fig.3 Comparison chart of classification results predicted by different models versus ground truth

表3 不同模型预测精度对比表

Tab.3 Comparison table of prediction accuracy for different models

模型	总体分类精度	精确度	召回率	F1得分	mIoU
3D-CAE-SVM	0.927	0.936	0.883	0.905	0.829
PCA-SVM	0.912	0.928	0.854	0.884	0.796
MNF-SVM	0.895	0.913	0.847	0.873	0.779
FCLS-SVM	0.850	0.832	0.775	0.778	0.657
SVM	0.916	0.929	0.856	0.885	0.799
SAM	0.847	0.870	0.831	0.821	0.777
SID	0.712	0.652	0.771	0.625	0.513

新窗口打开| 下载CSV

2.5 小样本下模型鲁棒性分析

在实际应用中高光谱数据标签获取成本非常高,面对一个比较大的挑战就是小样本下的分类。以往采用监督学习方法虽然能够获得较好的应用效果,但在样本不充足的前提下也更容易导致过拟合,因而难以在更大范围和复杂的场景下保持模型的鲁棒性。通过前面的实验不难发现,3D-CAE可以实现对端元丰度的准确估计,这种方法的优势在于能够将混合像元分解的物理约束嵌入到具有强大学习能力的CNN中,大大降低了对训练样本的需求。为了进一步证实提出的3D-CAE-SVM高光谱分类方法在小样本条件下的有效性,对比分析各个模型在1/10,1/50,1/100,1/200采样率下的mIoU值变化,如图4所示。由图可知,随着采样率的提高,所有模型的分类精度均有提升,但SVM代表的纯监督分类方法的精度与采样率呈更为明显的线性关系,其他基于空谱特征进行分类的方法分类精度变化相对更平缓。MNF-SVM和FCLS-SVM在不同采样率下性能均低于SVM算法,证明这2种空谱特征提取方法并不能改善分类效果。随着采样率的降低PCA-SVM方法相对SVM方法的优势逐渐呈现,在1/200采样条件下mIoU为0.721,超越SVM算法3个百分点。值得注意的是本文提出的3D-CAE-SVM模型,在任意采样率下均取得最优精度,具有较好的鲁棒性,在1/200条件下mIoU依然能接近0.8,明显优于SVM算法,充分证实了本文方法在小样本下对于分类精度的提升具有积极作用。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 各个模型在不同采样率下分类精度变化趋势

Fig.4 Trend chart of classification accuracy variation for various models at different sampling rates

3 结论

本文提出一种轻量化的三维自编码网络3D-CAE,通过获取端元丰度信息实现高光谱空谱特征的提取,结合SVM分类器实现在小样本条件下的高光谱分类。对比于传统高光谱图谱特征提取方法及纯监督分类方法具有显著优势,得出如下结论:

1)利用自编码网络嵌入混合像元分解的物理约束条件,可以实现较好的端元丰度估计。

2)端元丰度估计结果包含了可重建原始高光谱的规则化的空谱特征,将其用于高光谱分类可减少模型对于样本的依赖性,实验结果证实利用3D-CAE方法提取的空谱特征相对于PCA,MNF,FCLS,SAM和SID等方法对于提高高光谱分类精度效果更好。

3)3D-CAE应用于高光谱分类具有良好的鲁棒性。实验结果显示,在采样率为1/200的典型小样本场景下分类精度明显优于SVM算法,且采样率递减的条件下模型精度的衰减率更低,表现出较好的鲁棒性,为解决小样本分类问题提供了新的思路。

本文提出的方法需要给定光谱端元,在实际应用中可通过人工标记或结合非监督端元估计的方法获得,后续将进一步聚焦该问题,研发无监督的端元丰度估计方法。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

杜培军, 谭琨, 夏俊士.

高光谱遥感影像分类与支持向量机应用研究[M]. Beijing: Science Press, 2012,1-160.