基于Fisher准则和TrAdaboost的高光谱相似样本分类算法

doi:10.6046/gtzyyg.2018.04.07

基于Fisher准则和TrAdaboost的高光谱相似样本分类算法

刘万军, 李天慧^,, 曲海成

辽宁工程技术大学软件学院,葫芦岛 125105

Hyperspectral similar sample classification algorithm based on Fisher criterion and TrAdaboost

LIU Wanjun, LI Tianhui^,, QU Haicheng

School of Software, Liaoning Technical University, Huludao 125105, China

通讯作者: 李天慧(1993-),女,硕士研究生,主要从事遥感图像处理研究。Email:163250335@qq.com。

责任编辑: 陈理

收稿日期: 2017-05-8 修回日期: 2017-07-7 网络出版日期: 2018-12-15

基金资助:

国家自然科学基金项目“二向性反射分布函数的先验知识耦合式融合方法研究”. 61401185
辽宁省教育厅科学技术研究一般项目“基于GPU加速的高光谱遥感影像解混技术研究”共同资助. L2015216

Received: 2017-05-8 Revised: 2017-07-7 Online: 2018-12-15

作者简介 About authors

刘万军(1959-),男,教授,硕士,CCF高级会员(E200019729S),主要从事数字图像处理、运动目标检测与跟踪研究。Email:liuwanjun39@163.com。。

摘要

针对小样本情况下高光谱类别相似导致图像类间分类精度低的问题,提出了一种基于Fisher准则和TrAdaboost的高光谱相似样本分类算法(H_TrAdaboost)。首先,结合光谱角法与光谱信息散度对样本进行相似度测量,确定辅助训练样本集,扩大总训练样本数量; 其次,利用改进的Fisher准则进行样本可分性研究,从而在总训练样本中选出分类性较强的波段子集; 最后,在算法迭代过程中利用TrAdaboost算法动态调整正负样本的权重,完成小样本情况下高光谱相似样本类间分类。结果表明,提出的H_TrAdaboost算法相较于对比算法有较高的分类精度,证明了所提算法的有效性。

关键词： 高光谱图像分类 ; 光谱角 ; 光谱信息散度 ; Fisher准则

Abstract

To tackle the low classification accuracy problem of hyperspectral image classification caused by similar samples under the condition of small-sample-size, this paper proposes a hyperspectral image classification algorithm based on Fisher criterion and TrAdboost (H_TrAdaboost). Firstly, an auxiliary sample is determined with the spectral angle mapping (SAM) method and spectral information divergence (SID) so as to improve the total number of training samples. Secondly, the samples are studied separability based on the improved Fisher criterion to obtain relatively strong samples set. Finally, the weight of positive and negative sample distribution is adjusted dynamically by using TrAdaboost algorithm so as to achieve hyperspectral similarity class classification in the small sample size problem. In the comparative experiments with other compared algorithms, the highest classification accuracy is achieved, which fully shows that H_TrAdaboost algorithm can well solve the similar hyperspectral image classifications.

Keywords： hyperspectral image classification ; spectral angle mapping (SAM) ; spectral information divergence (SID) ; Fisher criterion

PDF (2308KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

刘万军, 李天慧, 曲海成. 基于Fisher准则和TrAdaboost的高光谱相似样本分类算法. 国土资源遥感[J], 2018, 30(4): 41-48 doi:10.6046/gtzyyg.2018.04.07

LIU Wanjun, LI Tianhui, QU Haicheng. Hyperspectral similar sample classification algorithm based on Fisher criterion and TrAdaboost. REMOTE SENSING FOR LAND & RESOURCES[J], 2018, 30(4): 41-48 doi:10.6046/gtzyyg.2018.04.07

0 引言

随着卫星遥感技术的不断发展,高光谱图像的获取变得更加容易。相对于多光谱遥感,高光谱遥感能够获得大量的波段信息,这些波段信息被广泛应用于目标探测、环境监控和地物分类等方面^[1],其中高光谱遥感图像的分类问题一直是国内外学者研究的热点。高光谱遥感图像具有维数大和训练样本数量少的特点^[2],在小样本图像分类情况下,维数过大易导致分类任务变得复杂,分类精度会因为波段数量的增加反而下降,从而产生Hughes现象^[3]。其中支持向量机(support vector machine,SVM)的分类算法常用于解决此类问题^[4]。杨凯歌等^[5]将随机子空间集成法结合SVM提出优化子空间SVM集成的分类算法,利用SVM对随机子空间进行聚类,根据J-M距离准则对最优分类器进行集成,通过对比实验证明该算法可以有效地解决小样本情况下的分类问题; Persello等^[6]通过对比主动学习策略和半监督学习方法的优缺点,结合2种方法应用在SVM上,解决了小样本情况下未知样本标注问题。

此外,迁移学习通过对同领域或者跨领域进行知识迁移也可以解决小样本情况下的高光谱图像分类问题,当源训练样本集包含的带标签样本数量非常少时,迁移学习将与源训练样本集相似的样本作为辅助样本集,与源样本集组成总训练样本集完成目标样本集的分类、识别等任务^[7]。吴田军等^[8]将迁移学习应用在高光谱图像分类的样本选择中,将历史的地物信息迁移到新的图像中,建立一种新的特征映射关系,从而实现对目标高光谱图像样本的自动分类; Zhou等^[9]将迁移学习应用在极限学习机中,并与最小二乘法结合,利用TrAdaboost算法的权重调整策略对样本进行分类,最后经过对比实验证明了该算法的有效性。其中TrAdaboost算法是Dai等^[10]提出的一种基于实例的迁移学习算法,对Adaboost算法进行了改进,使之具有迁移能力,通过判别训练样本的可利用价值调整样本的权重,完成小样本情况下的文本分类任务。

综上所述,SVM和迁移学习分类算法都能够很好地解决小样本问题。但对于高光谱图像分类问题,随着训练样本数目减少(小样本情况),样本维数大且存在冗余波段,相似类别样本间的分类边界变得模糊,导致分类精度大幅度降低。为了解决这个问题,本文提出了基于Fisher准则和TrAdaboost权重调整策略的H_TrAdaboost (Hyperspectral TrAdaboost)算法,利用Fisher准则放大样本间的差异,完成相似样本的划分; 结合TrAdaboost权重调整策略,动态调整样本的权重,实现高光谱相似样本的分类; 最后,在AVIRIS高光谱数据集上进行对比实验,验证H_TrAdaboost算法的有效性。

1 Fisher准则和TrAdaboost算法改进

1.1 辅助样本集确定

1.1.1 迁移学习

传统的机器学习方法对目标样本分类具有一定的前提条件,要求训练样本和测试样本必须符合相同的数据分布,并且需要足够数量的训练样本才能进行学习。这导致了在小样本情况下很多分类方法都不能取得很好的分类效果。迁移学习作为一种新的机器学习方法被提出,打破了传统学习方法的束缚,可以通过确定辅助样本集来解决样本数量少的问题。为了更加清晰地解释迁移学习,对样本集进行如下描述。

定义1: 训练样本数据集D_a和D_b

(1)

D_{a} = {(x_{i}^{a}, M (x_{i}^{a}))}

x_{i}^{a} \in S_{a}

i = 12 \dots n

(2)

D_{b} = {(x_{i}^{b}, M (x_{i}^{b}))}

x_{i}^{b} \in S_{b}

i = n + 1 \dots n + m

式中: $D_{a}$ 表示辅助训练样本数据集; $D_{b}$ 表示源训练样本数据集; $S_{a}$ 为 $D_{a}$ 的辅助样本空间; $S_{b}$ 为 $D_{b}$ 的源样本空间; $M (x)$ 表示一种映射关系,将样本 $x$ 映射到它所对应的类别标号上; {()}表示样本和样本对应的类标组成的数对集合。由于 $D_{a}$ 与 $D_{b}$ 来自于不同的类空间,表示数据分布是不相同的。

定义2: 目标样本数据集D_t

(3)

D_{t} = {(x_{i}^{t})}

x_{i}^{t} \in S_{b}

i = 12 \cdot \cdot \cdot k

根据以上定义,迁移学习解决的问题可以描述为: 源训练样本集 $D_{b}$ 含有少量有标签样本,不足以训练出一个适于分类目标样本集的分类器,此时利用迁移学习,可以得到与 $D_{b}$ 相似的辅助训练集 $D_{a}$ ,最后合并 $D_{a}$ 与 $D_{b}$ 组成总训练集训练分类器,用于分类目标样本集 $D_{t}$ 。

由于本文研究的高光谱数据集,具有样本维数大、标记样本少的特点,而迁移学习可以有效解决小样本问题。因此,利用迁移学习,通过确定辅助样本集,将有利于目标分类的样本迁移到训练样本集中,从而扩大总样本数量,解决高光谱分类问题中由于训练样本过少导致的分类问题。

1.1.2 SID_SA结合法

为了扩大训练样本集数量,需要一种合适的光谱相似度测量方法,确定辅助样本集。常规方法有光谱角法(spectral angle mapping,SAM)和光谱信息散度法(spectral information divergence,SID)^[11]。SAM的原理是将目标光谱与测试光谱投影到空间中,计算其间的夹角,其值越小代表相似度越高。SID是一种基于信息论理念,通过计算信息熵来判断光谱相似性的方法。而2种方法结合的SID_SA结合法^[12]同时考虑到SAM和SID的优点,从光谱的形状以及反射能量差异2方面入手,能有效计算光谱间的相似度。

假设 $x$ 与y分别代表目标光谱与测试光谱,长度都为 $n_{1}$ ,则SID_SA结合法公式为

(4)

SAM (x, y) = \arccos \frac{\overset{n_{1}}{\sum_{i = 1}} x_{i} y_{i}}{\sqrt[]{\overset{n_{1}}{\sum_{i = 1}} x_{i}^{2}} \sqrt[]{\overset{n_{1}}{\sum_{i = 1}} y_{i}^{2}}}

式中: $\sqrt[]{\overset{n_{1}}{\sum_{i = 1}} x_{i}^{2}}$ 与 $\sqrt[]{\overset{n_{1}}{\sum_{i = 1}} y_{i}^{2}}$ 分别为2条光谱向量的模; $SAM (x, y)$ 为2条光谱间的光谱夹角值。

(5)

SID (x, y) = D (x ‖ y) + D (y ‖ x)

(6)

D (x ‖ y) = \overset{n_{1}}{\sum_{i = 1}} a_{i} D_{i} (x ‖ y) = \overset{n_{1}}{\sum_{i = 1}} a_{i} [I_{i} (y) - I_{i} (x)] = \overset{n_{1}}{\sum_{i = 1}} a_{i} \lg (a_{i} / b_{i})

(7)

D (y ‖ x) = \overset{n_{1}}{\sum_{i = 1}} b_{i} \lg (b_{i} / a_{i})

式中: $SID (x, y)$ 为2条光谱的信息散度值; $D (x ‖ y)$ 为目标光谱对测试光谱的相对熵; $D (y ‖ x)$ 为测试光谱对目标光谱的相对熵; $a_{i} = x_{i} / \overset{n_{1}}{\sum_{i = 1}} x_{i}$ 与 $b_{i} = y_{i} / \overset{n}{\sum_{i = 1}} y_{i}$ 分别代表2个光谱的概率; $I_{i} (x) = - \lg a_{i}$ 与 $I_{i} (y) = - \lg b_{i}$ 分别是根据信息理论得到的2条光谱的自信息值。

(8)

SID_SA (x, y) = SID (x, y) \sin [SAM (x, y)]

式中 $SID_SA (x, y)$ 是本文算法的光谱相似度度量值,值越小,证明光谱相似度越高,反之则说明光谱间相似度低,因此通过对比各光谱间的SID_SA值,确定辅助样本集。

1.2 波段选择

1.2.1 问题分析

为了更好地在小样本条件下进行相似地物类间分类,需要使用一种特征提取的方法,帮助放大样本间的差距,提高分类精度。高光谱图像特征提取方法常用的主成分分析法(principal components analysis,PCA)^[13],是通过数学变换来压缩波段达到提取特征的目的,容易改变高光谱图像的光谱物理意义。而波段选择的方法是从大量波段中选择出利于分类的波段数据,构成一个波段子集,这样不会破坏物理结构而且可以达到数据降维的目的。因此本文在解决相似样本划分问题时采用的是波段选择的方法。

以美国印第安纳州高光谱数据集为例进行分析,从中选取名称为corn-notill和corn-mintill的2类相似地物,分别从2类地物中随机选取200个样本点,计算2类光谱均值和标准差。对比结果分别如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 相似地物光谱均值及标准差对比

Fig.1 Contrast of spectral mean and standard deviation of similar features

从图1中可以得知,2类样本在B2—B57和B64—B76等波段上的可分性比较大,在B54—B63和B77—B103等波段上的可分性比较小。这说明虽然相似样本间的波段信息比较相近,但是样本在各个波段上仍然具有可分性,如果在实验中对样本的所有波段进行相同的处理,则弱化了一些重要波段的信息。因此,在解决相似样本划分问题中进行波段选择是必要的,需要秉承的原则是最大化样本类间间距,最小化样本类内间距,最终选择可分性强的波段组成最优子集。Fisher准则作为一种直观有效的类别可分性判据,是波段选择的一个重要依据,因此利用改进的Fisher准则可解决相似样本可分性问题。

1.2.2 改进的Fisher准则

改进的Fisher准则是对原始Fisher准则中的距离度量方法由简单的欧氏距离变为马氏距离。其中马氏距离是表示数据的协方差距离^[14],在相似度对比过程中,欧氏距离计算2个样本在空间上的直接距离,而马氏距离考虑的是样本数据各种特性之间的关系与差异,放大个体的影响。在不同的总体样本下,马氏距离的计算结果是不同的,更加适合用于相似样本的划分。因此本文采用基于马氏距离的改进Fisher准则对样本进行可分性研究,具体计算公式为

(9)

d (a_{i}, a_{j}) = \sqrt[]{(a_{i}, a_{j})^{T} Σ^{- 1} (a_{i}, a_{j})}, i \neq j

式中: $a_{i}$ 与 $a_{j}$ 分别代表2条光谱; $d$ 为马氏距离。

根据最小化类内间距、最大化类间间距的原则,可以得出改进的Fisher准则J_p为

(10)

J_{p} = \frac{S_{B}}{S_{w}} = \frac{S_{B}}{S_{w 1} + S_{w 2}}

(11)

S_{B} = \frac{1}{N_{X} N_{Y}} \overset{N_{X}}{\sum_{i = 1}} \overset{N_{Y}}{\sum_{j = 1}} d_{p} (x_{i}, y_{i})

(12)

S_{w 1} = \frac{1}{2 N_{X}} \overset{N_{X}}{\sum_{i = 1}} d_{p} (x_{i}, \bar{x})

(13)

S_{w 2} = \frac{1}{2 N_{Y}} \overset{N_{Y}}{\sum_{j = 1}} d_{p} (y_{i}, \bar{y})

式中: S_B代表类间间距; $S_{w 1}$ 和 $S_{w 2}$ 分别代表目标光谱与测试光谱的类内间距; p代表波段; d_p为2个类别样本在第p波段上的马氏距离; $N_{X}$ 与 $N_{Y}$ 分别代表类别X与Y的样本数量; $\bar{x}$ 与 $\bar{y}$ 为样本 $x_{i}$ 与 $y_{i}$ 的均值。

类间可分性越大, $S_{B}$ 的值越大; 类内可分性越小, $S_{w}$ 的值越小。因此通过最大化 $J_{p}$ 可以得到类别可分性强的波段集合,从而严格控制了分类阶段的样本集输入,为分类提供了足够的且具有差别性的样本集。

1.3 权重调整策略

对于最后分类阶段,由于每个训练样本在分类过程中的可利用价值有所不同,因此在迭代训练过程中需要对每个样本进行不同的权重控制。原始的TrAdaboost算法是用于文本分类的,对样本进行权重分配时,分别调整辅助训练样本与源训练样本的权值,达到较好的分类效果。而本文在解决高光谱相似样本分类问题时,同样考虑到不同样本的权重问题,因此采用TrAdaboost算法的权重调整策略对目标样本进行分类。对于辅助训练样本,基本思想是如果样本被错误分类,证明此样本不利于分类,在下一次迭代过程中减少权重,主要通过参数 $β_{a}$ 实现,即

(14)

β_{a} = 1 / (1 + 2 \ln n / N)

式中: $n$ 代表辅助样本数量; $N$ 代表迭代次数。

对于源训练样本,基本思想是如果样本被错误分类,在下一次迭代过程中通过增加权重来强调此样本,更正分类模型,主要通过参数 $β_{b}$ 实现,即

(15)

β_{b} = ε_{t} / (1 - ε_{t})

式中 $ε_{t}$ 为第t次迭代过程中分类器在源训练样本上的错误率。

综上所述,如果在N次迭代过程中,分别对2个训练样本集的权重进行动态调整,可以更好地完成小样本情况下相似样本分类任务。

2 H_TrAdaboost算法

H_TrAdaboost算法流程如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 H_TrAdaboost算法流程

Fig.2 Flowchart of H_TrAdaboost algorithm

本文提出的H_TrAdaboost算法的要点是: 首先,利用SID_SA结合法确定辅助样本集; 然后,根据改进Fisher准则对波段进行可分性研究; 最后,利用权重调整策略完成高光谱相似样本分类。

1)根据小样本的源训练样本数据 $D_{b}$ ,采用SAM与SID相结合的方法计算光谱间相似值,SID_SA值越小证明光谱越相似,利用式(4)—(8)选择出与 $D_{b}$ 相似度最大的样本作为辅助样本集 $D_{a}$ ,合并辅助训练样本集 $D_{a}$ 与源训练样本集 $D_{b}$ 为总训练样本集 $D_{t}$ 。并初始化样本的权重,辅助训练样本的初始权重设置为 $1 / n$ ,源训练样本的初始权重设置为 $1 / m$ ,即

(16)

w_{i}^{1} = \{\begin{array}{l} 1 / ni = 1, \cdot \cdot \cdot, n \\ 1 / mi = n + 1, \cdot \cdot \cdot, n + m \end{array}

2)通过对高光谱相似地物的光谱特性进行分析,得知每个波段的可分性不同,采用基于马氏距离的改进Fisher准则,利用式(12)—(13)对总训练样本 $D_{t}$ 计算类内间距,利用式(11)计算类间间距,最后通过最大化类间间距和最小化类内间距,对波段进行最终筛选,将可分性较强的波段组成一个子集,达到放大相似类别样本光谱间差异的目的。

3)已知辅助样本数量 $n$ 以及迭代次数 $N$ ,利用式(14)得到辅助样本权重调整参数 $β_{a}$ 。

4)输入总训练集,设置样本权重为

(17)

P^{t} = \frac{\overset{n}{\sum_{i = 1}} w_{i}^{t}}{\overset{n + m}{\sum_{i = 1}} w_{i}^{t}}

式中 $w_{i}^{t}$ 是第t次迭代中的样本权重。利用分类器得到源训练样本的分类结果,以及第t次迭代过程中样本分类的错误率 $ε_{t}$ ,即

(18)

ε_{t} = \overset{n + m}{\sum_{i = n + 1}} \frac{w_{i}^{t} |L_{t} (x_{i}) - M (x_{i})|}{\overset{n + m}{\sum_{i = n + 1}} w_{i}^{t}}

式中 $L_{t} (x_{i})$ 为样本在第t次迭代后的分类结果。如果 $ε_{t}$ >0.5,则将 $ε_{t}$ 设置为0.5,利用式(15)得到源训练样本的权重调整参数 $β_{b}$ 。

5)设置迭代过程中训练样本的权重更新策略,即

(19)

w_{i}^{t + 1} = \{\begin{array}{l} w_{i}^{t} β_{a}^{|L_{t} (x_{i}) - M (x_{i})|} i = 1,2, \cdot \cdot \cdot, n \\ w_{i}^{t} β_{b}^{- |L_{t} (x_{i}) - M (x_{i})|} i = n + 1, \cdot \cdot \cdot, n + m \end{array}

式中 $w_{i}^{t + 1}$ 为第t+1次迭代中的样本权重。如果辅助训练样本被分类错误,则降低样本权重,通过 $β_{a}^{|L_{t} (x_{i}) - M (x_{i})|}$ 可以实现; 如果源训练样本被分类错误,在下次迭代过程中防止此样本再次被错误分类,则增加样本权重,通过 $β_{b}^{- |L_{t} (x_{i}) - M (x_{i})|}$ 实现。通过这2部分对训练样本的分别控制,可以更好地完成分类任务。

6)最终分类器设置为

(20)

L (x) = \{\begin{array}{l} 1 \overset{N}{\sum_{「 t = N / 2 ⌉}} \ln (1 / β_{b}) L_{t} (x) \geq \frac{1}{2} \overset{N}{\sum_{「 t = N / 2 ⌉}} \ln (1 / β_{b}) \\ 0 其他 \end{array}

式中: 「⌉为向下求和; $L (x)$ 代表最终分类结果,如果分类正确分类器输出1,分类错误输出0。

3 实验与结果分析

3.1 实验数据

实验采用美国印第安纳州实验区(Indian Pines)的高光谱遥感图像数据集,通过AVIRIS采集获得,包含了145×145个样本点,原始波段数有220个,除去其中水汽吸收及低信噪比的波段,剩余200个波段将作为实验数据。原始图像共有16种地物类别,真值图如图3所示。由于本文解决的是相似样本分类问题,且其中一些类别样本数量不足,因此选取了其中满足实验条件的8种地物类别,重新编号用于验证实验,具体的样本信息统计见表1。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 Indian Pines数据集真值

Fig.3 Ground truth of Indian Pines dataset

Tab.1 Information of Indian Pines dataset for experiment

类别	名称	总样本数/个
C1	免耕玉米地	1 428
C2	玉米幼苗	830
C3	玉米	237
C4	草地-树木	730
C5	免耕大豆地	972
C6	大豆幼苗	2 455
C7	修剪大豆地	593
C8	木材	1 265

新窗口打开| 下载CSV

3.2 实验结果

为了验证H_TrAdaboost算法的有效性,将表1的数据集作为实验数据集,实验环境为Matlab2012b。实验过程中,采用随机抽取的方式对源训练样本和辅助训练样本进行选择,实验中分类器参数C和gamma的数值通过十折交叉验证获得。通过前期实验可以得出,当源训练样本集的样本数量小于总训练样本集的15%时,相似地物分类问题变得模糊,精度降低明显,因此本文实验将低于总训练样本集15%的定义为小样本条件。首先进行的实验是采用SID_SA方法确定辅助样本,从样本集中随机选取200个样本作为本部分实验数据,实验得到各类地物之间的SID_SA值见表2。

表2 各类别之间的SID_SA值

Tab.2 SID_SA value of each category

类别	C1	C2	C3	C4	C5	C6	C7	C8
C1	0.000 0	0.000 2	0.000 5	0.002 9	0.000 2	0.000 3	0.000 4	0.010 8
C2	0.000 2	0.000 0	0.000 4	0.002 5	0.000 3	0.000 2	0.000 3	0.009 9
C3	0.000 5	0.000 4	0.000 0	0.001 6	0.000 5	0.000 5	0.000 7	0.006 9
C4	0.002 9	0.002 5	0.001 6	0.000 0	0.003 2	0.002 7	0.002 8	0.001 4
C5	0.000 2	0.000 3	0.000 5	0.003 2	0.000 0	0.000 4	0.000 3	0.011 7
C6	0.000 3	0.000 2	0.000 5	0.002 7	0.000 4	0.000 0	0.000 4	0.011 1
C7	0.000 4	0.000 3	0.000 7	0.002 8	0.000 3	0.000 4	0.000 0	0.010 9
C8	0.010 8	0.009 9	0.006 9	0.001 4	0.011 7	0.011 1	0.010 9	0.000 0

新窗口打开| 下载CSV

从表2可以得知,每个类别的样本都有与其相似的样本,例如C1类与C2类、C5类间SID_SA值最小,为相似样本集,同理C8类与C4类为相似样本集,因此,通过对比波段间的SID_SA值可以得到最适合的相似样本类别作为辅助样本集。从实验样本中随机选取测试样本1%的样本点作为源训练样本集,根据SID_SA算法确定辅助样本进行实验。将H_TrAdaboost算法与原始的TrAdaboost算法和SVM分类算法进行比较,分类精度对比结果见表3。

表3 算法间的分类精度对比

Tab.3 Accuracy compare of each algorithm(%)

目标样本类别	辅助样本类别	SVM	TrAdaboost	H_TrAdaboost
C1 vs C2	C6 vs C5	54.50	55.50	59.00
C1 vs C2	C5 vs C6	63.50	67.00	69.50
C1 vs C5	C2 vs C6	73.50	74.50	77.50
C1 vs C5	C2 vs C7	71.00	68.50	76.00
C1 vs C6	C2 vs C7	65.50	67.00	71.00
C1 vs C6	C7 vs C2	70.50	72.50	73.00
C2 vs C5	C1 vs C6	71.00	74.50	75.50
C2 vs C8	C1 vs C4	98.50	99.50	99.50
C2 vs C8	C1 vs C5	94.00	97.00	97.50

新窗口打开| 下载CSV

从表3中可以看出,当分类C1和C2类样本时,辅助样本类别分别选取为C5与C6类时,分类精度最高且提高较多; 当分类C1和C6类样本时,辅助样本类别分别选取为C7与C2类时,分类精度最高且提高较多; 从而验证了SID_SA值越小,越适合做辅助样本,帮助源训练样本进行分类。同时,当类别本身相似性很小的时候,例如C2和C8类的分类,3种分类算法的效果都很明显,并且SVM算法、TrAdaboost算法与H_TrAdaboost算法分类精度呈上升趋势。验证了TrAdaboost算法经过数据处理后可以较好地应用在高光谱数据上,分类精度比SVM有所提高,将H_TrAdaboost算法与原始的TrAdaboost算法相比,分类精度也有显著提升,证明此算法在非相似样本分类问题上也具有较好的分类效果。

为了更直观地表示本文算法的有效性,将不同算法对表3中几种类别进行分类,效果分别展示如表4所示。从表4的几组对比图中可以清晰地看出,对C1,C2,C5和 C6等相似类别进行分类时,H_TrAdaboost算法比SVM算法和TrAdaboost算法噪声点更少,分类效果更明显。

Tab.4 Accuracy compare of each algorithm in every sample

样本类别	SVM算法分类结果	TrAdaboost算法分类结果	H_TrAdaboost算法分类结果
C1 vs C2
C1 vs C5
C1 vs C6
C2 vs C5
C2 vs C8

新窗口打开| 下载CSV

为了进一步验证本文算法在不同程度小样本情况下对相似样本的分类效果,将源训练样本数量分别设置为占总样本的1%,2%,3%,5%,10%,15%,对C1与C2类分类,辅助样本选取C5与C6组成样本1; 对C1与C6类分类,辅助样本选取C7与C2组成样本2。则H_TrAadboost算法与TrAadboost算法和SVM分类算法的分类精度对比结果见表5与表6。为了便于比较各类算法在不同样本数量下的分类效果,均采用相同的参数设置。

表5 样本1上算法间的分类精度对比

Tab.5 Accuracy compare of each algorithm in sample 1

算法	统计值	15%	10%	5%	3%	2%	1%
SVM	OA/%	71.00	71.00	69.00	65.50	63.50	63.50
SVM	Kappa	0.70	0.71	0.67	0.64	0.63	0.62
TrAdaboost	OA/%	77.50	76.00	71.00	69.50	68.50	67.00
TrAdaboost	Kappa	0.77	0.73	0.71	0.68	0.68	0.65
H_TrAdaboost	OA/%	79.50	77.50	73.50	72.00	70.50	69.50
H_TrAdaboost	Kappa	0.79	0.77	0.73	0.72	0.70	0.69

新窗口打开| 下载CSV

表6 样本2上算法间的分类精度对比

Tab.6 Accuracy compare of each algorithm in sample 2

算法	统计值	15%	10%	5%	3%	2%	1%
SVM	OA/%	77.00	76.00	73.00	71.50	70.00	70.50
SVM	Kappa	0.76	0.76	0.73	0.71	0.70	0.70
TrAdaboost	OA/%	79.50	77.50	75.00	72.50	73.50	72.50
TrAdaboost	Kappa	0.77	0.77	0.75	0.73	0.73	0.72
H_TrAdaboost	OA/%	80.50	79.00	76.50	74.50	73.50	73.00
H_TrAdaboost	Kappa	0.81	0.79	0.76	0.74	0.73	0.73

新窗口打开| 下载CSV

从表5与表6可以看出,样本数量的大小对分类精度有所影响。当源训练样本数量不断减少,分类精度随之降低,即小样本条件越苛刻,相似样本分类效果越不明显。但是实验结果表明,随着源样本数量的降低,本文提出的H_TrAdaboost算法对比原始的TrAdaboost算法以及SVM算法,在对相似样本进行分类时,分类精度仍然高于其他分类算法,说明基于改进的Fisher准则和TrAdaboost提出的算法,可以较好地解决分类问题中的由于相似样本导致分类精度低的问题。

4 结论

1)利用实例迁移思想,采用SID_SA结合法对高光谱波段进行相似度度量,达到了确定辅助样本集的目的,解决小样本问题。

2)改进的Fisher准则侧重于高光谱数据整体特点,利用该准则从训练样本中选择可分性强的波段,达到放大相似样本波段间差异的目的。

3)利用TrAdaboost算法的权重调整策略为样本分配合理权重,最终通过实验表明,H_TrAdaboost算法可以很好地实现相似样本的分类。

4)虽然本文算法对与相似地物分类精度上有了一定提高,但仍有可以改进的地方。下一步的研究方向是考虑结合空间信息,从光谱的空间特征方面进一步提升高光谱相似地物的分类精度问题。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

杜培军, 夏俊士, 薛朝辉 , 等.

高光谱遥感影像分类研究进展

[J]. 遥感学报, 2016: 20(2):236-256.

DOI:10.11834/jrs.20165022 URL [本文引用: 1]

随着模式识别、机器学习、遥感技术等相关学科领域的发展,高光谱遥感影像分类研究取得快速进展。本文系统总结和评述了当前高光谱遥感影像分类的相关研究进展,在总结分类策略的基础上,重点从以核方法为代表的新型分类器设计、特征挖掘、空间-光谱分类、基于主动学习和半监督学习的分类、基于稀疏表达的分类、多分类器集成六个方面对高光谱影像像素级分类最新研究进行了综述。针对今后的研究方向,指出高光谱遥感影像分类一方面要适应大数据、智能化高光谱对地观测的发展前沿,继续引入机器学习领域的新理论、新方法,综合利用多源遥感数据、多维特征空间互补的优势,提高分类精度、分类器泛化能力和自动化程度;另一方面要关注高光谱遥感应用的需求,突出高光谱遥感记录精细光谱特征的优势,针对应用需求发展有效的分类方法。

Du P

, Xia J

, Xue Z

, et al.

Review of hyperspectral remote sensing image classification

[J]. Journal of Remote Sensing, 2016,20(2):236-256.

[本文引用: 1]

[2]

Camps-Valls

, Tuia

, Bruzzone

, et al.

Advances in hyperspectral image classification:Earth monitoring with statistical learning methods

[J]. IEEE Signal Processing Magazine, 2014,31(1):45-54.

DOI:10.1109/MSP.2013.2279179 URL [本文引用: 1]

Abstract: Hyperspectral images show similar statistical properties to natural grayscale or color photographic images. However, the classification of hyperspectral images is more challenging because of the very high dimensionality of the pixels and the small number of labeled examples typically available for learning. These peculiarities lead to particular signal processing problems, mainly characterized by indetermination and complex manifolds. The framework of statistical learning has gained popularity in the last decade. New methods have been presented to account for the spatial homogeneity of images, to include user's interaction via active learning, to take advantage of the manifold structure with semisupervised learning, to extract and encode invariances, or to adapt classifiers and image representations to unseen yet similar scenes. This tutuorial reviews the main advances for hyperspectral remote sensing image classification through illustrative examples.

[3]

高恒振

高光谱遥感图像分类技术研究

[D]. 长沙:国防科学技术大学, 2011.

[本文引用: 1]

Gao H

Research on Classification Techinique for Hyperspectral Remote Sensing Imagery

[D]. Changsha:National University of Defence Technology, 2011.

[本文引用: 1]

[4]

谭琨

基于支持向量机的高光谱遥感影像分类研究

[D]. 徐州:中国矿业大学, 2010.

[本文引用: 1]

Tan

Research on Hyperspectral Romote Sensing Image Classification Based on Support Vector Machine

[D]. Xuzhou:China University of Mining Technology, 2010.

[本文引用: 1]

[5]

杨凯歌, 冯学智, 肖鹏峰 , 等.

优化子空间SVM集成的高光谱图像分类

[J]. 遥感学报, 2016,20(3):409-419.

[本文引用: 1]

Yang K

, Feng X

, Xiao P

, et al.

Optimal subspace ensemble with SVM for hyperspectral image classification

[J]. Journal of Remote Sensing, 2016,20(3):409-419.

[本文引用: 1]

[6]

Persello

, Bruzzone

Active and semisupervised learning for the classification of remote sensing images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(11):6937-6956.

DOI:10.1109/TGRS.2014.2305805 URL [本文引用: 1]

This paper aims at analyzing and comparing active learning (AL) and semisupervised learning (SSL) methods for the classification of remote sensing (RS) images. We present a literature review of the two learning paradigms and compare them theoretically and experimentally when addressing classification problems characterized by few training samples (w.r.t. the number of features) and affected by sample selection bias. Commonalities and differences are highlighted in the context of a conceptual framework used to describe the workflow of the two approaches. We point out advantages and disadvantages of the two approaches, delineating the boundary conditions on the applicability of the two paradigms with respect to both the amount and the quality of available training samples. Moreover, we investigate the integration of concepts that are in common between the two learning paradigms for improving state-of-the-art techniques and combining AL and SSL in order to jointly leverage the advantages of both approaches. In this framework, we propose a novel SSL algorithm that improves the progressive semisupervised support vector machine by integrating concepts that are usually considered in AL methods. We performed several experiments considering both synthetic and real multispectral and hyperspectral RS data, defining different classification problems starting from different initial training sets. The experiments are carried out considering classification methods based on support vector machines.

[7]

Pan S

, Yang

A survey on transfer learning

[J]. IEEE Transactions on Knowledge and Data Engineering, 2010,22(10):1345-1359.

DOI:10.1109/TKDE.2009.191 URL [本文引用: 1]

A major assumption in many machine learning and data mining algorithms is that the training and future data must be in the same feature space and have the same distribution. However, in many real-world applications, this assumption may not hold. For example, we sometimes have a classification task in one domain of interest, but we only have sufficient training data in another domain of interest, where the latter data may be in a different feature space or follow a different data distribution. In such cases, knowledge transfer, if done successfully, would greatly improve the performance of learning by avoiding much expensive data-labeling efforts. In recent years, transfer learning has emerged as a new learning framework to address this problem. This survey focuses on categorizing and reviewing the current progress on transfer learning for classification, regression, and clustering problems. In this survey, we discuss the relationship between transfer learning and other related machine learning techniques such as domain adaptation, multitask learning and sample selection bias, as well as covariate shift. We also explore some potential future issues in transfer learning research.

[8]

吴田军, 骆剑承, 夏列钢 , 等.

迁移学习支持下的遥感影像对象级分类样本自动选择方法

[J]. 测绘学报, 2014,43(9):908-916.

DOI:10.13485/j.cnki.11-2089.2014.0163 Magsci [本文引用: 1]

<p>面向遥感大范围应用的目标，自动化程度仍是遥感影像分类面临的重要问题，样本的人工选择难以适应当前土地覆盖信息自动化提取的实际应用需求。为了构建一套基于先验知识的遥感影像全自动分类流程，本文将空间信息挖掘技术引入到遥感信息提取过程中，提出了一种面向遥感影像对象级分类的样本自动选择方法。该方法通过变化检测将不变地物标示在新的目标影像上，并将过去解译的地物类别知识迁移至新的影像上，建立新的特征与地物关系，从而完成历史专题数据辅助下目标影像的自动化的对象级分类。实验结果表明，在已有历史专题层的图斑知识指导下，该方法能有效地自动选择适用于新影像分类的可靠样本，获得较好的信息提取效果，提高了对象级分类的效率。</p>

Wu T

, Luo J

, Xia L

, et al.

An automatic sample collection method for object-oriented classification of remotely sensed imageries based on transfer learning

[J]. Acta Geodaetica et Cartographica Sinica, 2014,43(9):908-916.

Magsci [本文引用: 1]

[9]

Zhou

, Lian

, Han

Remote sensing image transfer classification based on weighted extreme learning machine

[J]. IEEE Geoscience and Remote Sensing Letters, 2016,13(10):1405-1409.

DOI:10.1109/LGRS.2016.2568263 URL [本文引用: 1]

It is expensive in time or resources to obtain adequate labeled data for a new remote sensing image to be categorized. The cost of manual interpretation can be reduced if labeled samples collected from previous temporal images can be reused to classify a new image over the same investigated area. However, it is reasonable to consider that the distributions of the target data and the historical data are usually not identical. Therefore, the efficient strategy of transferring the beneficial information from historical images to the target image hits a bottleneck. In order to reuse sufficient historical samples to classify a given image with scarce labeled samples, this letter presents a novel transfer learning algorithm for remote sensing image classification based on extreme learning machine with weighted least square. This algorithm adds a transferring item to an objective function and adjusts historical and target training data with different weight strategies. Experiments on two sets of remote sensing images show that the presented algorithm reduces the requirement for target training samples and improves classification accuracy, timeliness, and integrity.

[10]

Dai

, Yang

, Xue G

, et al.

Boosting for transfer learning

[C]// Proceedings of the 24th International Conference on Machine Learning.Corvallis:ACM, 2007: 193-200.

[本文引用: 1]

[11]

夏冰, 赵勋杰 .

基于光谱信息散度的非监督波段选择

[J]. 计算机应用与软件, 2015,32(7):212-215,251.

DOI:10.3969/j.issn.1000-386x.2015.07.051 URL [本文引用: 1]

在实际高光谱图像处理中，目标的先验信息往往较难获得，而非监督波段选择既能很好地完成海量光谱数据降维的任务，又不依赖于目标的先验信息，因而得到了广泛的应用。提出一种非监督波段选择算法：使用光谱信息散度作为相似性准则度量波段间的相似性，采用前向搜索算法作为波段搜索策略，逐步选出信息量丰富的波段集合。实验结果显示，采用该算法选出的波段集合与正交子空间投影算法和多元线性回归等非监督波段选择算法相比，拥有更高的分类检测精度。

Xia

, Zhao X

An unsupervised band selection algorithm based on spectral information divergence

[J]. Computer Applications and Software. 2015,32(7):212-215,251.

[本文引用: 1]

[12]

刘万军, 杨秀红, 曲海成 , 等.

基于光谱信息散度与光谱角匹配的高光谱解混算法

[J]. 计算机应用, 2015,35(3):844-848.

DOI:10.11772/j.issn.1001-9081.2015.03.844 Magsci [本文引用: 1]

<p>针对采用线性逆卷积(LD)算法进行端元初选过程中,端元子集中存在相似端元光谱,影响解混精度的问题,提出了一种基于光谱信息散度(SID)与光谱角匹配(SAM)算法的端元子集优选光谱解混算法。通过在端元进行二次选择时,采用以光谱信息散度和光谱角(SID-SA)混合法准则作为最相似端元选择的判据,去除相似端元,降低相似端元对解混精度的影响。实验结果表明,基于SID与SAM的高光谱解混算法将重构影像的均方根误差(RMSE)降低到0.0104,该方法比传统方法提高了端元的选择精度,减少了丰度估计误差,误差分布更加均匀。</p>

Liu W

, Yang X

, Qu H

, et al.

Hyperspectral unmixing algorithm based on spectral information divergence and spectral angle mapping

[J]. Journal of Computer Application, 2015,35(3):844-848.

Magsci [本文引用: 1]

[13]

汪浩然, 夏克文, 任苗苗 , 等.

结合PCA及字典学习的高光谱图像自适应去噪方法

[J]. 计算机应用, 2016,36(12):3411-3417.

DOI:10.11772/j.issn.1001-9081.2016.12.3411 URL Magsci [本文引用: 1]

高光谱图像各波段图像噪声分布复杂，传统去噪方法难以达到理想效果。针对这一问题，在主成分分析（PCA）的基础上，结合噪声估计和字典学习，提出一种新的高光谱去噪方法。首先，对原始高光谱数据进行主成分变换得到一组主成分图像并根据能量比重将其划分为清晰图像组和含噪图像组；然后，根据任一波段图像的信息，利用奇异值分解（SVD）对图像进行噪声估计，再将得到的噪声估计方法与K-SVD字典学习去噪算法结合，提出一种具备自适应噪声估计特性的字典学习去噪算法，并将其应用于信息量较小的含噪图像组进行去噪处理；最后，按各主成分图像对应的信息量比例进行加权融合得到最终的去噪图像。通过对模拟与实际高光谱遥感图像的实验表明，与PCA、PCA-Bish、PCA-Contourlet三种去噪方法相比，所提方法去噪后图像的峰值信噪比（PSNR）可以提升1~3 dB，且具有更多的细节信息和更好的视觉效果。

Wang H

, Xia K

, Ren M

, et al.

Adaptive denoising method of hyperspectral remote sensing based on PCA and dictionary learning

[J]. Journal of Computer Application, 2016,36(12):3411-3417.

Magsci [本文引用: 1]

[14]

许明明, 张良培, 杜博 , 等.

基于类别可分性的高光谱图像波段选择

[J]. 计算机科学, 2015,42(4):274-275,296.

[本文引用: 1]

Xu M

, Zhang L

, Du

, et al.

Supervised band selection based on class separability for hyperspectral image

[J]. Computer Science, 2015,42(4):274-275,296.

[本文引用: 1]

[15]

吴东洋, 马丽 .

多流形LE算法在高光谱图像降维和分类上的应用

[J]. 国土资源遥感, 2018,30(2):80-86.doi: 10.6046/gtzyyg.2018.02.11.

Wu D

, Ma

Multi-manifold LE algorithm for dimension reduction and classification of multitemporal hyperspectral image

[J]. Remote Sensing for Land and Resources, 2018,30(2):80-86.doi: 10.6046/gtzyyg.2018.02.11.

[16]

赵波, 苏红军, 蔡悦 .

一种切空间协同表示的高光谱遥感影像分类方法

[J]. 武汉大学学报(信息科学版), 2018,43(4):555-562.

Zhao

, Su H

, Cai

A hyperspectral image classification method based on collaborative representation in tangent space

[J]. Geomatics and Information Science of Wuhan University, 2018,43(4):555-562.

高光谱遥感影像分类研究进展

2016

... 随着卫星遥感技术的不断发展,高光谱图像的获取变得更加容易.相对于多光谱遥感,高光谱遥感能够获得大量的波段信息,这些波段信息被广泛应用于目标探测、环境监控和地物分类等方面^[1],其中高光谱遥感图像的分类问题一直是国内外学者研究的热点.高光谱遥感图像具有维数大和训练样本数量少的特点^[2],在小样本图像分类情况下,维数过大易导致分类任务变得复杂,分类精度会因为波段数量的增加反而下降,从而产生Hughes现象^[3].其中支持向量机(support vector machine,SVM)的分类算法常用于解决此类问题^[4].杨凯歌等^[5]将随机子空间集成法结合SVM提出优化子空间SVM集成的分类算法,利用SVM对随机子空间进行聚类,根据J-M距离准则对最优分类器进行集成,通过对比实验证明该算法可以有效地解决小样本情况下的分类问题; Persello等^[6]通过对比主动学习策略和半监督学习方法的优缺点,结合2种方法应用在SVM上,解决了小样本情况下未知样本标注问题. ...

高光谱遥感影像分类研究进展

2016

Advances in hyperspectral image classification:Earth monitoring with statistical learning methods

2014

高光谱遥感图像分类技术研究

2011

高光谱遥感图像分类技术研究

2011

基于支持向量机的高光谱遥感影像分类研究

2010

基于支持向量机的高光谱遥感影像分类研究

2010

优化子空间SVM集成的高光谱图像分类

2016

优化子空间SVM集成的高光谱图像分类

2016

Active and semisupervised learning for the classification of remote sensing images

2014

A survey on transfer learning

2010

... 此外,迁移学习通过对同领域或者跨领域进行知识迁移也可以解决小样本情况下的高光谱图像分类问题,当源训练样本集包含的带标签样本数量非常少时,迁移学习将与源训练样本集相似的样本作为辅助样本集,与源样本集组成总训练样本集完成目标样本集的分类、识别等任务^[7].吴田军等^[8]将迁移学习应用在高光谱图像分类的样本选择中,将历史的地物信息迁移到新的图像中,建立一种新的特征映射关系,从而实现对目标高光谱图像样本的自动分类; Zhou等^[9]将迁移学习应用在极限学习机中,并与最小二乘法结合,利用TrAdaboost算法的权重调整策略对样本进行分类,最后经过对比实验证明了该算法的有效性.其中TrAdaboost算法是Dai等^[10]提出的一种基于实例的迁移学习算法,对Adaboost算法进行了改进,使之具有迁移能力,通过判别训练样本的可利用价值调整样本的权重,完成小样本情况下的文本分类任务. ...

迁移学习支持下的遥感影像对象级分类样本自动选择方法

2014

迁移学习支持下的遥感影像对象级分类样本自动选择方法

2014

Remote sensing image transfer classification based on weighted extreme learning machine

2016

Boosting for transfer learning

2007

基于光谱信息散度的非监督波段选择

2015

... 为了扩大训练样本集数量,需要一种合适的光谱相似度测量方法,确定辅助样本集.常规方法有光谱角法(spectral angle mapping,SAM)和光谱信息散度法(spectral information divergence,SID)^[11].SAM的原理是将目标光谱与测试光谱投影到空间中,计算其间的夹角,其值越小代表相似度越高.SID是一种基于信息论理念,通过计算信息熵来判断光谱相似性的方法.而2种方法结合的SID_SA结合法^[12]同时考虑到SAM和SID的优点,从光谱的形状以及反射能量差异2方面入手,能有效计算光谱间的相似度. ...

基于光谱信息散度的非监督波段选择

2015

基于光谱信息散度与光谱角匹配的高光谱解混算法

2015

基于光谱信息散度与光谱角匹配的高光谱解混算法

2015

结合PCA及字典学习的高光谱图像自适应去噪方法

2016

... 为了更好地在小样本条件下进行相似地物类间分类,需要使用一种特征提取的方法,帮助放大样本间的差距,提高分类精度.高光谱图像特征提取方法常用的主成分分析法(principal components analysis,PCA)^[13],是通过数学变换来压缩波段达到提取特征的目的,容易改变高光谱图像的光谱物理意义.而波段选择的方法是从大量波段中选择出利于分类的波段数据,构成一个波段子集,这样不会破坏物理结构而且可以达到数据降维的目的.因此本文在解决相似样本划分问题时采用的是波段选择的方法. ...

结合PCA及字典学习的高光谱图像自适应去噪方法

2016

基于类别可分性的高光谱图像波段选择

2015

... 改进的Fisher准则是对原始Fisher准则中的距离度量方法由简单的欧氏距离变为马氏距离.其中马氏距离是表示数据的协方差距离^[14],在相似度对比过程中,欧氏距离计算2个样本在空间上的直接距离,而马氏距离考虑的是样本数据各种特性之间的关系与差异,放大个体的影响.在不同的总体样本下,马氏距离的计算结果是不同的,更加适合用于相似样本的划分.因此本文采用基于马氏距离的改进Fisher准则对样本进行可分性研究,具体计算公式为 ...

基于类别可分性的高光谱图像波段选择

2015

多流形LE算法在高光谱图像降维和分类上的应用

2018

多流形LE算法在高光谱图像降维和分类上的应用

2018

一种切空间协同表示的高光谱遥感影像分类方法

2018

一种切空间协同表示的高光谱遥感影像分类方法

2018

〈

〉