Please wait a minute...
 
国土资源遥感  2021, Vol. 33 Issue (2): 11-19    DOI: 10.6046/gtzyyg.2020209
  技术方法 本期目录 | 过刊浏览 | 高级检索 |
基于残差网络特征融合的高光谱图像分类
韩彦岭(), 崔鹏霞, 杨树瑚(), 刘业锟, 王静, 张云
上海海洋大学信息学院,上海 201306
Classification of hyperspectral image based on feature fusion of residual network
HAN Yanling(), CUI Pengxia, YANG Shuhu(), LIU Yekun, WANG Jing, ZHANG Yun
School of Information, Shanghai Ocean University, Shanghai 201306, China
全文: PDF(4576 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

深度学习技术因其在深度挖掘地物特征方面的独特优势为高光谱图像分类提供了技术手段。但是在高光谱图像的像素级地物分类中,由于样本输入尺寸的影响导致深度学习的层数受限,不能充分挖掘高光谱图像中的深度特征,为此提出基于残差网络特征融合的高光谱图像分类方法。首先通过主成分分析(principal component analysis,PCA)方法提取原始高光谱图像中的第一主成分,利用残差网络有效提取地物空谱特征; 再通过反卷积算法实现特征图的扩充,将反卷积后不同维度的特征进行多尺度特征融合,充分挖掘高光谱图像中的深度特征信息,进一步提升高光谱图像分类精度。对“珠海一号”卫星拍摄的江苏太湖和安徽巢湖两个区域进行地物分类实验,结果表明,与其他方法相比,该方法有效解决了高光谱图像分类中深度特征提取不足的问题,获得了更好的分类性能。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
韩彦岭
崔鹏霞
杨树瑚
刘业锟
王静
张云
关键词 反卷积特征融合残差网络高光谱图像分类    
Abstract

Deep learning technology provides technical means for hyperspectral image classification due to its unique advantages in deep mining of features. However, in the pixel-level feature classification of hyperspectral images, the number of deep learning layers is limited due to the influence of the sample input size, and the depth features in the hyperspectral images cannot be fully mined. The classification of hyperspectral image based on feature fusion of residual network is proposed in this paper. First, the principal component analysis (PCA) method is used to extract the first principal component in the original hyperspectral image, and the residual network is used to effectively extract the spatial spectrum features of the ground objects; then the feature map is expanded by the deconvolution algorithm, and after deconvolution, features of different dimensions are fused with multi-scale features to fully mine the depth feature information in the hyperspectral image, thus further improving the classification accuracy of the hyperspectral image. The ground feature classification experiment was conducted on the two areas of Taihu Lake in Jiangsu and Chaohu Lake in Anhui captured by the “Zhuhai-1” satellite. The results show that, compared with other methods, this method can effectively solve the problem of insufficient depth feature extraction in hyperspectral image classification, thus showing better classification performance.

Key wordsdeconvolution    feature fusion    residual network    hyperspectral image classification
收稿日期: 2020-07-10      出版日期: 2021-07-21
ZTFLH:  TP79  
基金资助:十三五“蓝色粮仓科技创新”国家重点研发计划项目(2019YFD0900805);国家自然科学基金项目“基于激光测高和高分立体测绘卫星的大范围建(构)筑物灾害损失精细化评估方法研究”(41871325)
通讯作者: 杨树瑚
作者简介: 韩彦岭(1975-),女,博士,副教授,主要研究方向为高光谱遥感图像分类。Email: ylhan@shou.edu.cn
引用本文:   
韩彦岭, 崔鹏霞, 杨树瑚, 刘业锟, 王静, 张云. 基于残差网络特征融合的高光谱图像分类[J]. 国土资源遥感, 2021, 33(2): 11-19.
HAN Yanling, CUI Pengxia, YANG Shuhu, LIU Yekun, WANG Jing, ZHANG Yun. Classification of hyperspectral image based on feature fusion of residual network. Remote Sensing for Land & Resources, 2021, 33(2): 11-19.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2020209      或      https://www.gtzyyg.com/CN/Y2021/V33/I2/11
Fig.1  本文总体框架
Fig.2  残差网络构思图
Fig.3  改进的残差网络结构
Fig.4  卷积和反卷积
Fig.5  多尺度融合结构图
Fig.6  珠海一号B14(R),B7(G),B2(B)假彩色合成图像
Fig.7  实验区光谱曲线
类别 太湖 巢湖
训练数据 测试数据 训练数据 测试数据
湖水 4 983 5 069 4 767 5 308
房屋 4 809 4 803 4 984 4 451
农田 4 881 4 801 5 001 4 998
总计 14 673 14 673 14 755 14 757
Tab.1  数据集样本个数
层数 输出尺寸大小 卷积核大小及个数 步长 激活层
conv1i 27×27 3 × 3 32 3 × 3 32 3 × 3 32 1×1 ReLU
pool1 14×14 2×2
conv2i 14×14 3 × 3 64 3 × 3 64 3 × 3 64 1×1 ReLU
pool2 7×7 2×2
Dconv1 18×18 5×5 64 1×1 ReLU
Dconv2 9×9 3×3 64 1×1 ReLU
M1 18×18 32
conv3i 18×18 3 × 3 32 3 × 3 32 3 × 3 32 1×1 ReLU
pool1 9×9 2×2 ReLU
conv4i 9×9 3 × 3 64 3 × 3 64 3 × 3 64 1×1 ReLU
pool2 5×5 2×2 ReLU
conv5 4×4 3×3 128 1×1 ReLU
pool5 2×2 2×2
Tab.2  改进残差网络
层数 卷积核大小 卷积核个数 步长 激活函数
conv1 4×4 32 1×1 ReLU
pool1 2×2 2×2
conv2 5×5 64 1×1 ReLU
pool2 2×2 2×2
conv3 4×4 128 1×1 ReLU
Tab.3  CNN网络结构
层数 卷积核大小 卷积核个数 步长 激活函数
conv11 16 1×1 ReLU
conv12 16 ReLU
conv13 16 ReLU
pool1 2×2 2×2
conv21 32 ReLU
conv22 32 ReLU
conv23 32 ReLU
pool2 2×2 2×2
conv3 64 ReLU
Tab.4  传统残差网络
模型 太湖 巢湖
OA/% Kappa×100 OA/% Kappa×100
孪生网络 61.27 ± 0.86 52.12 ± 0.15 64.57 ± 0.59 53.48 ± 0.25
SVM 76.73 69.02 80.40 70.52
CNN 86.23 ± 0.92 79.44 ± 1.47 83.25 ± 1.22 75.08 ± 2.47
GLCMCNN 88.94 ± 0.26 80.23 ± 0.33 85.32 ± 0.46 78.23 ± 0.7
传统残差网络 90.07 ± 1.88 85.41 ± 2.83 89.26 ± 1.18 84.18 ± 1.56
本文方法 92.27 ± 2.45 86.60 ± 4.00 91.31 ± 3.07 87.14 ± 4.64
Tab.5  不同方法的对比结果
Fig.8  可视化结果
结果 8 16 32 40
OA/% 86.20±1.2 89.11±0.71 92.27±2.45 88.24±2.89
Kappa×100 79.58±1.81 83.96±1.18 86.60±4.00 82.65±4.26
Tab.6  不同卷积核个数下太湖数据的分类结果
结果 8 16 32 40
OA/% 87.00±1.09 90.20±1.54 91.31±3.07 89.48±4.18
Kappa×100 80.78±1.49 85.49±0.74 87.14±4.64 84.45±7.38
Tab.7  不同卷积核个数下巢湖数据的分类结果
结果 15×15 25×25 27×27 29×29
OA/% 77.88±2.37 90.04±1.08 92.27±2.45 91.03±4.31
Kappa×100 67.08±4.31 85.27±1.79 86.60±4.00 87.37±5.80
Tab.8  不同输入大小下太湖的分类结果
结果 15×15 25×25 27×27 29×29
OA/% 78.90±1.64 89.12±2.20 91.31±3.07 92.20±1.70
Kappa×100 68.62±1.78 83.94±3.26 87.14±4.64 88.99±1.87
Tab.9  不同输入大小下巢湖的分类结果
[1] 李秉璇, 周冰, 贺宣, 等. 针对高光谱图像的目标分类方法现状与展望[J]. 激光与红外, 2020, 50(3):259-265.
Li B X, Zhou B, He X, et al. Status and prospects of target classification methods for hyperspectral images[J]. Laser and Infrared, 2020, 50(3):259-265.
[2] 张亮. 基于PCA和SVM的高光谱遥感图像分类研究[J]. 光学技术, 2008, 34(s1):184-187.
Zhang L. Research on classification of hyperspectral remote sensing images based on PCA and SVM[J]. Optical Technology, 2008, 34(s1):184-187.
[3] 芦国军, 陈丽芳. 基于深度卷积神经网络的遥感图像场景分类[J]. 太原师范学院学报(自然科学版), 2019, 18(1):57-62.
Lu G J, Chen L F. Remote sensing image scene classification based on deep convolutional neural network[J]. Journal of Taiyuan Teachers College (Natural Science Edition), 2019, 18(1):57-62.
[4] 王云艳, 罗冷坤, 周志刚. 基于反卷积高层特征的遥感地物图像分类[J]. 计算机工程与应用, 2020, 56(11):200-206.
Wang Y Y, Luo L K, Zhou Z G. Remote sensing object image classification based on deconvolution high-level features[J]. Computer Engineering and Applications, 2020, 56(11):200-206.
[5] 于佩鑫, 周询, 刘素红, 等. 东北黑土区侵蚀沟遥感影像特征提取与识别[J]. 遥感学报, 2018, 22(4):611-620.
Yu P X, Zhou X, Liu S H, et al. Feature extraction and recognition of remote sensing image of eroded gully in black soil region of northeast China[J]. Journal of Remote Sensing, 2018, 22(4):611-620.
[6] He K M, Zhang X Y, Ren S Q, et al. Deep residual learning for image recognition[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, 6:770-778.
[7] 孟佳佳, 王弢. 基于深度残差网络的遥感数据分类[J]. 数字技术与应用, 2019, 37(1):99-101.
Meng J J, Wang T. Remote sensing data classification based on deep residual network[J]. Digital Technology and Application, 2019, 37(1):99-101.
[8] 张怡卓, 徐苗苗, 王小虎, 等. 残差网络分层融合的高光谱地物分类[J]. 光谱学与光谱分析, 2019, 39(11):3501-3507.
Zhang Y Z, Xu M M, Wang X H, et al. Classification of hyperspectral features by hierarchical fusion of residual networks[J]. Spectroscopy and Spectral Analysis, 2019, 39(11):3501-3507.
[9] 周俊宇, 赵艳明. 卷积神经网络在图像分类和目标检测应用综述[J]. 计算机工程与应用, 2017, 53(13):34-41.
Zhou J Y, Zhao Y M. Overview of the application of convolutional neural networks in image classification and target detection[J]. Computer Engineering and Applications, 2017, 53(13):34-41.
[10] 裴君岩, 刘义海. 基于多尺度感受野扩增融合的遥感目标检测算法[J]. 指挥控制与仿真, 2020, 42(1):34-39
Pei J Y, Liu Y H. Remote sensing target detection algorithm based on multi-scale receptive field amplification fusion[J]. Command Control and Simulation, 2020, 42(1):34-39.
[11] Nair V, Hinton G E. Rectified linear units improve restricted boltzmann machines[Z]. In ICML. 2010.
[12] Chen P H, Lin C J, Schölkopf, B. A tutorial on v-support vector machines[J]. Applied Stochastic Models in Business and Industry, 2005, 21(2):111-136.
doi: 10.1002/asmb.v21:2
[13] Krizhevsky A, Sutskever I, Hinton G. Imagenet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2):1-9.
[14] Su H, Wang Y, Xiao J, et al. Improving MODIS sea ice detectability using gray level co-occurrence matrix texture analysis method:A case study in the Bohai Sea[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2013, 85(85):13-20.
[1] 牛祥华, 黄微, 黄睿, 蒋斯立. 基于注意力特征融合的高保真遥感图像薄云去除[J]. 自然资源遥感, 2023, 35(3): 116-123.
[2] 郑宗生, 刘海霞, 王振华, 卢鹏, 沈绪坤, 唐鹏飞. 改进3D-CNN的高光谱图像地物分类方法[J]. 自然资源遥感, 2023, 35(2): 105-111.
[3] 姜亚楠, 张欣, 张春雷, 仲诚诚, 赵俊芳. 基于多尺度LBP特征融合的遥感图像分类[J]. 自然资源遥感, 2021, 33(3): 36-44.
[4] 刘万军, 高健康, 曲海成, 姜文涛. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3): 97-106.
[5] 卢麒, 秦军, 姚雪东, 吴艳兰, 朱皓辰. 基于多层次感知网络的GF-2遥感影像建筑物提取[J]. 国土资源遥感, 2021, 33(2): 75-84.
[6] 孙珂. 融合超像元与峰值密度特征的遥感影像分类[J]. 国土资源遥感, 2020, 32(4): 41-45.
[7] 姚本佐, 何芳. 空谱特征分层融合的高光谱图像特征提取[J]. 国土资源遥感, 2019, 31(3): 59-64.
[8] 阿茹罕, 何芳, 王标标. 加权空-谱主成分分析的高光谱图像分类[J]. 国土资源遥感, 2019, 31(2): 17-23.
[9] 刘万军, 李天慧, 曲海成. 基于Fisher准则和TrAdaboost的高光谱相似样本分类算法[J]. 国土资源遥感, 2018, 30(4): 41-48.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发