Please wait a minute...
 
国土资源遥感  2019, Vol. 31 Issue (2): 32-37    DOI: 10.6046/gtzyyg.2019.02.05
  技术方法 本期目录 | 过刊浏览 | 高级检索 |
卷积神经网络特征在遥感图像配准中的应用
叶发茂, 罗威, 苏燕飞, 赵旭青, 肖慧, 闵卫东()
南昌大学信息工程学院,南昌 330031
Application of convolutional neural network feature to remote sensing image registration
Famao YE, Wei LUO, Yanfei SU, Xuqing ZHAO, Hui XIAO, Weidong MIN()
School of Information Engineering, Nanchang University, Nanchang, 330031, China
全文: PDF(5628 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

遥感图像配准是许多遥感应用的重要步骤之一。卷积神经网络(convolutional neural network, CNN)提取的图像高层特征在图像分类和检索问题上表现优异,能够克服低层配准特征的表达能力有限、容易受到干扰等问题。因此对利用CNN特征进行遥感图像配准开展研究。首先,针对遥感图像配准问题,对CNN中的全连接层特征和不同聚合大小的卷积层特征进行了研究; 然后,对利用CNN特征进行图像配准的方法进行了分析; 最后,将CNN特征与尺度不变特征变换(scale-invariant feature transform, SIFT)特征在图像的旋转角度、缩放倍数和亮度依次变换时的配准性能进行了对比分析。实验结果表明,在匹配精度和正确对应点的数量方面,CNN特征比SIFT方法具有更好的匹配性能; 对变换后的图像而言,微调后的CNN特征比SIFT特征具有更强的鲁棒性。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
叶发茂
罗威
苏燕飞
赵旭青
肖慧
闵卫东
关键词 卷积神经网络遥感图像配准聚合卷积特征尺度不变特征变换(SIFT)    
Abstract

Successful remote sensing image registration is one of the foundations of many remote sensing applications. Image high-lever features extracted by convolutional neural network (CNN) have achieved excellent performance in image classification and retrieval, and can be used to solve some problems of low-lever image registration features, such as the limitation of expression capability and easily being interfered. Hence, in this paper, the authors investigated the problem as to how to use CNN feature for remote sensing image registration. First, the authors investigated different CNN features from fully connected layers and aggregating convolutional features with different sizes from convolutional layer to register remote sensing image. Then the authors introduced the procedure by using CNN feature for image registration. Finally, the authors compared the registration performances of CNN features and scale-invariant feature transform (SIFT) features after the transformation of the image’s perspective, brightness and scale, respectively. The experimental results show that the CNN feature has better matching performance than the SIFT method in terms of matching accuracy and correct number of corresponding points. The finely tuned CNN feature has stronger robustness to the transformed image than the SIFT feature.

Key wordsconvolutional neural network    remote sensing image registration    aggregating convolutional features    scale-invariant feature transform (SIFT)
收稿日期: 2018-03-21      出版日期: 2019-05-23
:  TP79  
基金资助:国家自然科学基金项目“基于人工禁忌免疫原理的多源遥感图像自动配准研究”(41261091);“基于多变量自然场景统计和局部均值估计的无参考立体图像质量评价”(61662044);“单摄像机在复杂背景下基于行为特征模型的摔倒检测研究”(61762061);江西省自然科学基金项目“在复杂背景下基于单摄像机的摔倒检测的关键技术研究”共同资助(20161ACB20004)
通讯作者: 闵卫东
作者简介: 叶发茂(1978-),男,副教授,主要从事遥感图像处理和人工智能方面研究。Email: yefamao@ncu.edu.cn。
引用本文:   
叶发茂, 罗威, 苏燕飞, 赵旭青, 肖慧, 闵卫东. 卷积神经网络特征在遥感图像配准中的应用[J]. 国土资源遥感, 2019, 31(2): 32-37.
Famao YE, Wei LUO, Yanfei SU, Xuqing ZHAO, Hui XIAO, Weidong MIN. Application of convolutional neural network feature to remote sensing image registration. Remote Sensing for Land & Resources, 2019, 31(2): 32-37.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2019.02.05      或      https://www.gtzyyg.com/CN/Y2019/V31/I2/32
Fig.1  AlexNet模型架构
Fig.2  基于CNN特征的图像配准流程
Fig.3  多波段合成彩色遥感图像对
Fig.4  Landsat TM单波段图像对
特征 P-A图像 P-B图像 P-C图像 P-D图像
RMSall RMSLOO Nred RMSall RMSLOO Nred RMSall RMSLOO Nred RMSall RMSLOO Nred
SIFT 0.040 8 0.040 9 64 0.092 1 0.094 1 24 0.070 5 0.070 6 42 0.913 4 1.015 0 7
FC7fine-tuning 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.038 1 0.039 0 49 0.800 2 0.820 2 8
FC6fine-tuning 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.036 2 0.037 1 50 0.662 2 0.839 8 11
Agg1fine-tuning 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.036 2 0.037 1 50 0.698 7 1.077 3 10
Agg2fine-tuning 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.036 2 0.037 1 50 0.670 0 0.714 4 10
Agg3fine-tuning 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.038 1 0.039 0 49 0.737 1 0.758 8 7
Agg4fine-tuning 0.043 1 0.043 3 56 0.109 8 0.111 5 22 0.038 1 0.039 0 49 2.656 5 3.116 7 3
FC7pre-trained 0.038 0 0.038 1 65 0.094 6 0.097 3 25 0.043 3 0.044 4 43 1.893 5 3.635 3 4
FC6pre-trained 0.037 7 0.037 8 71 0.079 6 0.081 3 27 0.042 8 0.043 8 46 1.286 7 1.311 3 5
Agg1pre-trained 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.038 1 0.039 0 49 0.800 2 0.820 2 8
Agg2pre-trained 0.034 2 0.034 2 72 0.079 6 0.081 3 27 0.040 6 0.041 5 48 1.044 4 1.339 5 7
Agg3pre-trained 0.037 9 0.038 0 70 0.079 6 0.081 3 27 0.040 6 0.041 5 48 0.732 0 0.762 7 8
Agg4pre-trained 0.063 8 0.065 6 18 0.263 2 0.261 3 9 0.040 7 0.041 6 46 9.711 4 11.32 4 3
Tab.1  不同特征的图像配准精度
Fig.5  4幅图像不同变换下的Nred
[1] Zitova B, Flusser J . Image registration methods:A survey[J]. Image and Vision Computing, 2003,21(11):977-1000.
doi: 10.1016/S0262-8856(03)00137-9
[2] Gong M, Zhao S, Jiao L , et al. A novel coarse-to-fine scheme for automatic image registration based on sift and mutual information[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(7):4328-4338.
doi: 10.1109/TGRS.2013.2281391
[3] 张谦, 贾永红, 胡忠文 . 多源遥感影像配准中的SIFT特征匹配改进[J]. 武汉大学学报(信息科学版), 2013,38(4):455-459.
Zhang Q, Jia Y H, Hu Z W . An improved SIFT algorithm for multi-source remote sensing image registration[J]. Geomatics and Information Science of Wuhan University, 2013,38(4):455-459.
[4] 李少毅, 王晓田, 杨开 . 改进的SURF彩色遥感图像配准算法[J]. 计算机测量与控制, 2017,25(1):209-212.
Li S Y, Wang X T, Yang K . An improved SURF algorithm for color remote sensing image registration[J]. Computer Measurement and Control, 2017,25(1):209-212.
[5] Yang K, Karlstrom L, Smith L C , et al. Automated high-resolution satellite image registration using supraglacial rivers on the Greenland ice sheet[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017,99:1-12.
[6] Krizhevsky A, Sutskever I, Hinton G E . ImageNet classification with deep convolutional neural networks[J]. Advance in Neural Information Processing Systems, 2012,25(2):1097-1105.
[7] Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL].( 2015- 04- 10). http://arxiv.org/pdf/1409.1556.pdf.
[8] Chandrasekhar V, Lin J, Morère O , et al. A practical guide to CNNs and fisher vectors for image instance retrieval[J]. Signal Processing, 2015,128:426-439.
[9] 罗建豪, 吴建鑫 . 基于深度卷积特征的细粒度图像分类研究综述[J]. 自动化学报, 2017,43(8):1306-1318.
Luo J H, Wu J X . A survey on fine-grained image categorization using deep convolutional features[J]. Acta Automatica Sinica, 2017,43(8):1306-1318.
[10] 张洪群, 刘雪莹, 杨森 , 等. 深度学习的半监督遥感图像检索[J]. 遥感学报, 2017,21(3):406-414.
Zhang H Q, Liu X Y, Yang S , et al. Retrieval of remote sensing images based on semisupervised deep learning[J]. Journal of Remote Sensing, 2017,21(3):406-414.
[11] 刘峰, 沈同圣, 马新星 . 特征融合的卷积神经网络多波段舰船目标识别[J]. 光学学报, 2017,37(10):248-256.
Liu F, Shen T S, Ma X X . Convolutional neural network based multi-band ship target recognition with feature fusion[J]. Acta Optica Sinica, 2017,37(10):248-256.
[12] Zhu G, Wang Q, Yuan Y , et al. SIFT on manifold:An intrinsic description[J]. Neurocomputing, 2013,113(7):227-233.
doi: 10.1016/j.neucom.2013.01.020
[13] Yosinski J, Clune J, Bengio Y , et al. How transferable are features in deep neural networks?[C]//International Conference on Neural Information Processing Systems. MIT Press, 2014: 3320-3328.
[14] Babenko A,Lempitsky V.Aggregating deep convolutional features for image retrieval[EB/OL].( 2015- 10- 26). http://arxiv.org/pdf/1510.07493v1.pdf.
[15] Wei X S, Luo J H, Wu J , et al. Selective convolutional descriptor aggregation for fine-grained image retrieval[J]. IEEE Transactions on Image Processing, 2017,26(6):2868-2881.
doi: 10.1109/TIP.2017.2688133
[16] Goncalves H, Goncalves J A, Corte-Real L . Measures for an objective evaluation of the geometric correction process quality[J]. IEEE Geoscience and Remote Sensing Letters, 2009,6(2):292-296.
doi: 10.1109/LGRS.2008.2012441
[1] 于新莉, 宋妍, 杨淼, 黄磊, 张艳杰. 结合空间约束的卷积神经网络多模型多尺度船企场景识别[J]. 自然资源遥感, 2021, 33(4): 72-81.
[2] 刘万军, 高健康, 曲海成, 姜文涛. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3): 97-106.
[3] 刘钊, 赵桐, 廖斐凡, 李帅, 李海洋. 基于语义分割网络的高分遥感影像城市建成区提取方法研究与对比分析[J]. 国土资源遥感, 2021, 33(1): 45-53.
[4] 仇一帆, 柴登峰. 无人工标注数据的Landsat影像云检测深度学习方法[J]. 国土资源遥感, 2021, 33(1): 102-107.
[5] 卫虹宇, 赵银娣, 董霁红. 基于改进RetinaNet的冷却塔目标检测[J]. 国土资源遥感, 2020, 32(4): 68-73.
[6] 刘钊, 廖斐凡, 赵桐. 基于PSPNet的遥感影像城市建成区提取及其优化方法[J]. 国土资源遥感, 2020, 32(4): 84-89.
[7] 李宇, 肖春姣, 张洪群, 李湘眷, 陈俊. 深度卷积融合条件随机场的遥感图像语义分割[J]. 国土资源遥感, 2020, 32(3): 15-22.
[8] 蔡之灵, 翁谦, 叶少珍, 简彩仁. 基于Inception-V3模型的高分遥感影像场景分类[J]. 国土资源遥感, 2020, 32(3): 80-89.
[9] 吴同, 彭玲, 胡媛. 基于SU-RetinaNet的高分辨率遥感影像非正规垃圾堆检测[J]. 国土资源遥感, 2020, 32(3): 90-97.
[10] 谢奇芳, 姚国清, 张猛. 基于Faster R-CNN的高分辨率图像目标检测技术[J]. 国土资源遥感, 2019, 31(2): 38-43.
[11] 周阳, 张云生, 陈斯飏, 邹峥嵘, 朱耀晨, 赵芮雪. 基于DCNN特征的建筑物震害损毁区域检测[J]. 国土资源遥感, 2019, 31(2): 44-50.
[12] 葛芸, 江顺亮, 叶发茂, 姜昌龙, 陈英, 唐祎玲. 聚合CNN特征的遥感图像检索[J]. 国土资源遥感, 2019, 31(1): 49-57.
[13] 张康, 黑保琴, 李盛阳, 邵雨阳. 基于CNN模型的遥感图像复杂场景分类[J]. 国土资源遥感, 2018, 30(4): 49-55.
[14] 金永涛, 杨秀峰, 高涛, 郭会敏, 刘世盟. 基于面向对象与深度学习的典型地物提取[J]. 国土资源遥感, 2018, 30(1): 22-29.
[15] 李孚煜, 叶发茂. 基于SIFT的遥感图像配准技术综述[J]. 国土资源遥感, 2016, 28(2): 14-20.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发