Please wait a minute...
 
国土资源遥感  2019, Vol. 31 Issue (1): 49-57    DOI: 10.6046/gtzyyg.2019.01.07
  技术方法 本期目录 | 过刊浏览 | 高级检索 |
聚合CNN特征的遥感图像检索
葛芸1,2, 江顺亮1, 叶发茂1(), 姜昌龙2, 陈英2, 唐祎玲1
1.南昌大学信息工程学院,南昌 330031
2.南昌航空大学软件学院,南昌 330063
Aggregating CNN features for remote sensing image retrieval
Yun GE1,2, Shunliang JIANG1, Famao YE1(), Changlong JIANG2, Ying CHEN2, Yiling TANG1
1.Information Engineering School, Nanchang University, Nanchang 330031, China
2.Software School, Nanchang Hangkong University, Nanchang 330063, China
全文: PDF(2170 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

针对高分辨率遥感图像检索中手工特征难以准确描述图像的问题,提出聚合卷积神经网络(convolutional neural network,CNN)特征的方法来改进特征表达。首先,将预训练的CNN参数迁移到遥感图像,并针对不同尺寸的输入图像,提取表达局部信息的CNN特征; 然后,对该CNN特征采用池化区域尺寸不同的均值池化和视觉词袋(bag of visual words,BoVW)2种聚合方法,分别得到池化特征和BoVW特征; 最后,将2种聚合特征用于遥感图像检索。实验结果表明: 合理的输入图像尺寸能提高聚合特征的表达能力; 当池化区域为特征图的60%80%时,绝大多数池化特征的结果优于传统均值池化方法的结果; 池化特征和BoVW特征的最优平均归一化修改检索等级值比手工特征分别降低了27.31%和21.51%,因此,均值池化和BoVW方法都能有效提高遥感图像的检索性能。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
葛芸
江顺亮
叶发茂
姜昌龙
陈英
唐祎玲
关键词 遥感图像检索卷积神经网络均值池化视觉词袋    
Abstract

In the high-resolution remote sensing image retrieval, it is difficult for hand-crafted features to describe the images accurately. Thus a method based on aggregating convolutional neural network(CNN) features is proposed to improve the feature representation. First, the parameters from CNN pre-trained on large-scale datasets are transferred for remote sensing images. Given input images with different sizes, the CNN features which represent local information are extracted. Then, average pooling with different pooling region sizes and bag of visual words (BoVW) are adopted to aggregate the CNN features. Pooling features and BoVW features are obtained accordingly. Finally, the above two aggregation features are utilized for remote sensing image retrieval. Experimental results demonstrate that the input image with reasonable size is capable of improving the feature representation. When the pooling region size is between 60% and 80% of the feature map, the vast majority of the results of pooling features are superior to those of the traditional average pooling method. The optimal average normalized modified retrieval rank values of pooling feature and BoVW feature are 27.31% and 21.51% lower than those of hand-crafted feature. Therefore, both the average pooling and BoVW can improve the remote sensing image retrieval performance efficiently.

Key wordsremote sensing image    retrieval    convolutional neural network    average pooling    bag of visual words
收稿日期: 2017-08-21      出版日期: 2019-03-15
:  TP79TP183  
基金资助:国家自然科学基金项目“高空间分辨率遥感图像检索中卷积神经网络迁移特征改进方法的研究”(41801288);“基于人工禁忌免疫原理的多源遥感图像自动配准研究”(41261091);“基于多变量自然场景统计和局部均值估计的无参考立体图像质量评价”(61662044);“基于深度神经网络和记忆机制的复杂环境目标跟踪研究”(61663031);江西省青年科学基金项目“基于虹膜生物特征密钥的无线传感器网络用户认证和访问权限的理论与新方法研究”共同资助(20161BAB212034)
通讯作者: 叶发茂
作者简介: 葛 芸(1983-),女,博士研究生,主要从事遥感图像检索和机器学习的研究。Email: geyun@nchu.edu.cn。
引用本文:   
葛芸, 江顺亮, 叶发茂, 姜昌龙, 陈英, 唐祎玲. 聚合CNN特征的遥感图像检索[J]. 国土资源遥感, 2019, 31(1): 49-57.
Yun GE, Shunliang JIANG, Famao YE, Changlong JIANG, Ying CHEN, Yiling TANG. Aggregating CNN features for remote sensing image retrieval. Remote Sensing for Land & Resources, 2019, 31(1): 49-57.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/gtzyyg.2019.01.07      或      https://www.gtzyyg.com/CN/Y2019/V31/I1/49
输入图像 conv5-3 relu5-3 pool5
224×224×3 14×14×512 14×14×512 7×7×512
256×256×3 16×16×512 16×16×512 8×8×512
600×600×3 38×38×512 38×38×512 19×19×512
Tab.1  不同尺寸输入图像下VGG16的输出值
输入图像 pool4 incep5a incep5b
224×224×3 7×7×832 7×7×832 7×7×1 024
256×256×3 8×8×832 8×8×832 8×8×1 024
600×600×3 18×18×832 18×18×832 18×18×1 024
Tab.2  不同尺寸输入图像下GoogLeNet的输出值
Fig.1  VGG16检索流程
Tab.3  UC-Merced和WHU-RS示例图像
Fig.2  VGG16中不同池化区域的ANMRR
Fig.3  GoogLeNet中不同池化区域的ANMRR
CNN 默认尺寸(224×224) 原始尺寸(256×256)
VGG16 conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
9×9 0.334 1 9×9 0.340 4 *4×4 0.324 3 11×11 0.341 8 10×10 0.342 0 4×4 0.327 6
10×10 0.333 7 10×10 0.340 8 5×5 0.324 5 12×12 0.343 0 11×11 0.342 4 5×5 0.326 2
14×14 0.361 4 14×14 0.368 2 7×7 0.356 7 16×16 0.369 3 16×16 0.369 9 8×8 0.358 9
GoogLeNet pool4 incep5a incep5b pool4 incep5a incep5b
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
*5×5 0.317 9 5×5 0.346 0 5×5 0.340 9 5×5 0.324 4 5×5 0.354 7 6×6 0.343 8
6×6 0.319 5 6×6 0.346 1 6×6 0.341 2 6×6 0.323 5 6×6 0.354 1 7×7 0.345 1
7×7 0.326 9 7×7 0.348 4 7×7 0.344 1 8×8 0.337 5 8×8 0.359 6 8×8 0.349 3
Tab.4  UC-Merced不同池化特征的ANMRR
CNN 默认尺寸(224×224) 原始尺寸(600×600)
VGG16 conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
10×10 0.240 0 12×12 0.273 6 5×5 0.253 5 30×30 0.237 5 28×28 0.243 1 *14×14 0.226 2
11×11 0.237 9 13×13 0.273 1 6×6 0.251 8 31×31 0.237 5 29×29 0.242 9 15×15 0.226 5
14×14 0.246 8 14×14 0.272 8 7×7 0.257 6 38×38 0.251 7 38×38 0.251 6 18×18 0.238 5
GoogLeNet pool4 incep5a incep5b pool4 incep5a incep5b
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
5×5 0.244 4 5×5 0.275 1 5×5 0.280 5 *14×14 0.232 1 16×16 0.262 5 16×16 0.250 9
6×6 0.242 5 6×6 0.272 0 6×6 0.276 0 15×15 0.232 3 17×17 0.262 8 17×17 0.250 6
7×7 0.245 3 7×7 0.270 1 7×7 0.273 4 18×18 0.241 5 18×18 0.263 4 18×18 0.251 0
Tab.5  WHU-RS不同池化特征的ANMRR
CNN 默认尺寸 (224×224) 原始尺寸 (256×256)
VGG16 K conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
100 0.408 5 0.469 9 0.424 9 0.425 7 0.480 9 0.444 7
150 *0.388 6 0.482 7 0.523 9 0.412 2 0.491 3 0.530 1
1 500 0.410 5 0.474 8 0.482 1 0.414 5 0.477 2 0.475 2
2 000 0.417 5 0.476 0 0.491 8 0.421 5 0.473 8 0.483 7
4 000 0.432 1 0.478 1 0.508 6 0.436 5 0.480 0 0.497 7
GoogLeNet K pool4 incep5a incep5b pool4 incep5a incep5b
100 0.408 6 *0.375 9 0.402 3 0.400 5 0.394 5 0.397 5
150 0.419 6 0.397 3 0.422 0 0.430 8 0.415 6 0.414 0
1 500 0.536 7 0.535 4 0.480 3 0.541 4 0.532 7 0.480 1
2 000 0.581 1 0.551 9 0.492 8 0.559 2 0.550 5 0.491 4
4 000 0.613 8 0.616 9 0.535 3 0.616 1 0.609 8 0.540 6
Tab.6  UC-Merced不同BoVW特征的ANMRR
CNN 默认尺寸 (224×224) 原始尺寸 (600×600)
VGG16 K conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
100 0.280 7 0.441 7 0.352 5 0.354 7 0.424 1 0.366 3
150 *0.249 1 0.414 2 0.370 1 0.323 9 0.462 0 0.370 7
1 500 0.275 2 0.411 2 0.391 8 0.268 2 0.356 6 0.355 7
2 000 0.279 6 0.431 6 0.408 6 0.270 5 0.367 6 0.352 2
4 000 0.311 5 0.425 4 0.440 1 0.278 7 0.350 8 0.344 5
GoogLeNet K pool4 incep5a incep5b pool4 incep5a incep5b
100 0.287 7 0.310 5 0.267 4 0.263 1 0.262 1 0.228 2
150 0.298 7 0.311 6 0.286 4 0.226 8 0.259 6 *0.214 9
1 500 0.440 4 0.449 4 0.425 7 0.278 8 0.304 2 0.258 7
2 000 0.469 5 0.488 8 0.423 7 0.289 4 0.309 0 0.262 1
4 000 0.653 8 0.656 0 0.491 4 0.309 5 0.337 0 0.283 6
Tab.7  WHU-RS不同BoVW特征的ANMRR
Fig.4  不同特征的查准率—查全率曲线
特征 ANMRR 维度
浅层特征 Aptoula [3] 0.575 0 62
BoVW [5] 0.591 0 15 000
BoVW [5] 0.601 0 150
LSL [6] 0.555 6 2 048
CNN特征 VGGM-fc [12] 0.378 0 4 096
VGGM-fc-RF [12] 0.316 0 4 096
VGG16-fc [13] 0.394 0 4 096
VGGM-conv5-IFK [13] 0.458 0 102
VGG16-conv5-IFK [13] 0.407 0 102
LDCNN [13] 0.439 0 30
GoogLeNet(FT)+MultiPatch[14] 0.314 0 1 024
VGG16-P 0.324 3 8 192
GoogLeNet-P 0.317 9 7 488
VGG16-B 0.388 6 150
GoogLeNet-B 0.375 9 100
Tab.8  不同特征的ANMRR和维度
[1] 朱佳丽, 李士进, 万定生 , 等. 基于特征选择和半监督学习的遥感图像检索[J]. 中国图象图形学报, 2011,16(8):1474-1482.
doi: 10.11834/jig.20110808
Zhu J L, Li S J, Wan D S , et al. Content-based remote sensing image retrieval based on feature selection and semi-supervised learning[J]. Journal of Image and Graphics, 2011,16(8):1474-1482.
[2] Demir B, Bruzzone L . A novel active learning method in relevance feedback for content-based remote sensing image retrieval[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,53(5):2323-2334.
doi: 10.1109/TGRS.2014.2358804
[3] Aptoula E . Remote sensing image retrieval with global morphological texture descriptors[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(5):3023-3034.
doi: 10.1109/TGRS.2013.2268736
[4] 陆丽珍, 刘仁义, 刘南 . 一种融合颜色和纹理特征的遥感图像检索方法[J]. 中国图象图形学报, 2004,9(3):328-333.
doi: 10.3969/j.issn.1006-8961.2004.03.013
Lu L Z, Liu R Y, Liu N . Remote sensing image retrieval using color and texture fused features[J]. Journal of Image and Graphics, 2004,9(3):328-333.
[5] Yang Y, Newsam S . Geographic image retrieval using local invariant features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013,51(2):818-832.
doi: 10.1109/TGRS.2012.2205158
[6] Du Z X, Li X L, Lu X Q . Local structure learning in high resolution remote sensing image retrieval[J].Neurocomputing, 2016(207):813-822.
doi: 10.1016/j.neucom.2016.05.061
[7] Babenko A, Slesarev A, Chigorin A, et al. Neural codes for image retrieval [C]//Proceedings of European Conference on Computer Vision.Springer, 2014: 584-599.
[8] Ng J Y, Yang F, Davis L S. Exploiting local features from deep networks for image [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition workshops.IEEE, 2015: 53-61.
[9] Babenko A, Lempitsky V. Aggregating deep convolutional features for image retrieval [C]//Proceedings of IEEE International Conference on Computer Vision.IEEE, 2015: 1269-1277.
[10] 周飞燕, 金林鹏, 董军 . 卷积神经网络研究综述[J]. 计算机学报, 2017,40(6):1229-1251.
doi: 10.11897/SP.J.1016.2017.01229
Zhou F Y, Jin L P, Dong J . Review of convolutional neural network[J]. Chinese Journal of Computers, 2017,40(6):1229-1251.
[11] 张洪群, 刘雪莹, 杨森 , 等. 深度学习的半监督遥感图像检索[J]. 遥感学报, 2017,21(3):406-414.
doi: 10.11834/jrs.20176105
Zhang H Q, Liu X Y, Yang S , et al. Retrieval of remote sensing images based on semisupervised deep learning[J].Journal of Remote Sensing, 21(3):406-414.
[12] Napoletano P . Visual descriptors for content-based retrieval of remote sensing images[J]. International Journal of Remote Sensing, 2018,39(5):1343-1376.
doi: 10.1080/01431161.2017.1399472
[13] Zhou W X, Newsam S, Li C , et al. Learning low dimensional convolutional neural networks for high-resolution remote sensing image retrieval[J]. Remote Sensing, 2017,9(5):489.
doi: 10.3390/rs9050489
[14] Hu F, Tong X Y, Xia G S, et al. Delving into deep representations for remote sensing image retrieval [C]//Proceedings of IEEE International Conference on Signal Processing.IEEE, 2016: 198-203.
[15] Simonyan K ,Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL]..
[16] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015: 1-9.
[17] Hu F, Xia G S, Hu J W , et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015,7(11):14680-14707.
doi: 10.3390/rs71114680
[18] Vedaldi A, Lenc K. MatConvNet:convolutional neural networks for MATLAB [C]//Proceedings of 23rd ACM International Conference on Multimedia.ACM, 2015: 689-692.
[1] 张大明, 张学勇, 李璐, 刘华勇. 一种超像素上Parzen窗密度估计的遥感图像分割方法[J]. 自然资源遥感, 2022, 34(1): 53-60.
[2] 任超锋, 蒲禹池, 张福强. 顾及地理空间信息的无人机影像匹配像对提取方法[J]. 自然资源遥感, 2022, 34(1): 85-92.
[3] 于新莉, 宋妍, 杨淼, 黄磊, 张艳杰. 结合空间约束的卷积神经网络多模型多尺度船企场景识别[J]. 自然资源遥感, 2021, 33(4): 72-81.
[4] 李轶鲲, 杨洋, 杨树文, 王子浩. 耦合模糊C均值聚类和贝叶斯网络的遥感影像后验概率空间变化向量分析[J]. 自然资源遥感, 2021, 33(4): 82-88.
[5] 刘万军, 高健康, 曲海成, 姜文涛. 多尺度特征增强的遥感图像舰船目标检测[J]. 自然资源遥感, 2021, 33(3): 97-106.
[6] 仇一帆, 柴登峰. 无人工标注数据的Landsat影像云检测深度学习方法[J]. 国土资源遥感, 2021, 33(1): 102-107.
[7] 刘钊, 赵桐, 廖斐凡, 李帅, 李海洋. 基于语义分割网络的高分遥感影像城市建成区提取方法研究与对比分析[J]. 国土资源遥感, 2021, 33(1): 45-53.
[8] 王小兵. 融合提升小波阈值与多方向边缘检测的矿区遥感图像去噪[J]. 国土资源遥感, 2020, 32(4): 46-52.
[9] 卫虹宇, 赵银娣, 董霁红. 基于改进RetinaNet的冷却塔目标检测[J]. 国土资源遥感, 2020, 32(4): 68-73.
[10] 刘钊, 廖斐凡, 赵桐. 基于PSPNet的遥感影像城市建成区提取及其优化方法[J]. 国土资源遥感, 2020, 32(4): 84-89.
[11] 刘尚旺, 崔智勇, 李道义. 基于Unet网络多任务学习的遥感图像建筑地物语义分割[J]. 国土资源遥感, 2020, 32(4): 74-83.
[12] 蔡之灵, 翁谦, 叶少珍, 简彩仁. 基于Inception-V3模型的高分遥感影像场景分类[J]. 国土资源遥感, 2020, 32(3): 80-89.
[13] 吴同, 彭玲, 胡媛. 基于SU-RetinaNet的高分辨率遥感影像非正规垃圾堆检测[J]. 国土资源遥感, 2020, 32(3): 90-97.
[14] 李宇, 肖春姣, 张洪群, 李湘眷, 陈俊. 深度卷积融合条件随机场的遥感图像语义分割[J]. 国土资源遥感, 2020, 32(3): 15-22.
[15] 叶发茂, 罗威, 苏燕飞, 赵旭青, 肖慧, 闵卫东. 卷积神经网络特征在遥感图像配准中的应用[J]. 国土资源遥感, 2019, 31(2): 32-37.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发