Please wait a minute...
国土资源遥感  2019, Vol. 31 Issue (1): 49-57    DOI: 10.6046/gtzyyg.2019.01.07
  技术方法 本期目录 | 过刊浏览 | 高级检索 |
聚合CNN特征的遥感图像检索
葛芸1,2,江顺亮1,叶发茂1(),姜昌龙2,陈英2,唐祎玲1
1.南昌大学信息工程学院,南昌 330031
2.南昌航空大学软件学院,南昌 330063
Aggregating CNN features for remote sensing image retrieval
Yun GE1,2,Shunliang JIANG1,Famao YE1(),Changlong JIANG2,Ying CHEN2,Yiling TANG1
1.Information Engineering School, Nanchang University, Nanchang 330031, China
2.Software School, Nanchang Hangkong University, Nanchang 330063, China
全文: PDF(2170 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

针对高分辨率遥感图像检索中手工特征难以准确描述图像的问题,提出聚合卷积神经网络(convolutional neural network,CNN)特征的方法来改进特征表达。首先,将预训练的CNN参数迁移到遥感图像,并针对不同尺寸的输入图像,提取表达局部信息的CNN特征; 然后,对该CNN特征采用池化区域尺寸不同的均值池化和视觉词袋(bag of visual words,BoVW)2种聚合方法,分别得到池化特征和BoVW特征; 最后,将2种聚合特征用于遥感图像检索。实验结果表明: 合理的输入图像尺寸能提高聚合特征的表达能力; 当池化区域为特征图的60%80%时,绝大多数池化特征的结果优于传统均值池化方法的结果; 池化特征和BoVW特征的最优平均归一化修改检索等级值比手工特征分别降低了27.31%和21.51%,因此,均值池化和BoVW方法都能有效提高遥感图像的检索性能。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
葛芸
江顺亮
叶发茂
姜昌龙
陈英
唐祎玲
关键词 遥感图像检索卷积神经网络均值池化视觉词袋    
Abstract

In the high-resolution remote sensing image retrieval, it is difficult for hand-crafted features to describe the images accurately. Thus a method based on aggregating convolutional neural network(CNN) features is proposed to improve the feature representation. First, the parameters from CNN pre-trained on large-scale datasets are transferred for remote sensing images. Given input images with different sizes, the CNN features which represent local information are extracted. Then, average pooling with different pooling region sizes and bag of visual words (BoVW) are adopted to aggregate the CNN features. Pooling features and BoVW features are obtained accordingly. Finally, the above two aggregation features are utilized for remote sensing image retrieval. Experimental results demonstrate that the input image with reasonable size is capable of improving the feature representation. When the pooling region size is between 60% and 80% of the feature map, the vast majority of the results of pooling features are superior to those of the traditional average pooling method. The optimal average normalized modified retrieval rank values of pooling feature and BoVW feature are 27.31% and 21.51% lower than those of hand-crafted feature. Therefore, both the average pooling and BoVW can improve the remote sensing image retrieval performance efficiently.

Key wordsremote sensing image    retrieval    convolutional neural network    average pooling    bag of visual words
收稿日期: 2017-08-21      出版日期: 2019-03-15
ZTFLH:  TP79TP183  
基金资助:国家自然科学基金项目“高空间分辨率遥感图像检索中卷积神经网络迁移特征改进方法的研究”(41801288);“基于人工禁忌免疫原理的多源遥感图像自动配准研究”(41261091);“基于多变量自然场景统计和局部均值估计的无参考立体图像质量评价”(61662044);“基于深度神经网络和记忆机制的复杂环境目标跟踪研究”(61663031);江西省青年科学基金项目“基于虹膜生物特征密钥的无线传感器网络用户认证和访问权限的理论与新方法研究”共同资助(20161BAB212034)
通讯作者: 叶发茂     E-mail: yefamao@ncu.edu.cn
作者简介: 葛 芸(1983-),女,博士研究生,主要从事遥感图像检索和机器学习的研究。Email: geyun@nchu.edu.cn。
引用本文:   
葛芸,江顺亮,叶发茂,姜昌龙,陈英,唐祎玲. 聚合CNN特征的遥感图像检索[J]. 国土资源遥感, 2019, 31(1): 49-57.
Yun GE,Shunliang JIANG,Famao YE,Changlong JIANG,Ying CHEN,Yiling TANG. Aggregating CNN features for remote sensing image retrieval. Remote Sensing for Land & Resources, 2019, 31(1): 49-57.
链接本文:  
http://www.gtzyyg.com/CN/10.6046/gtzyyg.2019.01.07      或      http://www.gtzyyg.com/CN/Y2019/V31/I1/49
输入图像 conv5-3 relu5-3 pool5
224×224×3 14×14×512 14×14×512 7×7×512
256×256×3 16×16×512 16×16×512 8×8×512
600×600×3 38×38×512 38×38×512 19×19×512
Tab.1  不同尺寸输入图像下VGG16的输出值
输入图像 pool4 incep5a incep5b
224×224×3 7×7×832 7×7×832 7×7×1 024
256×256×3 8×8×832 8×8×832 8×8×1 024
600×600×3 18×18×832 18×18×832 18×18×1 024
Tab.2  不同尺寸输入图像下GoogLeNet的输出值
Fig.1  VGG16检索流程
Tab.3  UC-Merced和WHU-RS示例图像
Fig.2  VGG16中不同池化区域的ANMRR
Fig.3  GoogLeNet中不同池化区域的ANMRR
CNN 默认尺寸(224×224) 原始尺寸(256×256)
VGG16 conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
9×9 0.334 1 9×9 0.340 4 *4×4 0.324 3 11×11 0.341 8 10×10 0.342 0 4×4 0.327 6
10×10 0.333 7 10×10 0.340 8 5×5 0.324 5 12×12 0.343 0 11×11 0.342 4 5×5 0.326 2
14×14 0.361 4 14×14 0.368 2 7×7 0.356 7 16×16 0.369 3 16×16 0.369 9 8×8 0.358 9
GoogLeNet pool4 incep5a incep5b pool4 incep5a incep5b
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
*5×5 0.317 9 5×5 0.346 0 5×5 0.340 9 5×5 0.324 4 5×5 0.354 7 6×6 0.343 8
6×6 0.319 5 6×6 0.346 1 6×6 0.341 2 6×6 0.323 5 6×6 0.354 1 7×7 0.345 1
7×7 0.326 9 7×7 0.348 4 7×7 0.344 1 8×8 0.337 5 8×8 0.359 6 8×8 0.349 3
Tab.4  UC-Merced不同池化特征的ANMRR
CNN 默认尺寸(224×224) 原始尺寸(600×600)
VGG16 conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
10×10 0.240 0 12×12 0.273 6 5×5 0.253 5 30×30 0.237 5 28×28 0.243 1 *14×14 0.226 2
11×11 0.237 9 13×13 0.273 1 6×6 0.251 8 31×31 0.237 5 29×29 0.242 9 15×15 0.226 5
14×14 0.246 8 14×14 0.272 8 7×7 0.257 6 38×38 0.251 7 38×38 0.251 6 18×18 0.238 5
GoogLeNet pool4 incep5a incep5b pool4 incep5a incep5b
尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR 尺寸 ANMRR
5×5 0.244 4 5×5 0.275 1 5×5 0.280 5 *14×14 0.232 1 16×16 0.262 5 16×16 0.250 9
6×6 0.242 5 6×6 0.272 0 6×6 0.276 0 15×15 0.232 3 17×17 0.262 8 17×17 0.250 6
7×7 0.245 3 7×7 0.270 1 7×7 0.273 4 18×18 0.241 5 18×18 0.263 4 18×18 0.251 0
Tab.5  WHU-RS不同池化特征的ANMRR
CNN 默认尺寸 (224×224) 原始尺寸 (256×256)
VGG16 K conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
100 0.408 5 0.469 9 0.424 9 0.425 7 0.480 9 0.444 7
150 *0.388 6 0.482 7 0.523 9 0.412 2 0.491 3 0.530 1
1 500 0.410 5 0.474 8 0.482 1 0.414 5 0.477 2 0.475 2
2 000 0.417 5 0.476 0 0.491 8 0.421 5 0.473 8 0.483 7
4 000 0.432 1 0.478 1 0.508 6 0.436 5 0.480 0 0.497 7
GoogLeNet K pool4 incep5a incep5b pool4 incep5a incep5b
100 0.408 6 *0.375 9 0.402 3 0.400 5 0.394 5 0.397 5
150 0.419 6 0.397 3 0.422 0 0.430 8 0.415 6 0.414 0
1 500 0.536 7 0.535 4 0.480 3 0.541 4 0.532 7 0.480 1
2 000 0.581 1 0.551 9 0.492 8 0.559 2 0.550 5 0.491 4
4 000 0.613 8 0.616 9 0.535 3 0.616 1 0.609 8 0.540 6
Tab.6  UC-Merced不同BoVW特征的ANMRR
CNN 默认尺寸 (224×224) 原始尺寸 (600×600)
VGG16 K conv5-3 relu5-3 pool5 conv5-3 relu5-3 pool5
100 0.280 7 0.441 7 0.352 5 0.354 7 0.424 1 0.366 3
150 *0.249 1 0.414 2 0.370 1 0.323 9 0.462 0 0.370 7
1 500 0.275 2 0.411 2 0.391 8 0.268 2 0.356 6 0.355 7
2 000 0.279 6 0.431 6 0.408 6 0.270 5 0.367 6 0.352 2
4 000 0.311 5 0.425 4 0.440 1 0.278 7 0.350 8 0.344 5
GoogLeNet K pool4 incep5a incep5b pool4 incep5a incep5b
100 0.287 7 0.310 5 0.267 4 0.263 1 0.262 1 0.228 2
150 0.298 7 0.311 6 0.286 4 0.226 8 0.259 6 *0.214 9
1 500 0.440 4 0.449 4 0.425 7 0.278 8 0.304 2 0.258 7
2 000 0.469 5 0.488 8 0.423 7 0.289 4 0.309 0 0.262 1
4 000 0.653 8 0.656 0 0.491 4 0.309 5 0.337 0 0.283 6
Tab.7  WHU-RS不同BoVW特征的ANMRR
Fig.4  不同特征的查准率—查全率曲线
特征 ANMRR 维度
浅层特征 Aptoula [3] 0.575 0 62
BoVW [5] 0.591 0 15 000
BoVW [5] 0.601 0 150
LSL [6] 0.555 6 2 048
CNN特征 VGGM-fc [12] 0.378 0 4 096
VGGM-fc-RF [12] 0.316 0 4 096
VGG16-fc [13] 0.394 0 4 096
VGGM-conv5-IFK [13] 0.458 0 102
VGG16-conv5-IFK [13] 0.407 0 102
LDCNN [13] 0.439 0 30
GoogLeNet(FT)+MultiPatch[14] 0.314 0 1 024
VGG16-P 0.324 3 8 192
GoogLeNet-P 0.317 9 7 488
VGG16-B 0.388 6 150
GoogLeNet-B 0.375 9 100
Tab.8  不同特征的ANMRR和维度
[1] 朱佳丽, 李士进, 万定生 , 等. 基于特征选择和半监督学习的遥感图像检索[J]. 中国图象图形学报, 2011,16(8):1474-1482.
doi: 10.11834/jig.20110808
Zhu J L, Li S J, Wan D S , et al. Content-based remote sensing image retrieval based on feature selection and semi-supervised learning[J]. Journal of Image and Graphics, 2011,16(8):1474-1482.
doi: 10.11834/jig.20110808
[2] Demir B, Bruzzone L . A novel active learning method in relevance feedback for content-based remote sensing image retrieval[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015,53(5):2323-2334.
doi: 10.1109/TGRS.2014.2358804
[3] Aptoula E . Remote sensing image retrieval with global morphological texture descriptors[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,52(5):3023-3034.
doi: 10.1109/TGRS.2013.2268736
[4] 陆丽珍, 刘仁义, 刘南 . 一种融合颜色和纹理特征的遥感图像检索方法[J]. 中国图象图形学报, 2004,9(3):328-333.
doi: 10.3969/j.issn.1006-8961.2004.03.013
Lu L Z, Liu R Y, Liu N . Remote sensing image retrieval using color and texture fused features[J]. Journal of Image and Graphics, 2004,9(3):328-333.
doi: 10.3969/j.issn.1006-8961.2004.03.013
[5] Yang Y, Newsam S . Geographic image retrieval using local invariant features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013,51(2):818-832.
doi: 10.1109/TGRS.2012.2205158
[6] Du Z X, Li X L, Lu X Q . Local structure learning in high resolution remote sensing image retrieval[J].Neurocomputing, 2016(207):813-822.
doi: 10.1016/j.neucom.2016.05.061
[7] Babenko A, Slesarev A, Chigorin A, et al. Neural codes for image retrieval [C]//Proceedings of European Conference on Computer Vision.Springer, 2014: 584-599.
[8] Ng J Y, Yang F, Davis L S. Exploiting local features from deep networks for image [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition workshops.IEEE, 2015: 53-61.
[9] Babenko A, Lempitsky V. Aggregating deep convolutional features for image retrieval [C]//Proceedings of IEEE International Conference on Computer Vision.IEEE, 2015: 1269-1277.
[10] 周飞燕, 金林鹏, 董军 . 卷积神经网络研究综述[J]. 计算机学报, 2017,40(6):1229-1251.
doi: 10.11897/SP.J.1016.2017.01229
Zhou F Y, Jin L P, Dong J . Review of convolutional neural network[J]. Chinese Journal of Computers, 2017,40(6):1229-1251.
doi: 10.11897/SP.J.1016.2017.01229
[11] 张洪群, 刘雪莹, 杨森 , 等. 深度学习的半监督遥感图像检索[J]. 遥感学报, 2017,21(3):406-414.
doi: 10.11834/jrs.20176105
Zhang H Q, Liu X Y, Yang S , et al. Retrieval of remote sensing images based on semisupervised deep learning[J].Journal of Remote Sensing, 21(3):406-414.
doi: 10.11834/jrs.20176105
[12] Napoletano P . Visual descriptors for content-based retrieval of remote sensing images[J]. International Journal of Remote Sensing, 2018,39(5):1343-1376.
doi: 10.1080/01431161.2017.1399472
[13] Zhou W X, Newsam S, Li C , et al. Learning low dimensional convolutional neural networks for high-resolution remote sensing image retrieval[J]. Remote Sensing, 2017,9(5):489.
doi: 10.3390/rs9050489
[14] Hu F, Tong X Y, Xia G S, et al. Delving into deep representations for remote sensing image retrieval [C]//Proceedings of IEEE International Conference on Signal Processing.IEEE, 2016: 198-203.
[15] Simonyan K ,Zisserman A.Very deep convolutional networks for large-scale image recognition[EB/OL]..
[16] Szegedy C, Liu W, Jia Y Q, et al. Going deeper with convolutions [C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2015: 1-9.
[17] Hu F, Xia G S, Hu J W , et al. Transferring deep convolutional neural networks for the scene classification of high-resolution remote sensing imagery[J]. Remote Sensing, 2015,7(11):14680-14707.
doi: 10.3390/rs71114680
[18] Vedaldi A, Lenc K. MatConvNet:convolutional neural networks for MATLAB [C]//Proceedings of 23rd ACM International Conference on Multimedia.ACM, 2015: 689-692.
[1] 张康,黑保琴,李盛阳,邵雨阳. 基于CNN模型的遥感图像复杂场景分类[J]. 国土资源遥感, 2018, 30(4): 49-55.
[2] 胡屹群,周绍光,岳顺,刘晓晴. 利用局部稀疏不变特征的遥感影像检索[J]. 国土资源遥感, 2018, 30(2): 38-44.
[3] 金永涛, 杨秀峰, 高涛, 郭会敏, 刘世盟. 基于面向对象与深度学习的典型地物提取[J]. 国土资源遥感, 2018, 30(1): 22-29.
[4] 杨萍, 李轶鲲, 胡玉玺, 杨树文. 融合相容粒理论的遥感图像检索[J]. 国土资源遥感, 2017, 29(4): 43-47.
[5] 徐金东, 倪梦莹, 童向荣, 张艳洁, 郑强. 一种基于多尺度稀疏分解的遥感图像融合新方法[J]. 国土资源遥感, 2017, 29(3): 51-58.
[6] 胡玉玺, 李轶鲲, 杨萍. 基于上下文敏感的贝叶斯网络及方向关系的遥感图像检索[J]. 国土资源遥感, 2017, 29(3): 70-76.
[7] 丁海勇, 罗海滨, 郭瑞瑞. 基于非下采样轮廓变换与模糊理论的遥感图像增强[J]. 国土资源遥感, 2017, 29(3): 25-31.
[8] 刘小丹, 于宁, 邱红圆. 基于谱直方图的遥感图像分层次多尺度植被分割[J]. 国土资源遥感, 2017, 29(2): 82-89.
[9] 鲁锦涛, 马丽. 基于流形对齐的高光谱遥感图像降维和分类算法[J]. 国土资源遥感, 2017, 29(1): 104-109.
[10] 杨青山, 张华. 融合像元形状和光谱信息的高分遥感图像分类新方法[J]. 国土资源遥感, 2016, 28(4): 64-70.
[11] 谭媛, 黄辉先, 徐建闽, 陈任. 基于改进Sobel算子的遥感图像道路边缘检测方法[J]. 国土资源遥感, 2016, 28(3): 7-11.
[12] 梁若飞, 杨风暴, 王毅敏, 孟颖晨, 卫红. 一种类矩形引导的玉米田遥感图像分割算法[J]. 国土资源遥感, 2016, 28(3): 53-59.
[13] 胡玉玺, 李轶鲲, 杨树文, 杨萍, 雍万铃. 基于内容的遥感图像数据库城市区域检索[J]. 国土资源遥感, 2016, 28(3): 67-72.
[14] 董保根, 车森, 解龙根, 单国慧, 何乔. Mode滤波器及其在遥感分类后处理中的应用[J]. 国土资源遥感, 2016, 28(2): 62-66.
[15] 李孚煜, 叶发茂. 基于SIFT的遥感图像配准技术综述[J]. 国土资源遥感, 2016, 28(2): 14-20.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《国土资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 Email:gtzyyg@agrs.cn; gtzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发