Please wait a minute...
 
自然资源遥感  2022, Vol. 34 Issue (1): 85-92    DOI: 10.6046/zrzyyg.2021035
     技术方法 本期目录 | 过刊浏览 | 高级检索 |
顾及地理空间信息的无人机影像匹配像对提取方法
任超锋(), 蒲禹池, 张福强
长安大学地质工程与测绘学院,西安 710054
A method for extracting match pairs of UAV images considering geospatial information
REN Chaofeng(), PU Yuchi, ZHANG Fuqiang
College of Geological Engineering and Geomatics, Chang’an University, Xi’an 710054, China
全文: PDF(3432 KB)   HTML  
输出: BibTeX | EndNote (RIS)      
摘要 

针对无人机影像三维重建中匹配像对提取适应性差、效率低、需准确的先验知识等问题,提出一种顾及无人机影像地理空间信息的匹配像对提取方法。首先利用主成分分析(principal component analysis,PCA)方法将高维度的特征降至低维特征,提高检索词典构建效率; 其次,通过计算查询影像之间的反距离权重因子,构建综合检索因子,提高相似影像之间的可区分性; 最后,通过计算检索阈值,舍弃阈值后的无效匹配像对,进一步提高了影像查准率。实验结果表明,与传统脚印图法和128维特征检索方法相比,该方法获得了更高的处理效率及更全面的稀疏重建结果,尤其针对海量无人机数据更具优势。

服务
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章
任超锋
蒲禹池
张福强
关键词 匹配像对视觉词袋无人机三维重建影像检索    
Abstract

To overcome the shortcomings such as poor adaptability, low efficiency, and the demand for prior knowledge in the 3D reconstruction using UAV images, this study proposed a method for extracting match pairs of UAV images considering geospatial information. The steps of this method are stated as follows. Firstly, reduce high-dimensional features of the images to low-dimensional features using the principal component analysis (PCA) method to improve the construction efficiency of the retrieval vocabulary. Secondly, construct a comprehensive retrieval factor by calculating the inverse distance weighting factor between query images to improve the distinguishability between similar images. Finally, discard invalid match pairs by calculating the retrieval threshold to improve the query precision of images. The experimental results show that, compared to the traditional footprint map method and 128-dimensional feature retrieval method, this method enjoys higher processing efficiency and more comprehensive sparse reconstruction results, especially for the massive UAV data.

Key wordsmatch pairs    bag of visual words    UAV    3D reconstruction    image retrieval
收稿日期: 2021-02-07      出版日期: 2022-03-14
ZTFLH:  TP79  
基金资助:国家自然科学基金项目“非常规摄影测量模式下无人机影像匹配像对的提取方法研究”编号(41801383);国家重点研发计划项目“岩溶山区特大滑坡早期识别与监测预警”编号(2018YFC1504805);中央高校基本科研业务费“海量无人机影像三维自动重建关键技术研究”编号(300102269206);“三维模型智能重建”共同资助编号(300102269304)
作者简介: 任超锋(1984-),男,博士,讲师,研究方向为低空无人机摄影测量。Email: ren_cf@163.com
引用本文:   
任超锋, 蒲禹池, 张福强. 顾及地理空间信息的无人机影像匹配像对提取方法[J]. 自然资源遥感, 2022, 34(1): 85-92.
REN Chaofeng, PU Yuchi, ZHANG Fuqiang. A method for extracting match pairs of UAV images considering geospatial information. Remote Sensing for Natural Resources, 2022, 34(1): 85-92.
链接本文:  
https://www.gtzyyg.com/CN/10.6046/zrzyyg.2021035      或      https://www.gtzyyg.com/CN/Y2022/V34/I1/85
Fig.1  顾及地理空间信息的UAV影像匹配像对提取方法流程
Fig.2  反距离权重因子
Fig.3  查询深度阈值
数据 传感器 采集方式 数据类型 位置 主要地形 影像大小/像素 影像数量/幅 采集时间 地面分辨率/cm
A 单相机 等高 正射 陕西省华阳乡 高山峡谷 7 952×5 304 1 659 2018-02-12 4
B 单相机 变高 正射 贵州省鸡场镇 高山滑坡 5 472×3 648 465 2019-07-25 10
C 单相机 等高/贴近 正射/倾斜 贵州省鬃岭镇 高山滑坡 5 472×3 648 2 137 2019-07-29 8/1
D 双相机 等高 倾斜 山西省平陆县 丘陵 7 952×5 304 2 728 2019-04-07 2
E 五相机 等高 倾斜 陕西省大同市 城市 6 000×4 000 8 585 2019-08-26 2
Tab.1  试验无人机数据集
Fig.4  不同维度模式的影像查准率和查全率
Fig.5  相似因子与综合因子曲线
Fig.6  部分查询影像

数据
查准率 查全率
查询深度
Q
128维 96维 64维 64G 128维 96维 64维 64G
数据C 100 88.66 87.95 86.78 90.91 23.82 25.79 27.60 23.92
200 82.91 79.26 75.77 83.01 46.41 48.96 50.56 44.26
300 74.43 64.91 60.27 75.49 63.67 61.39 62.87 64.49
数据D 100 99.22 99.03 98.81 99.79 29.76 33.44 37.03 31.98
200 91.47 88.87 86.75 95.30 60.96 64.27 68.20 63.34
300 77.83 72.94 68.20 83.99 78.42 78.91 80.76 82.01
数据E 100 73.36 76.64 73.76 86.11 52.52 56.84 60.43 55.93
200 35.64 44.86 46.14 59.40 55.72 69.19 77.56 78.02
300 29.06 35.00 33.09 43.74 66.21 79.23 84.34 85.77
Tab.2  不同查询深度的查准率和查全率
数据 方法 词汇树/min 索引/min 检索/min 双像匹配/min 稀疏重建/min 连接点 成功数 总数 投影误差/像素
数据A 脚印图 4.20 28.81 362 822 1 591 1 591 0.70
128维 5.34 1.70 1.38 6.66 30.36 332 736 1 581 1 659 0.70
64G 3.55 1.17 2.12 1.26 28.24 364 783 1 591 1 659 0.70
数据B 脚印图 4.64 5.17 121 527 465 465 0.70
128维 5.29 0.49 0.31 1.54 4.94 119 183 465 465 0.70
64G 3.46 0.24 0.35 0.63 5.20 115 048 465 465 0.70
数据C 脚印图 11.28 61.69 299 041 1 634 2 137 0.72
128维 5.12 1.35 1.27 8.12 58.60 323 224 2 100 2 137 0.73
64G 3.44 0.82 1.52 3.79 58.49 338 049 2 123 2 137 0.72
数据D 脚印图 16.67 103.17 367 247 2 728 2 728 0.75
128维 5.23 0.94 0.62 26.01 105.41 367 238 2 728 2 728 0.75
64G 3.44 0.46 1.54 7.35 103.38 375 990 2 728 2 728 0.75
数据E 脚印图 83.50 3 096.26 1 342 650 8 585 8 585 0.71
128 11.80 11.89 9.92 61.10 2 169.59 1 344 968 8 585 8 585 0.71
64G 7.20 9.07 11.56 17.89 2 085.62 1 488 024 8 585 8 585 0.70
Tab.3  稀疏重建的效率、完整性及精度
Fig.7  本文方法提取像对的稀疏重建结果
[1] 雷添杰, 李长春, 何孝莹. 无人机航空遥感系统在灾害应急救援中的应用[J]. 自然灾害学报, 2011, 20(1):178-183.
Lei T J, Li C C, He X Y. Application of aerial remote sensing of pilotless aircraft to disaster emergency rescue[J]. Journal of Natural Disasters, 2011, 20(1):178-183.
[2] 李明, 张卫龙, 范丁元. 城市三维重建中的自动纹理优化方法[J]. 测绘学报, 2017, 46(3):338-345.
Li M, Zhang W L, Fan D Y. Automatic texture optimization for 3D urban reconstruction[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(3):338-345.
[3] 黄海峰, 易武, 张国栋, 等. 引入小型无人机遥感的滑坡应急治理勘察设计方法[J]. 防灾减灾工程学报, 2017, 37(1):99-104.
Huang H F, Yi W, Zhang G D, et al. Method of using micro-VAVRS in engineering geological investigation and design for emergency control of landslides[J]. Journal of Disaster Prevention and Mitigation Engineering, 2017, 37(1):99-104.
[4] 于丙辰, 陈刚, 段淼然, 等. 无人机遥感在大型不可移动文物三维重建中的应用[J]. 测绘通报, 2017(5):43-46.
Yu B C, Chen G, Duan M R, et al. UAV RS applied in 3D reconstruction of huge immovable cultural relics[J]. Bulletin of Surveying and Mapping, 2017(5):43-46.
[5] 何海清. 低空摄影测量航带重构及数据处理方法研究[J]. 测绘学报, 2014, 43(40):440.
He H Q. The study of strips reconstruction oriented data processing methodology in low-altitude photogrammetry[J]. Acta Geodaetica et Cartographica Sinica, 2014, 43(4):440.
[6] 肖熊武, 郭丙轩, 李德仁, 等. 一种具有仿射不变性的倾斜影像快速匹配方法[J]. 测绘学报, 2015, 44(4):414-421.
Xiao X W, Guo B X, Li D R, et al. A quick and affine invariance matching method for oblique images[J]. Acta Geodaetica et Cartographica Sinica,2015, 44(4):414-421.
[7] 闫利, 费亮, 叶志云, 等. 大范围倾斜多视影像连接点自动提取的区域网平差法[J]. 测绘学报, 2016, 45(3):310-317.
Yan L, Fei L, Ye Z Y, et al. Automatic tie-points extraction for triangulation of large-scale oblique multi-view images[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(3):310-317.
[8] David G L. Distinctive image feature from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.
doi: 10.1023/B:VISI.0000029664.99615.94
[9] Morel J M, Yu G. ASIFT:A new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2):438-469.
doi: 10.1137/080732730
[10] Wu C. SiftGPU:A GPU implementation of scale invariant feature transform(SIFT)[EB/OL].(2013 -03-11)[2021-02-07].https://github.com/pitzer/SiftGPU.
[11] Agarwal S, Snavely N, Simon I, et al. Building rome in a day[C]// 12th International Conference on Computer Vision.IEEE, 2009:72-79.
[12] Snavely N, Seitz S, Szeliski R. Photo tourism:Exploring photo collections in 3D[C]// Special Interest Group on Computer Graphics and Interactive Techniques Conference.ACM, 2006, 25(3):835-846.
[13] Johannes L, Schonberger,Frahm J M.Structure-from-motion revisited[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition.IEEE, 2016:1-10.
[14] 任超锋, 彭晓东. 低空无人机影像匹配像对的提取方法[J]. 测绘工程, 2019, 28(6):36-41.
Ren C F, Peng X D. Extraction method of image pairs for low-altitude UAV image matching[J]. Engineering of Surveying and Mapping, 2019, 28(6):36-41.
[15] 李劲澎, 姜挺, 肖达, 等. 基于关系图的无人机影像三维重建[J]. 光学精密工程, 2016, 24(6):1501-1509.
Li J P, Jiang T, Xiao D, et al. On diagram-based three-dimensional reconstruction of UAV image[J]. Optics and Prcesion Engineering, 2016, 24(6):1501-1509.
[16] 姜三, 许志海, 张峰, 等. 面向无人机倾斜影像的高效SfM重建方案[J]. 武汉大学学报(信息科学版), 2019, 44(8):1153-1160.
Jiang S, Xu Z H, Zhang F, et al. Solution for efficient SfM reconstruction of oblique UAV images[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8):1153-1160.
[17] Sivic J, Zisserman A. Video Google:A text retrieval approach to object matching in videos[C]// International Conference on Computer Vision.IEEE, 2003:1470-1477.
[18] Jegou H, Douze M, Schmid C. Hamming embedding and weak geometric consistency for large scale image search[C]// European Conference on Computer Vsion, 2008:304-317.
[19] Schönberger J L, Price T, Sattler T, et al. A vote-and-verify strategy for fast spatial verification in image retrieval[C]// Asian Conference on Computer Vision.Springer, 2016:321-337.
[20] Nister D, Stevenisu H. Scalable recognition with a vocabulary tree[C]// Computer Society Conference on Computer Vision and Pattern Recognition.IEEE, 2006:2161-2168.
[1] 王振华, 谭智联, 李静, 常英立. Re-YOLOX: 利用Resizer改进的YOLOX近岸海域监测目标识别模型[J]. 自然资源遥感, 2023, 35(3): 10-16.
[2] 陈凯, 王春, 代文, 盛业华, 刘爱利, 汤国安. 基于控制点蒙特卡罗检验的无人机地形建模精度影响因素研究[J]. 自然资源遥感, 2023, 35(3): 107-115.
[3] 董双发, 范晓, 石海岗, 许莉萍, 章新益. 基于Landsat8和无人机的福清核电温排水分布研究[J]. 自然资源遥感, 2022, 34(3): 112-120.
[4] 张淑, 周忠发, 王玲玉, 陈全, 骆剑承, 赵馨. 多时相SAR的喀斯特山区耕地表层土壤水分反演[J]. 自然资源遥感, 2022, 34(3): 154-163.
[5] 吴芳, 李瑜, 金鼎坚, 李天祺, 郭华, 张琦洁. 无人机三维地障信息提取技术应用于航空物探飞行轨迹规划[J]. 自然资源遥感, 2022, 34(1): 286-292.
[6] 刘咏梅, 范鸿建, 盖星华, 刘建红, 王雷. 基于无人机高光谱影像的NDVI估算植被盖度精度分析[J]. 自然资源遥感, 2021, 33(3): 11-17.
[7] 白俊龙, 王章琼, 闫海涛. K-means聚类引导的无人机遥感图像阈值分类方法[J]. 自然资源遥感, 2021, 33(3): 114-120.
[8] 臧传凯, 沈芳, 杨正东. 基于无人机高光谱遥感的河湖水环境探测[J]. 自然资源遥感, 2021, 33(3): 45-53.
[9] 李阳, 袁琳, 赵志远, 张晋磊, 王宪业, 张利权. 基于无人机低空遥感和现场调查的潮滩地形反演研究[J]. 自然资源遥感, 2021, 33(3): 80-88.
[10] 舒慧勤, 方俊永, 鲁鹏, 顾万发, 王潇, 张晓红, 刘学, 丁兰坡. 基于多源高分辨率数据的遗址空间考古精细识别研究[J]. 国土资源遥感, 2021, 33(2): 162-171.
[11] 毕卫华, 赵星涛, 杨化超, 卞和方, 张秋昭. 基于智能手机的无人机低空倾斜摄影测量系统及其应用研究[J]. 国土资源遥感, 2021, 33(2): 248-255.
[12] 熊育久, 赵少华, 鄢春华, 邱国玉, 孙华, 王艳林, 秦龙君. 城市绿地资源多尺度监测与评价方法探讨[J]. 国土资源遥感, 2021, 33(1): 54-62.
[13] 蔡祥, 李琦, 罗言, 齐建东. 面向对象结合深度学习方法的矿区地物提取[J]. 国土资源遥感, 2021, 33(1): 63-71.
[14] 夏炎, 黄亮, 陈朋弟. 模糊超像素分割算法的无人机影像烟株精细提取[J]. 国土资源遥感, 2021, 33(1): 115-122.
[15] 王伟, 王新盛, 姚婵, 金添, 邬佳昱, 苏伟. 基于无人机影像的小麦植株密度估算方法研究[J]. 国土资源遥感, 2020, 32(4): 111-119.
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发