引用本文
赵政, 凌霄, 孙长奎, 李勇志. 基于POS的无人机倾斜影像匹配方法[J]. 国土资源遥感, 2016,28(1): 87-92
ZHAO Zheng, LING Xiao, SUN Changkui, LI Yongzhi. UAV tilted images matching research based on POS[J]. REMOTE SENSING FOR LAND & RESOURCES,2016,28(1): 87-92  
Permissions
Copyright©2016, 《国土资源遥感》编辑部
《国土资源遥感》编辑部
基于POS的无人机倾斜影像匹配方法
赵政1,2, 凌霄3, 孙长奎1, 李勇志1
1.中国国土资源航空物探遥感中心,北京 100083
2.国土资源部航空地球物理与遥感地质重点实验室,北京 100083
3.武汉大学遥感信息工程学院,武汉 430079
通讯作者:凌 霄(1989-),男,博士研究生,主要从事影像匹配及三维重建方面的研究。Email:517748840@qq.com。

第一作者简介: 赵 政(1986-),男,硕士,主要从事无人机航空摄影及遥感应用方面的研究。Email:zhaoz1986@foxmail.com。

收稿日期: 2014-09-26
基金项目: 国土资源部航空地球物理与遥感地质重点实验室航遥青年创新基金项目“低空无人机影像快速匹配算法研究”(编号: 2013YFL11)资助
摘要

在充分考虑无人机倾斜影像特点的前提下,提出了一套基于POS的无人机倾斜影像匹配策略。在现有匹配方法的基础上,以全球SRTM(shuttle Radar topography mission)数据为辅助,实现了影像重叠区域预测,建立了影像间近似核线关系,剔除了匹配中的粗差点。为了解决SIFT(scale invariant feature transform)特征匹配算法计算量大,耗时长的问题,采用基于 GPU(graphic processing unit)的SIFT方法,提高了SIFT的匹配效率。另外,考虑到无人机原始POS数据精度不高,因此在匹配策略中加入了逐步精化POS数据的思想。通过对多幅倾斜影像的匹配试验表明: 该方法能够提供足够数量、分布均匀且点位正确的同名点。

关键词: 无人机倾斜影像; 自由网平差; 同名点预测; SIFT; SRTM
文献标志码:A 文章编号:1001-070X(2016)01-0087-06 doi: 10.6046/gtzyyg.2016.01.13
UAV tilted images matching research based on POS
ZHAO Zheng1,2, LING Xiao3, SUN Changkui1, LI Yongzhi1
1. China Aero Geophysical Survey and Remote Sensing Center for Land and Resources, Beijing 100083, China
2. Key Laboratory of Airborne Geophysics and Remote Sensing Geology, Ministry of Land and Resources, Beijing 100083, China
3. School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China
Abstract

In full consideration of the characteristics of the UAV tilted images, this paper presents an UAV tilt image matching method based on POS. Compared with existing matching method, this paper firstly introduces the global SRTM data as auxiliary to forecast the images overlap area, and secondly set up an approximate relationship of epipolar line between images to exclude the gross error. As known to all, the SIFT matching algorithm has large computation and spends a lot of time, so this paper replaces it with SIFT GPU to improve operating efficiency. Specially, this paper refines the accuracy of POS step by step, because the initial accuracy of POS is not high. The experimental results of UAV tilt images from different tilt cameras shows that this method can provide a sufficient number of corresponding points which are evenly distributed and correct.

Keyword: UAV titled images; free network adjustment; corresponding points forecast; SIFT; SRTM
0 引言

无人机低空遥感系统由于其机动性高、成本低、具有高分辨率影像获取和对地快速实时调查监测的能力而得到了广泛应用[1]。但无人机低空遥感影像的质量受飞行条件影响较大, 且由于载荷、成本等因素限制, 无法装载高精度的导航和平衡控制系统, 使得飞机位置和姿态信息无法被精确纪录。这也决定了相邻影像间很可能存在较大的旋偏角和上下错位, 使得相邻影像间的同名点识别及影像匹配难以自动完成。

无人机遥感影像匹配可采取2种方法: ①利用摄像时的6 个外方位元素(空间位置和姿态) 进行匹配初始点预测, 并在预测点位附近一定范围内(此范围不宜太大, 否则很容易出现误匹配)进行灰度相关匹配, 得到匹配点位, 但这种方法如果得不到准确的飞机位置和姿态信息, 预测的初始点可能存在较大的系统偏移, 难以保证匹配精度; ②直接对影像本身进行处理, 即通过寻找影像上的同名特征点进行匹配, 这种方法的匹配精度和稳定性在很大程度上依赖于特征点的选取和匹配算法。从无人机倾斜影像的特点出发, 找到一种适合于不同重叠度、比例尺差异大、大旋偏角影像的同名特征点自动匹配算法, 是低空遥感影像能否应用于生产实践的前提。

现有的大部分文献中所采取的思路均是基于Lowe[2, 3, 4, 5]提出的尺度不变特征转换(scale invariant feature transform, SIFT)特征匹配算法, 并对其进行优化, 如李芳芳等[6]提出在SIFT关键点匹配策略中采用双向匹配算法与RANSAC 算法[7], 能够有效地解决重复匹配与多对一匹配的问题; 刘立等[8]介绍了通过采用12维特征向量代替原SIFT中的128维特征向量, 大大缩短了匹配时间, 但其代价是牺牲了在复杂环境下的匹配效率; 陈信华[9]提出将 SIFT特征应用于影像的自动相对定向, 结合最小二乘法实现了影像的自动匹配。总的来说, 现有的匹配方法均适用于旋转或偏移并不大的影像, 方法与策略均很单一。鉴于此, 本文研究了一种基于POS的无人机倾斜影像匹配方法。

1 匹配方法
1.1 基于POS的重叠影像预测

重叠影像的预测等同于在已知高程面上的像点正反投影。即将某影像A的四角点初始像方坐标投影至高程面, 再反投影至影像B上, 从而获得影像A四角点在影像B上的预测范围; 判断此预测范围与影像B是否有交集, 便可初步判断出影像A与影像B是否有重叠。在上述过程中, 像点的正反投影公式均是基于摄影测量学中的共线方程[10], 从影像正投影到高程面上的公式为

X=XS+(Z-ZS)a11(x-x0)+a12(y-y0)+a13-f)a31(x-x0)+a32(y-y0)+a33-f)Y=YS+(Z-ZS)a21(x-x0)+a22(y-y0)+a23-f)a31(x-x0)+a32(y-y0)+a33-f), (1)

式中: (x, y)为像点的像平面坐标; (X, Y, Z)为地面点的物方空间坐标; (XS, YS, ZS)为摄站点的物方空间坐标; x0, y0, f为影像的内方位元素; aij(i, j=1, 2, 3)为影像的3个外方位角元素组成的9个方向余弦。

由于低空影像所覆盖的地面范围小, 因此在其覆盖范围内可以认为每个像点所对应物方点Z值都近似等于(XS, YS)所对应的地面高程值, 而(XS, YS)处的高程值可以直接在SRTM(shuttle Radar topography mission)上取得。

从物方点反投到影像上的公式为

x=x0+(-f)a11(X-XS)+a21(Y-YS)+a31(Z-ZS)a13(X-XS)+a23(Y-YS)+a33(Z-ZS)y=y0+(-f)a12(X-XS)+a22(Y-YS)+a32(Z-ZS)a13(X-XS)+a23(Y-YS)+a33(Z-ZS), (2)

式中各变量的物理意义与式(1)相同。

在运用上述步骤时需要注意的是由于无人机的POS精度不高, 在预测影像A的范围时需要外扩一定的宽度, 本文外扩了1/3的影像宽度。

1.2 快速SIFT匹配— — SIFT GPU

由于传统SIFT算法存在着计算量大、效率低的问题, 而随着计算机硬件的发展, 特别是NVIDIA公司CUDA架构图形处理器(graphy processing unit, GPU)在最近5 a的飞速发展, 文献[11]中提出了一种基于GPU的SIFT特征提取算法, 经过大量实验证实此方法能够在很大程度上提高SIFT的计算效率。

在Windows 8 操作系统、CPU为Intel Core i3、主频为2.40 GHz、系统内存为4 GB、GPU为NVIDIA GeForce GT 620 M、显存为1 GB的硬件环境下, 在设置算法参数基本相当的情况下, 对传统SIFT算法与SIFT GPU算法进行了2组试验, 表1列出了试验结果。

表1 2种SIFT算法的效率比较 Tab.1 Comparison of two kinds of SIFT algorithm
1.3 基于近似核线的粗差剔除

在摄影测量中, 摄影基线与任一地面点构成的平面称为核面, 核面与像面的交线称为核线。在重叠影像对上, 同名像点一定位于同名核线上, 而且同名核线上的像点是一一对应的[10], 因此, 可以实现匹配点粗差的剔除。

根据影像POS记录的外方位元素, 计算出影像覆盖的概略地理范围。本文使用SRTM数据获取该范围的最大高程Hmax和最小高程Hmin。对于影像A和B上的某对匹配点p和p'来说, 将影像A上的点p根据式(1)分别投影到高程面Hmin与Hmax上, 并根据式(2)反投到影像B上, 得到点p在影像B上的近似核线L, 若2幅影像的POS精度足够的话, p'应该在L上。但由于POS存在误差, 因此p'是在L附近的一定阈值范围内。对于每对匹配点, 可以计算出一个距离(即p'到L的距离), 统计出所有距离的均值与中误差, 删除距离与距离均值之差的绝对值超过2倍中误差的点。

1.4 影像间相对定向

光束法区域网平差是以共线条件方程作为基本数学模型, 以影像坐标作为观测值, 对共线方程进行线性化处理后, 使用最小二乘原理进行迭代, 逐渐趋近求出未知数最小二乘解的过程[10]。在内方位元素视为已知的情况下, 其误差方程式可表示为

Vx=c11△XS+c12△YS+c13△ZS+c14△φ+c15△ω+c16△κ-c11△X-c12△Y-c13△Z-lxVy=c21△XS+c22△YS+c23△ZS+c24△φ+c25△ω+c26△κ-c21△X-c22△Y-c23△Z-lx(3)

式中: △ XS, △ YS, △ ZS, △ φ , △ ω , △ κ 为外方位元素改正数; Vx, Vy为像点观测值的改正数; △ X, △ Y, △ Z为地面点坐标的改正数; lx=x-(x), ly=y-(y), 其中x, y为像点观测值, (x)和(y)为把未知数初值带入式(2)得到的计算值; cij(i=1, 2; j=1, 2, …, 6)为各未知数的偏导系数。

本文在使用同名点对影像间相对定向精度进行改进时, 采用与光束法区域网平差相同的方式。接下来, 对立体像对间相对定向的情况进行讨论。假设立体像对中某幅影像A的外方位元素已知, 所有同名点所对应的初始物方坐标由该点在影像A上的像方坐标通过式(1)投影到平均高程面上得到, 当在立体像对中有n个待定点时, 需解求(6+3n)个未知数, 而每对像点可以列出4个误差方程, n个点有(4n)个误差方程, 因此至少需要6对同名点才能确定平差的基准。在完成平差后, 能够得到立体像对间更加精确的相对关系。

1.5 匹配窗口局部畸变消除

对于倾斜影像来说, 由于正视相机与侧视相机本身就存在着很大的交会角, 导致获得的影像几何变形差异较大。如果在参考影像上定义一个相关窗口, 其在待匹配影像上的对应窗口往往是不规则的, 甚至是不连续的, 因此无法直接进行相关匹配。

如图1所示, 以特征点p为中心, 定义一个矩形小面元, 利用该面元4个角点, 采用1.1节所述的方式计算待匹配影像上的预测范围Sp。

图1 匹配窗口局部畸变消除示意图Fig.1 General view of eliminating local distortion differences in the matching window

依据上述4个角点的对应关系, 计算出一套仿射变换参数与线性灰度畸变参数, 分别用来描述2个影像之间的几何变形与辐射畸变。具体公式为

x'=a0+a1x+a2yy'=b0+b1x+b2yg(x, y)=h0+h1g'(x', y', (4)

式中: (x, y)为参考影像小面元角点的影像坐标, g(x, y)为其灰度值; (x', y')为待匹配影像上对应点的影像坐标, g'(x', y')为其灰度值; ai, bi(i=0, 1, 2)为仿射变换参数; h0, h1为线性辐射变换参数。

1.6 基于POS的倾斜影像匹配策略

基于上述认识, 针对无人机倾斜影像特点, 设计了基于POS并有SRTM作为辅助的倾斜影像匹配策略, 具体流程如图2所示。

图2 匹配流程Fig.2 Flowchart of matching method

1)初始匹配。利用初始POS数据进行影像是否重叠判断, 考虑到直接在原始影像上使用SIFT GPU匹配运行耗时长且对内存的使用量大; 另外, 由于低空无人机的影像长与宽均在3 000~9 000像素范围, 按照3× 3方式建立金字塔, 若建立2层金字塔, 其顶层金字塔会因为尺寸太小不利于SIFT特征的提取与匹配, 因此对原始影像建立1层影像金字塔, 在金字塔的顶层使用SIFT GPU进行匹配, 并对匹配结果进行近似核线约束的粗差剔除, 得到一定数量且可靠的匹配点, 并通过相对定向对初始的POS进行精化。

2)精确匹配。在底层金字塔上进行Harris特征提取, 得到足够的特征点, 然后利用初始匹配中得到的精确POS数据, 对底层金字塔进行局部畸变改正, 并进行灰度相关与最小二乘匹配。在RANSAC算法基础上, 利用光束法前方交会, 得到特征点的前方交会精度, 将高于3倍前方交会中误差的点作为误匹配点, 予以剔除。

2 试验

为了验证本文提出算法的可行性与适用性, 选取2组倾斜影像数据进行试验。

第1组试验数据是下视影像与侧视影像, 2台相机之间绕X轴有45° 夹角, 绕Z轴有90° 夹角, 2幅影像之间重叠度达到80%; 第2组试验数据采用前视影像与后视影像, 2台相机之间绕Y轴有90° 夹角, 绕Z轴有180° 夹角, 2幅影像之间重叠度有40%。具体试验数据参数见表2。

表2 试验数据详细信息 Tab.2 Detail information of experimental data
2.1 SIFT GPU匹配结果

对4幅试验影像, 通过两两间是否重叠预测后, 对具有重叠度的影像按照3× 3的方式缩小, 得到顶层金字塔影像, 并在两两有重叠度的影像之间进行SIFT GPU匹配, 得到初始匹配结果。重叠度预测结果表明, 在2组试验数据中, 只有组内影像之间有重叠度, 因此只有组内影像间有SIFT GPU的匹配结果, 如图3和4所示。

图3 第1组试验数据的顶层金字塔影像SIFT GPU匹配结果Fig.3 SIFT GPU matching results of top pyramid images of the first test data

图4 第2组试验数据的顶层金字塔影像SIFT GPU匹配结果Fig.4 SIFT GPU matching results of top pyramid images of the second test data

2组试验数据经SIFT GPU匹配之后, 其匹配结果的统计数据如表3所示。

表3 SIFT GPU 匹配结果统计 Tab.3 Matching results of SIFT GPU
2.2 相对定向前后影像间相对定向精度

对于每组影像, 由人工在左、右影像上选取均匀分布且特征明显的20个同名点, 然后将左影像上的点分别通过原始的POS和精化后的POS投影到右影像上, 得到预测点位, 统计预测点位坐标与真实同名点位坐标之间的差值, 汇总得到表4。

表4 相对定向前后POS精度比较 Tab.4 Comparison of POS accuracy before and after relative orientation(像素)

由表4可以看出, 2组试验数据的原始POS在垂直于航线方向上均存在着较大的系统误差, 经过相对定向之后, 精度得到了显著提高。由于是在影像金字塔上进行SIFT匹配, 受到其匹配精度与地面高程起伏的影响, 相对定向后像方仍有10个像素以内的中误差。但是已经能够为之后的精确匹配提供良好的预测初值。

2.3 精确匹配结果

在完成影像间的初始匹配后, 得到了影像间更加精确的POS数据, 在此POS数据的基础上, 进行原始影像的精确匹配, 得到每组影像的最终匹配结果(图5, 图6)。

图5 第1组试验数据的精确匹配结果Fig.5 Precise matching results of the first test data

图6 第2组试验数据的精确匹配结果Fig.6 Precise matching results of the second test data

2组试验数据精确匹配的匹配点数统计如表5所示。

表5 精确匹配结果统计 Tab.5 Statistics of precise matching results
2.4 结果分析

通过2组数据的测试结果可以看到, 在初始匹配中, 经过对SIFT匹配结果进行粗差剔除后, 虽然点位稀少, 但所有点位准确无误, 完全能够为像对间的相对定向打下坚实基础; 精确匹配之后, 能够得到大量的、分布均匀的匹配点, 虽然由于少数点落在了重复纹理区域(如森林、房屋上的窗户)与遮挡区域而导致出现误匹配的现象, 但在这2组试验中均有75%以上的同名点匹配结果正确无误。

3 结论

本文在现有的匹配算法基础上, 充分考虑倾斜影像数据特点, 对匹配流程及策略进行了整合与改进, 总结出了一套适合无人机多视角倾斜影像的匹配策略。试验结果表明, 本文匹配方法能够在倾斜影像上获得大量分布均匀且点位可靠的匹配点, 匹配结果令人满意。同时仍需注意到, 由于倾斜视角不同, 房屋在影像上畸变不同, 导致本文方法在房屋上的点容易出现误匹配的现象, 如何提高这部分点的正确率, 将是接下来进一步研究的重点。

The authors have declared that no competing interests exist.

参考文献
[1] 李德仁, 李明. 无人机遥感系统的研究进展与应用前景[J]. 武汉大学学报: 信息科学版, 2014, 39(5): 505-513.
Li D R, Li M. Research advance and application prospect of unmanned aerial vehicle remote sensing system[J]. Geomatics and Information Science of Wuhan University, 2014, 39(5): 505-513. [本文引用:1]
[2] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. [本文引用:1]
[3] Lowe D G. Local feature view clustering for 3D object recognition[C]//The Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Kauai, HI, USA: IEEE, 2001: I-682-I-688. [本文引用:1]
[4] Lowe D G. Object recognition from local scale-invariant features[C]//The Proceedings of the 7th IEEE International Conference on Computer Vision. Kerkyra: IEEE, 1999: 1150-1157. [本文引用:1]
[5] Lowe D G. Fitting parameterized three-dimensional models to images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(5): 441-450. [本文引用:1]
[6] 李芳芳, 肖本林, 贾永红, 等. SIFT算法优化及其用于遥感影像自动配准[J]. 武汉大学学报: 信息科学版, 2009, 34(10): 1245-1249.
Li F F, Xiao B L, Jia Y H, et al. Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery[J]. Geomatics and Information Science of Wuhan University, 2009, 34(10): 1245-1249. [本文引用:1]
[7] Fischler M A, Bolles R C. Rand om sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395. [本文引用:1]
[8] 刘立, 彭复员, 赵坤, 等. 采用简化SIFT算法实现快速图像匹配[J]. 红外与激光工程, 2008, 37(1): 181-184.
Liu L, Peng F Y, Zhao K, et al. Simplified SIFT algorithm for fast image matching[J]. Infrared and Laser Engineering, 2008, 37(1): 181-184. [本文引用:1]
[9] 陈信华. SIFT特征匹配在无人机低空遥感影像处理中的应用[J]. 现代测绘, 2007, 30(6): 10-12.
Chen X H. The application of SIFT feature matching in the process of unmanned air vehicle remotely-sensed imagery on the low altitude[J]. Modern Surveying and Mapping, 2007, 30(6): 10-12. [本文引用:1]
[10] 张祖勋, 张剑清. 数字摄影测量学[M]. 武汉: 武汉大学出版社, 1997.
Zhang Z X, Zhang J Q. Digital Photogram-Metry[M]. Wuhan: Wuhan University Press, 1997. [本文引用:3]
[11] 王瑞, 梁华, 蔡宣平. 基于GPU的SIFT特征提取算法研究[J]. 现代电子技术, 2010, 33(15): 41-43.
Wang R, Liang H, Cai X P. Study of SIFT feature extraction algorithm based on GPU[J]. Modern Electronics Technique, 2010, 33(15): 41-43. [本文引用:1]