基于SURF的图像配准改进算法
潘建平1,3, 郝建明1,2, 赵继萍1
1.重庆交通大学土木建筑学院,重庆 400074
2.国家测绘地理信息局第三地理信息制图院,成都 610100
3.国家测绘局重庆测绘院,重庆 400074
通信作者: 郝建明(1990-),男,硕士研究生,主要研究方向为3S信息处理与集成应用。Email: jaminhoh@hotmail.com

第一作者: 潘建平(1976-),男,教授,博士,主要从事摄影测量与遥感等方面的研究。Email: 6370554@qq.com

摘要

针对传统的加速鲁棒性特征(speeded-up robust features,SURF)算法在图像配准中的应用现状,结合图像分块策略和相对距离理论,提出一种基于SURF的图像配准改进算法。通过图像分块策略改善提取特征点分布的均匀性; 在SURF算法初匹配基础上,引用相对距离理论剔除异常匹配点,从而提高特征点匹配的精度和可靠性。选取覆盖重庆市沙坪坝实验区的QuickBird卫星数据,以特征点正确匹配率和均方根误差 RMSE为量化指标,对所提出的SURF改进算法的图像配准效果进行验证。实验结果表明,改进后的SURF算法的特征点正确匹配率达到88%以上,高于传统SURF算法的76%。通过相对距离剔除误匹配点后,最终配准结果的 RMSE达到2.69个像元,符合图像配准的基本需求( RMSE在2个像元左右),具有一定的应用推广价值。

关键词: 加速鲁棒性特征(SURF); 分块策略; 相对距离理论; 图像配准
中图分类号:TP751.1 文献标志码:A 文章编号:1001-070X(2017)01-0110-06 doi: 10.6046/gtzyyg.2017.01.17
Improved algorithm based on SURF for image registration
PAN Jianping1,3, HAO Jianming1,2, ZHAO Jiping1
1. College of Chongqing Jiaotong University, Chongqing 400074, China
2. The Third Geographic Information Mapping Institute,The State Brreau of Surveying and Mapping, Chengdu 610100, China
3. Surveying and Mapping Institute of Chongqing,The State Bureau of Surveying and Mapping, Chongqing 400074, China
Abstract

In view of the study status of traditional speeded-up robust features (SURF)algorithm, an improved image registration algorithm based on SURF was proposed in combination with the image blocking strategies and the relative distance theory. The proposed algorithm can improve image uniformity of the feature distribution by image blocking strategy and increase the matching accuracy of the feature point through relative distance theory. With the quantitative indicators of correct feature point matching rate and RMSE, the authors selected the QuickBird satellite data of Shapingba District in Chongqing as the test area to verify the image registration results by using the improved algorithm based on SURF. The results show that the correct feature point matching rate of improved SURF algorithm reached 88%, higher than that of the traditional SURF algorithm (the rate is 76%). Excluding the mismatching points by relative distance, the RMSE of the final registration results reached 2.69 pixels. It meets the basic need of high-precision image registration(the RMSE is 2 pixels around), achieves the automation of remote sensing image registration and thus has some promotional value.

Keyword: speeded-up robust features(SURF); blocking strategy; relative distance theory; image registration
0 引言

图像配准(image registration)是将不同时相(获取时间)、不同传感器(成像设备)或不同条件(天候、照度、摄像位置和角度)下获取的2景或多景图像进行几何匹配的过程。随着信息技术的迅猛发展, 传统的基于灰度值和变换域的图像配准技术已难以满足需要, 基于影像特征的高精度图像配准方法已经成为当前图像配准技术的研究趋势。近年来, 国内外涌现出了大量基于影像特征的图像配准方法研究, 包括特征点、边缘、区域和轮廓等[1, 2]。特征点的提取相对容易, 且不易受空间分辨率、光照条件等图像变化的影响而被广泛应用。Lowe[3]提出了尺度不变特征变换(scale invariant feature transform, SIFT)算法, 具有尺度、旋转、亮度不变的特征。刘小军等[4]针对不同传感器图像的配准问题, 将SIFT算法用于图像配准, 具有仿射不变性, 但检测的特征点较少。张锐娟等[5]在研究SIFT算法的基础上, 提出了基于加速鲁棒性特征(speeded-up robust features, SURF)的图像配准方法, 具有比SIFT算法计算量小、配准速度快的优点。高素青等[6]针对虚拟场景中图像配准的效率问题, 提出了一种改进的SURF图像配准算法, 对SURF算法检测出的特征点进行筛选, 去除一些分布密集的点, 在一定程度上提高了运算效率, 但无法保证匹配特征点的分布均匀性。综合来说, 目前基于影像特征的图像配准方法主要存在3个方面的问题亟待解决: ①配准方法的普适性不强; ②特征点匹配时, 特征点分布不均匀, 导致局部配准误差较大; ③图像配准方法耗时多、复杂度高、配准效率较低。基于上述情况, 本文在研究传统SURF图像配准算法的基础上, 将图像的分块策略和相对距离理论集成到SURF算子中, 提出了一种基于SURF的图像配准改进算法。该方法首先将待配准的图像分割成互不重叠的子块; 然后利用SURF算法在所有子块中提取特征点, 并进行特征点的初始匹配; 最后利用相对距离的基本理论去除其中的误匹配点, 在一定程度上保证了特征点分布的均匀性, 同时能够提高特征点匹配的精度和可靠性。并通过实验对所提出的SURF改进算法的图像配准效果进行了验证。

1 图像配准方法
1.1 改进SURF算法

1.1.1 SURF算法原理

SURF算法是在SIFT算法的基础上提出的一种快速鲁棒特征提取的配准算法[7]。基于SURF算法的图像配准主要包括图像特征点提取、特征点匹配、去除误匹配点、确定匹配模型和图像重采样4个方面[8, 9, 10]。而在利用传统SURF算法进行图像配准时, 提取的特征点分布不均, 会导致匹配的特征点出现局部集中现象, 使图像配准误差较大而影响整体配准的精度。

1.1.2 基于SURF的图像配准改进算法

本文将图像的分块策略和相对距离理论集成到SURF算法中, 对传统的基于SURF的图像配准算法进行改进, 其具体流程如图1所示。

图1 基于SURF的图像配准改进算法流程图Fig.1 Flow chart of improved algorithm of image registration based on SURF

1.1.2.1 特征点提取的改进

图像分块策略主要用于图像的压缩编码与分块配准, 将各个子块图像分别与参考图像进行配准[11]。在利用SURF算法提取特征点时, 提取的特征点主要位于图像中的角点、交叉点等特征明显部位; 这些特征点在整景图像中分布不均匀, 因而影响图像配准的最终效果。本文在特征点提取之前先对图像进行分块操作, 将图像分割成互不重叠的子块; 然后利用SURF算法对所有子块进行特征点提取。采取这种方法提取出的特征点存在于每个子块中特征较显著的位置, 能够在一定程度上改善特征点分布的均匀性。

1.1.2.2 特征点匹配的改进

特征点匹配是基于特征的图像配准的核心技术, 其关键步骤就是寻找正确的匹配关系和排除错误的匹配关系。采用相对距离理论寻找特征点集的相对位置关系, 可提高匹配点集之间的可靠性; 有的学者则采用连续相对定向的方法对SIFT算法误匹配点集进行剔除[12]。本文在上述研究基础上, 引入相对距离的基本理论, 对改进的SURF算法提取的初始匹配特征点集进行误匹配点剔除, 确定出最理想的匹配特征点集, 从而提高了图像配准的可靠性。使用的相对距离公式[7]

dis(pi, mi)=2j=1Npd(pi, pj)-j=1Nmd(mi, mj)j=1Npd(pi, pj)+j=1Nmd(mi, mj), (1)

式中: pimi分别为2景图像各自的特征点; d为欧氏距离, d(pi, pj)=pi, pj‖ ; Np为其中1景图像所有特征点的数量和; Nm为另1景图像所有特征点的数量和。

若{pimi}与{pjmj}是匹配无误的, 则pipj之间的距离d(pi, pj)应该相似于mimj之间的距离d(mi, mj)。设定一个阈值作为衡量特征点匹配可靠性的标准, 当2点间的距离小于设定的阈值时, 判定它们是正确匹配点; 反之, 则判定其为误匹配点, 并将其剔除。最后生成理想的匹配特征点集M={mi }1NmP={pi }1Np

1.2 精度评估标准

本文引用均方根误差(root-mean-square error, RMSE)作为图像配准精度的评估标准。RMSE表示各个误差平方和的平均值的开方, 是一组观测过程中各个观测值的函数。它不取决于观测中个别误差的符号, 对观测值中较大者和较小者都比较敏感, 是表示准确度(或精度)的好方法。本文对图像配准产生的误差采用RMSE[13]来描述, 其定义为

RMSE=i=1n(m1x2i+m2y2i+tx-x1i)2+(m3x2i+m4y2i+ty-y1i)2]n, (2)

式中: mi(i=1, 2, 3, 4), txty均为实验过程中求得的几何变换参数; x1iy1i为第1景图像中的特征点; x2iy2i为第2景图像中与第1景图像相对应的特征点。

2 图像配准实验
2.1 实验区与遥感数据概况

本文选取重庆市沙坪坝区为实验区。实验数据为QuickBird卫星图像, 全色图像分辨率为0.61 m; 多光谱图像分辨率为2.44 m, 拥有红、绿、蓝和近红外4个波段。本文选用2004年和2009年获取的QuickBird多光谱数据近红外波段图像, 对改进后SURF算法的图像配准结果进行验证。所选用的图像大小为400像元× 500像元, 图像中包含道路、建筑物、耕地、植被、水域等典型地物, 在进行图像配准实验时具有较好的代表性。

2.2 实验结果与分析

2.2.1 特征点提取

在对遥感图像进行特征点提取时, 分别采用传统SURF算法与本文改进后的SURF算法对2009年获取的研究区的QuickBird图像(图2(a))进行特征点提取, 提取效果如图2(b)(c)所示。

图2 2种SURF算法特征点提取结果Fig.2 Results of two kinds of SURF algorithm for feature point extraction

从图2(c)中的特征点提取结果可以看出, 本文改进后的SURF算法提取的特征点分布较均匀且数量足够多; 而传统SURF算法提取的特征点(图2(b))有局部集中的现象, 并且提取的特征点较少, 会影响后续图像配准的结果。所提取特征点的数量统计结果见表1

表1 传统与改进SURF算法特征点提取数量对比 Tab.1 Comparison between numbers of feature point extracted by traditional and improved SURF algorithms

表1可以看出, 本文改进后的SURF算法能够提取出更多的特征点, 且这些特征点分布在图像的全局范围内; 在进行图像匹配时, 能得到数量更多、分布更均匀的匹配特征点集, 从而减少图像配准的局部误差, 提高配准的精度和可靠性。

2.2.2 误匹配点剔除

在特征点提取的基础上, 分别采用随机采样一致性(randon sample consensus, RANSAC)算法(图3)和相对距离理论(图4)对用传统SURF算法得到的初始匹配点集剔除误匹配点, 并与本文改进后SURF算法的误匹配点剔除效果与匹配结果(图5)进行对比。

图3 传统SURF算法采用RANSAC剔除误匹配点Fig.3 Using RANSAC to remove false matching points by traditional SURF algorithm

图4 传统SURF算法采用相对距离剔除误匹配点Fig.4 Using relative distance to eliminate false matching points by traditional SURF algorithm

图5 改进后SURF算法特征点匹配结果Fig.5 Result of feature point matching by improved SURF algorithm

从图3和图4中的误匹配点剔除效果可以看出, RANSAC算法检测出6对误匹配点, 相对距离算法检测出9对误匹配点; 且RANSAC算法只能剔除较为明显的误匹配点, 而采用相对距离理论能够检测出更多的误匹配点, 匹配效果较好。由图4和图5中特征点匹配结果可以看出, 传统SURF算法由于提取特征点的不均匀性, 导致特征点匹配主要集中在图像中特征较明显的局部区域, 且由相对距离基本理论检测出来的误匹配点较多。本文通过分块策略改进后的SURF算法匹配的特征点分布在图像的全局范围内, 且误匹配点较少, 匹配效果较好(图5)。传统与改进SURF算法匹配结果对比见表2。表中传统SURF算法的正确匹配率为76.31%, 本文改进后SURF算法的正确匹配率达88.37%, 说明经分块策略改进后的SURF算法匹配的特征点对较多、匹配精度较高。

表2 传统与改进SURF算法匹配结果对比 Tab.2 Comparison between matching results of traditional and improved SURF algorithms

2.2.3 图像配准

在引用相对距离理论剔除误匹配点的基础上, 分别采用传统SURF算法和改进后SURF算法, 通过正确匹配的特征点集对图像进行配准; 以RMSE的值为配准精度衡量标准, 最终配准结果见表3

表3 传统和改进后SURF算法的配准结果对比 Tab.3 Comparison between registration results of traditional and improved SURF algorithms

表3中的最终配准结果可以看出, 传统SURF算法的RMSE为6.762个像元, 改进后SURF算法的RMSE为2.690个像元, 说明改进后SURF算法使图像配准的精度和可靠度得到了提高; 从配准耗用的时间T来看, 改进后SURF算法的配准效率也得到了提高, 从而证明了经过分块策略和相对距离理论改进后的SURF算法在图像配准中具有一定的实用性。采用改进后SURF算法对实验区遥感图像的最终配准结果如图6所示。

图6 基于SURF的图像配准改进算法配准结果Fig.6 Registration results of improved image registration algorithm based on SURF

3 结论

本文提出的基于SURF的图像配准改进算法, 结合了图像分块策略与相对距离理论, 是对传统SURF算法进行图像配准的一种改进。通过对比实验得出以下结论:

1)在对一景遥感图像进行特征点提取时, 与传统SURF算法相比, 改进后的SURF算法提取的特征点在图像中分布更加均匀, 具有更好的几何匹配效果。

2)在剔除误匹配点对时, 使用传统的RANSAC算法只能剔除比较明显的误匹配点对, 而采用相对距离理论能够更好地剔除误匹配点对, 从而提高遥感图像配准的精度。

3)改进后的SURF算法的配准精度和配准效率都得到了提高, 具有一定的实用价值。

因受实验数据的限制, 本文提出的SURF改进算法目前只针对QuickBird遥感图像进行了实验, 对其他传感器图像的实验尚未开展, 这将是下一步研究的重点。

The authors have declared that no competing interests exist.

参考文献
[1] Harris C, Stephens M. A combined corner and edge detector[C]//Proceedings of the 4th Alvey Conference. Manchester, UK: [s. n. ], 1988: 147-152. [本文引用:1]
[2] You J, Bhattacharya P. A wavelet-based coarse-to-fine image matching scheme in a parallel virtual machine environment[J]. IEEE Transactions on Image Processing, 2009, 9(9): 1547-1559. [本文引用:1]
[3] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. [本文引用:1]
[4] 刘小军, 杨杰, 孙坚伟, . 基于SIFT的图像配准方法[J]. 红外与激光工程, 2008, 37(1): 156-160.
Liu X J, Yang J, Sun J W, et al. Image registration approach based on SIFT[J]. Infrared and Laser Engineering, 2008, 37(1): 156-160. [本文引用:1]
[5] 张锐娟, 张建奇, 杨翠, . 基于SURF的图像配准方法研究[J]. 红外与激光工程, 2009, 38(1): 160-165.
Zhang R J, Zhang J Q, Yang C, et al. Image registration approach based on SURF[J]. Infrared and Laser Engineering, 2009, 38(1): 160-165. [本文引用:1]
[6] 高素青, 谭勋军, 黄承夏. 一种基于SURF的图像配准改进算法[J]. 解放军理工大学学报: 自然科学版, 2013, 14(4): 372-376.
Gao S Q, Tan X J, Huang C X. Improved algorithm of image registration based on SURF[J]. Journal of PLA University of Science and Technology: Natural Science Edition, 2013, 14(4): 372-376. [本文引用:1]
[7] 刘朝霞, 安居白, 邵峰, . 航空遥感图像配准技术[M]. 北京: 科学出版社, 2014: 1-54.
Liu Z X, An J B, Shao F, et al. Aerial Remote Sensing Image Registration Technology[M]. Beijing: Science Press, 2014: 1-54. [本文引用:2]
[8] 杨占龙. 基于特征点的图像配准与拼接技术研究[D]. 西安: 西安电子科技大学, 2008.
Yang Z L. Research on Image Registration and Mosaic Based on Feature Point[D]. Xi’an: Xidian University, 2008. [本文引用:1]
[9] 陈超, 秦其明, 江涛, . 一种改进的遥感图像配准方法[J]. 北京大学学报: 自然科学版, 2010, 46(4): 629-635.
Chen C, Qin Q M, Jiang T, et al. An improved method for remote sensing image registration[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2010, 46(4): 629-635. [本文引用:1]
[10] 范大昭, 任玉川, 贾博, . 一种基于点特征的高精度图像配准方法[J]. 地理信息世界, 2007(5): 66-70.
Fan D Z, Ren Y C, Jia B, et al. A high precision image registration method based on point features[J]. Geomatics World, 2007(5): 66-70. [本文引用:1]
[11] 龚咏喜, 刘瑜, 谢玉波, . 基于分块-空间聚类的图像配准算法[J]. 计算机工程与应用, 2007, 43(29): 53-55.
Gong Y X, Liu Y, Xie Y B, et al. Image registration algorithm based on blocking-spatial clustering[J]. Computer Engineering and Applications, 2007, 43(29): 53-55. [本文引用:1]
[12] 孙彬, 边辉, 王培忠. 基于势函数点分布调整的SIFT图像配准算法[J]. 国土资源遥感, 2015, 27(3): 36-41. doi: DOI: 106046/gtzyyg. 2015. 03. 07.
Sun B, Bian H, Wang P Z. Image registration algorithm based on SIFT and potential function adjusting location of points[J]. Remote Sensing for Land and Resources, 2015, 27(3): 36-41. doi: DOI:10.6046/gtzyyg.2015.03.07. [本文引用:1]
[13] 李慧, 蔺启忠, 刘庆杰. 基于FAST和SURF的遥感图像自动配准方法[J]. 国土资源遥感, 2012, 24(2): 28-33. doi: DOI: 106046/gtzyyg. 2012. 02. 06.
Li H, Lin Q Z, Liu Q J. An automatic registration method of remote sensing imagery based on FAST corner and SURF descriptor[J]. Remote Sensing for Land and Resources, 2012, 24(2): 28-33. doi: DOI:10.6046/gtzyyg.2012.02.06. [本文引用:1]