国土资源遥感, 2021, 33(1): 123-128 doi: 10.6046/gtzyyg.2020143

技术方法

一种基于格网索引优化的遥感影像自动配准算法

张萌生,1,2,3, 杨树文,1,2,3, 贾鑫1,2,3, 臧丽日1,2,3

1.兰州交通大学测绘与地理信息学院,兰州 730070

2.地理国情监测技术应用国家地方联合工程研究中心,兰州 730070

3.甘肃省地理国情监测工程实验室,兰州 730070

An automatic registration algorithm for remote sensing images based on grid index

ZHANG Mengsheng,1,2,3, YANG Shuwen,1,2,3, JIA Xin1,2,3, ZANG Liri1,2,3

1. Faculty of Geomatics, Lanzhou Jiaotong University, Lanzhou 730070, China

2. National-Local Joint Engineering Research Center of Technologies and Applications for National Geographic State Monitoring, Lanzhou 730070, China

3. Gansun Provincial Engineering Laboratory for National Geographic State Monitoring, Lanzhou 730070, China

通讯作者: 杨树文(1975-),男,教授,博士生导师,主要从事遥感信息识别与提取方面的研究。Email:ysw040966@163.com。

责任编辑: 陈理

收稿日期: 2021-05-14   修回日期: 2020-08-17   网络出版日期: 2021-03-15

基金资助: 国家重点研发计划地球观测与导航“星空地遥感立体监测技术”.  2017YFB0504201
国家自然科学基金项目“基于高分辨率卫星影像的彩钢板建筑与城市空间结构演变关系研究”共同资助.  41761082

Received: 2021-05-14   Revised: 2020-08-17   Online: 2021-03-15

作者简介 About authors

张萌生(1994-),男,硕士研究生,主要从事影像处理的研究。Email: 642722474@qq.com。

摘要

针对SIFT算法在遥感影像配准过程中捕获配准点对数量较少和误匹配较多等问题,提出了一种基于格网索引的遥感影像自动配准的算法。首先,采用SIFT算法提取特征点和特征向量,并通过欧氏距离进行匹配; 其次,建立格网索引剔除部分误匹配点对,从而提高了随机抽样一致算法的精度; 最后,使用多项式几何纠正算法实现遥感影像的精确配准。实验结果表明: 该算法比传统分块算法在遥感影像中得到的匹配点对精度更高,并且考虑到不同遥感影像配准场景的差异。

关键词： SIFT ; 格网索引 ; 随机抽样一致 ; 影像配准

Abstract

This paper proposes an algorithm for automatic registration of remote sensing images based on grid index, aiming at tackling the problems of a small number of registration point pairs and a large number of mismatches captured by the SIFT algorithm in the process of remote sensing image registration. First, SIFT algorithm is used to extract feature points and feature vectors, and matching is made by Euclidean distance; secondly, a grid index is established to eliminate part of the mismatched point pairs, thereby improving the accuracy of the random sampling consensus algorithm; finally, geometric polynomials are used to achieve accurate registration of remote sensing images. The experimental results show that the algorithm has higher accuracy of matching point pairs than the traditional block algorithm in remote sensing images, and takes into account the differences in registration scenes of different remote sensing images.

Keywords： SIFT ; grid index ; RANSAC ; image registration

PDF (5719KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

张萌生, 杨树文, 贾鑫, 臧丽日. 一种基于格网索引优化的遥感影像自动配准算法. 国土资源遥感[J], 2021, 33(1): 123-128 doi:10.6046/gtzyyg.2020143

ZHANG Mengsheng, YANG Shuwen, JIA Xin, ZANG Liri. An automatic registration algorithm for remote sensing images based on grid index. REMOTE SENSING FOR LAND & RESOURCES[J], 2021, 33(1): 123-128 doi:10.6046/gtzyyg.2020143

0 引言

遥感影像配准是一个空间映射的过程,即通过某种空间变换使得2幅影像中同一目标点达到空间位置一致。遥感影像配准技术在影像自动处理领域得到广泛应用,是目前遥感研究应用的热点问题之一,学者们先后提出了多种配准算法[1]。影像配准算法大致可分为基于灰度信息和基于特征2种配准算法。其中,基于特征的影像配准算法以计算量小、速度快、鲁棒性强的特点被广泛的应用。

在基于特征的影像配准算法中最具代表性的是Lowe提出的尺度不变特征变换算法(scale-invariant feature transform,SIFT)[2,3],因具有优秀的仿射不变性和鲁棒性[4]在影像配准领域得到了广泛的认可。在此基础上,李晓明等首次将SIFT算法应用在遥感影像的自动配准中,但是传统SIFT算法进行遥感影像配准过程中的效果并不理想。为此,李晓明等[5]引入了随机抽样一致(random sample consensus,RANSAC)算法[6],较为有效地剔除了误匹配点对并提高了匹配精度。然而,由于遥感影像的不确定性,SIFT与RANSAC算法结合进行遥感影像匹配过程中仍存在大量的误匹配点对,达不到实际应用的匹配效果。

针对此问题,程焱等[7]提出使用M估计代替RANSAC算法提高遥感影像自动配准精度的建议。但由于在遥感影像的匹配过程中误匹配点对较多,使用传统的统计学方法剔除误匹配点对仍较为困难。因此,学者们针对这一问题提出了一系列改进算法,如李芳芳等[8]对SIFT算法匹配精度进行了优化,采用双向匹配算法并结合匹配点对坐标差进行误匹配点对的剔除,该方法很大程度上提高了匹配点对的精确度; 程红等[9]提出了利用象限和角度剔除SIFT特征匹配的误匹配点对的思路,也在一定程度上解决了误匹配的问题; 张谦等[10,11]在多源影像配准过程中提出了使用透视变换方程耦合均方根误差作为误差模型剔除误匹配的方法; 沈宇臻等[12]在多源影像匹配时提出了通过计算特征点对之间距离、方向夹角的关系等进行误匹配点对剔除的思路,但是该方法需要首先设定距离阈值和方向阈值。

综上所述,在实际配准过程中,由于存在纹理相似、图像噪声等遥感影像不确定性因素的影响,在2幅图像上检测出的特征点存在较大差异,从而使得一些非同名特征点也被错误地匹配成为配准点对。为了进一步提高影像配准的精度,在影像进行SIFT算法特征点的提取和匹配之后,还需进一步剔除误匹配点对,提高配准点对的数量和精度。为此,本文提出使用格网索引对SIFT算法进行优化,剔除大量的误匹配点对之后再使用RANSAC算法,其显著提高了SIFT算法在遥感影像配准中的精度,并且使用该算法进行影像配准得到了较好的结果。

1 SIFT算法

SIFT算法利用高斯差分金字塔构建多尺度空间,寻找多尺度空间的稳点特征和描述。SIFT算法的核心思路可分为4步[3]:

1)尺度空间极值检测。基于多尺度空间理论通过高斯差分代替拉普拉斯差分建立多层高斯差分金字塔,在差分金字塔中寻找极值检测点。

2)关键点定位。比较检测点所在图像的3×3邻域8个像素点,以及其相邻的上下2层的3×3邻域18个像素点共26个像素点,是否为极值点。通过曲线拟合寻找尺度空间的极值点的位置,再去除低对比度的关键点和不稳定的边缘响应点,得到稳定性强的关键点。

3)关键点主方向分配。利用关键点邻域像素的梯度分布特性来确定其方向参数,再利用图像的梯度直方图求取关键点局部结构的稳定方向。

4)关键点描述子构造。以关键点为中心取16×16的窗口,并均分为4×4个子区域,计算每个子区域8个方向的梯度方向直方图,这样每个关键点都可以产生4×4×128维的特征向量。

为了验证、分析SIFT算法的效率和精度,基于GF-2影像进行了大量分析实验,结果如图1和2所示。其中,图1是使用SIFT算法对2幅实验区域相同的遥感影像提取特征点,图1(a)为GF-2待配准全色影像(空间分辨率为1 m)所提取得到的特征点图像,大小为500像素×500像素,图1(b)为GF-2经人工配准融合后基准多光谱影像(空间分辨率为1 m)所提取得到的特征点图像,大小为737像素×633像素。图2是图1这2幅影像利用欧式距离进行特征点匹配的结果。从图2中可以直观地看出匹配的结果中存在大量误匹配点对。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1   SIFT提取的特征点

Fig.1   SIFT feature points


图2

新窗口打开| 下载原图ZIP| 生成PPT

图2   SIFT算法进行匹配后的结果(随机显示100对)

Fig.2   Result of matching by SIFT algorithm


2 基于格网优化的SIFT影像配准

鉴于SIFT算法存在的不足,在大量实验分析的基础上,发现引入格网索引能够有效提高匹配精度。格网索引是一种常见的空间索引,其原理是将一定地理范围划分成M行N列,得到M×N个格网[13]。为了建立起地理区域与格网索引的对应关系,存储了每个空间对象落在格网区域内的索引信息,并对每个格网赋予唯一的索引值。具体步骤为: 首先,通过SIFT算法匹配得到待配准影像在基准影像中的对应区域; 然后,建立相对应的格网,如图3所示; 最后,根据空间对象的地理坐标计算出空间对象属于的格网,再将其索引信息存储到该点内。本文将SIFT算法检测出的特征点建立格网索引(格网大小为5×5),通过索引值将SIFT算法匹配得到的特征点对进行剔除,保留索引值相同的特征点对。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3   遥感影像提取特征点后建立格网索引

Fig.3   Remote sensing image extraction feature points to establish grid index


在进一步的实验研究中发现,将RANSAC算法与格网索引进行耦合,能够进一步提高匹配精度。RANSAC算法从包含较多噪声点或无效点的数据集中,通过反复选择数据中的随机子集建立模型,符合该模型的数据称为“内点”,不符合的称为“外点”,最后通过“内点”和模型的错误率选择最优模型,确定出有效样本。该算法对图像噪声有很好的鲁棒性,因此在消除误匹配点,提高配准精度方面已有广泛的应用。使用RANSAC算法对SIFT匹配结果进行优化,能够一定程度上提高匹配的精确度。但是由于遥感影像会存在近似的纹理特征,导致误匹配点对较多,并且由于误匹配点对数量增多,造成RANSAC算法“外点”增多,会导致RANSAC无法准确区分“内点”与“外点”,影响RANSAC算法优化SIFT匹配的结果。

在上述多个理论的基础上,提出了基于格网索引优化的遥感影像自动配准算法,流程如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4   基于格网索引优化的遥感影像配准流程

Fig.4   Flow chart of remote sensing image registration based on grid index


3 实验与分析

为了验证本文算法的有效性,进行了大量的遥感影像配准实验,并与SIFT算法、SIFT+RANSAC算法和分块SIFT算法进行匹配性能的比较,其中分块SIFT算法[14]中使用RANSAC算法剔除误匹配。本文实验环境: Intel Core I5-4200U 1.60 GHz处理器,8 GB运行内存,64位Win7操作系统,OpenCV 3.0.0。本文选取3组不同区域且拍摄时间不同的遥感影像进行配准实验,实验数据详细信息如表1所示,其中基准影像为经人工配准融合后的GF-1多光谱影像(空间分辨率为2 m),如图5所示。

表1   实验数据的详细信息

Tab.1  Detailed description of test data

编号待配准影像基准影像影像特点
卫星传感器空间分
辨率/m		大小/像素卫星传感器空间分
辨率/m		大小/像素
1GF-1 PMS全色21 213×866GF-1 PMS融合21 640×1 247地形平坦
2GF-1 PMS全色21 854×1 660GF-1 PMS融合22 437×2 103地形起伏较大
3GF-2 PMS多光谱41 077×1 025GF-1 PMS融合22 916×2 755分辨率差异大、拍摄卫星不同

新窗口打开| 下载CSV


图5

新窗口打开| 下载原图ZIP| 生成PPT

图5   实验数据

Fig.5   Test data


对3组实验区域影像采用SIFT算法、SIFT+RANSAC算法、分块SIFT算法和本文算法进行对比实验,上述4种算法所得的实验结果如表2所示。表2分别统计了4种算法的配准点数量和正确率,可以看出本文算法的正确率得到了较大提升,并且正确配准点对数量较SIFT+RANSAC算法得到显著提升。

表2   4种算法配准点对数量和正确率对比

Tab.2  Comparison of the number and correct rate of registration of four algorithms

编号SIFTSIFT+RANSAC分块SIFT本文算法
数量/个正确率/%数量/个正确率/%数量/个正确率/%数量/个正确率/%
130266.2324282.641 23465.6482498.30
254373.6644589.892 33760.981 45797.80
311742.747170.4237834.9214193.62

新窗口打开| 下载CSV


图6展示了通过本文算法进行影像配准的效果(图中上层影像为已配准的全色影像透明度为50%,下层图像为基准影像),可以看出图6中由于得到了大量高精度匹配点对,使得多项式几何纠正后的配准精度更高。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6   影像配准结果

Fig.6   Image registration results


为了定量分析本文算法的配准精度,从第一组实验的基准影像和配准影像中选取10对同名像点作为检查点如表3所示,计算得到坐标的均方根误差为2.560 24,即0.695 69个像素。其中2幅影像均为WGS84坐标系,投影系为UTM投影。

表3   配准精度评价

Tab.3  Registration accuracy evaluation

点号配准结果参考影像误差
X坐标Y坐标X坐标Y坐标
1388 878.864 23 991 408.902 2388 877.898 13 991 409.868 61.867 278 171
2387 901.443 23 991 468.957 5387 902.409 53 991 469.440 71.167 217 930
3387 173.594 83 991 709.204 0387 172.990 83 991 710.411 91.823 838 411
4386 640.921 43 991 768.720 2386 639.471 93 991 768.237 02.334 532 490
5388 840.743 03 992 224.246 2388 842.675 83 992 223.279 94.669 451 530
6387 287.925 73 992 392.608 9387 289.375 33 992 394.058 54.202 680 320
7386 452.627 83 992 431.072 6386 453.594 13 992 432.662 33.460 881 780
8388 841.030 23 992 224.250 7388 841.803 13 992 223.477 61.195 058 021
9388 269.212 13 992 859.006 4388 268.796 83 992 860.314 01.882 291 850
10387 464.323 53 991 903.360 7387 464.323 53 991 905.092 52.999 131 239

新窗口打开| 下载CSV


4 结论

1)本文针对SIFT算法在遥感图像配准中出现的大量误匹配现象,提出了基于格网索引的遥感影像自动配准算法,引入格网索引剔除了SIFT算法的大量误匹配点对,从而减少了RANSAC算法中的“外点”,提升了RANSAC算法的效果。利用本文优化的SIFT算法可以同时提高遥感影像配准点对的正确率和配准点对数量。实验表明,该算法相对于原有传统的分块SIFT算法显著提升了遥感影像配准的精度,结果更加理想。

2)本文算法部分过程计算量较大,效率较低,并且本文算法配准的精度跟检测到配准点对数量的多少有关,在遥感影像存在辐射差异的情况下配准效果较差,下一步将对此问题进行深入研究,以提升遥感影像配准的普适性。

参考文献

李孚煜, 叶发茂.

基于SIFT的遥感图像配准技术综述

[J]. 国土资源遥感, 2016,28(2):14-20.doi: 10.6046/gtzyyg.2016.02.03.

[本文引用: 1]

Li F Y, Ye F M.

Summarization of SIFT-based remote sensing image registration techniques

[J]. Remote Sensing for Land and Resources, 2016,28(2):14-20.doi: 10.6046/gtzyyg.2016.02.03.

[本文引用: 1]

Lowe D G.

Object recognition from local scale-invariant features

[C]// iccv.IEEE Computer Society, 1999.

[本文引用: 1]

Lowe D G.

Distinctive image features from scale-invariant keypoints

[J]. International Journal of Computer Vision, 2004,60(2):91-110.

DOI:10.1023/B:VISI.0000029664.99615.94      URL     [本文引用: 2]

This paper presents a method for extracting distinctive invariant features from images that can be used to perform reliable matching between different views of an object or scene. The features are invariant to image scale and rotation, and are shown to provide robust matching across a substantial range of affine distortion, change in 3D viewpoint, addition of noise, and change in illumination. The features are highly distinctive, in the sense that a single feature can be correctly matched with high probability against a large database of features from many images. This paper also describes an approach to using these features for object recognition. The recognition proceeds by matching individual features to a database of features from known objects using a fast nearest-neighbor algorithm, followed by a Hough transform to identify clusters belonging to a single object, and finally performing verification through least-squares solution for consistent pose parameters. This approach to recognition can robustly identify objects among clutter and occlusion while achieving near real-time performance.]]>

Mikolajczyk K, Schmid C.

A performance evaluation of local descriptors

[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2005,27(10):1615-1630.

DOI:10.1109/TPAMI.2005.188      URL     [本文引用: 1]

李晓明, 郑链, 胡占义.

基于SIFT特征的遥感影像自动配准

[J]. 遥感学报, 2006,10(6):885-892.

PMID:29938116      [本文引用: 1]

Li X M, Zheng L, Hu Z Y.

SIFT based automatic registration of remotely-sensed imagery

[J]. Journal of Remote Sensing, 2006,10(6):885-892.

DOI:10.3390/rs10060885      URL     PMID:29938116      [本文引用: 1]

Multiple satellite-based earth observations and traditional station data along with the Soil & Water Assessment Tool (SWAT) hydrologic model were employed to enhance the Lower Mekong River Basin region's hydrological decision support system. A nearest neighbor approximation methodology was introduced to fill the Integrated Multi-satellite Retrieval for the Global Precipitation Measurement mission (IMERG) grid points from 2001 to 2014, together with the Tropical Rainfall Measurement Mission (TRMM) data points for continuous precipitation forcing for our hydrological decision support system. A software tool to access and format satellite-based earth observation systems of precipitation and minimum and maximum air temperatures was developed and is presented. Our results suggest that the model-simulated streamflow utilizing TRMM and IMERG forcing data was able to capture the variability of the observed streamflow patterns in the Lower Mekong better than model-simulated streamflow with in-situ precipitation station data. We also present satellite-based and in-situ precipitation adjustment maps that can serve to correct precipitation data for the Lower Mekong region for use in other applications. The inconsistency, scarcity, poor spatial representation, difficult access and incompleteness of the available in-situ precipitation data for the Mekong region make it imperative to adopt satellite-based earth observations to pursue hydrologic modeling.

Fischler M A, Bolles R C.

Random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography

[J]. Communications of the ACM, 1981,24(6):381-395.

DOI:10.1145/358669.358692      URL     [本文引用: 1]

程焱, 周焰, 林洪涛.

基于SIFT特征遥感影像自动配准与拼接

[J]. 遥感技术与应用, 2008,23(6):721-728,608.

URL     [本文引用: 1]

将SIFT特征用于遥感及航拍影像的配准和拼接,并针对RANSAC算法在SIFT特征匹配中效率低、同时还需要估计内点噪声均方差作为误差数据的门限等不足,采用一种基于投影的M估计算法,利用最优化准则和输入数据的内在联系绕开鲁棒估计对噪声均方差的依赖性。实验结果表明,对航空和航天遥感影像SIFT特征在一定程度的视点变化、光照变化、分辨率不同等情形下,该方法具有稳定、快速、可靠等特点。M估计则有效地解决了对于不同输入数据的门限选择,真正实现了无人工干预的自动配准。

Cheng Y, Zhou Y, Lin H T.

Automatic registration and mosaic of remote sensed imagery based on SIFT feature

[J]. Remote Sensing Technology and Application, 2008,23(6):721-728,608.

URL     [本文引用: 1]

In this paper,SIFT feature is introduced into automatic registration and mosaic of remote sensed imagery and aerial imagery.Considering to the low efficiency of RANSAC algorithm and the estimation of the scale of inliers noise which refer to ,we presents a feature matching approach called projected based M-estimator to resolve the matching problem,which can escape from human-interaction in automatic system.Numerous experiments have been conducted for both aerial and satellite imageries under various conditions such as geometric distortion,illumination variation and different resolution.The result showed that our matching approach performs well and is stable,reliable,efficient and automatic.The M-estimate can achieve authentically automatic registration without human-interaction in despite of different input data with different scale of inliers noise.

李芳芳, 肖本林, 贾永红, 等.

SIFT算法优化及其用于遥感影像自动配准

[J]. 武汉大学学报(信息科学版), 2009,34(10):1245-1249.

[本文引用: 1]

Li F F, Xiao B L, Jia Y H, et al.

Improved SIFT algorithm and its application in automatic registration of remotely-sensed imagery

[J]. Geomatics and Information Science of Wuhan University, 2009,34(10):1245-1249.

URL     [本文引用: 1]

Optimized traditional SIFT algorithm from feature point extracting time and matching accuracy.Registration control points extracted from this algorithm are used to construct TIN for tiny facet primitive rectifying.Experiment results show that the method is an effective automatic registration method for remotely-sensed imagery.

程红, 陈文剑.

基于SIFT算法的图像匹配剔点方法研究

[J]. 地理与地理信息科学, 2012,28(6):17-19,27.

[本文引用: 1]

Cheng H, Chen W J.

A method to reject points based on SIFT for image matching

[J]. Geography and Geo-Information Science, 2012,28(6):17-19,27.

[本文引用: 1]

张谦, 贾永红, 胡忠文.

多源遥感影像配准中的SIFT特征匹配改进

[J]. 武汉大学学报(信息科学版), 2013,38(4):455-459.

[本文引用: 1]

Zhang Q, Jia Y H, Hu Z W.

An improved SIFT algorithm for multi-source remote sensing image registration

[J]. Geomatics and Information Science of Wuhan University, 2013,38(4):455-459.

[本文引用: 1]

张谦, 贾永红, 吴晓良, 等.

一种带几何约束的大幅面遥感影像自动快速配准方法

[J]. 武汉大学学报(信息科学版), 2014,39(1):17-21,31.

[本文引用: 1]

Zhang Q, Jia Y H, Wu X L, et al.

A rapid image registration method based on restricted geometry constraints for large-size remote sensing image

[J]. Geomatics and Information Science of Wuhan University, 2014,39(1):17-21,31.

[本文引用: 1]

沈宇臻, 李百寿, 李灵芝.

一种基于邻域投票的异源光学影像SIFT匹配误差剔除方法

[J]. 测绘通报, 2018(2):55-60,93.

[本文引用: 1]

Shen Y Z, Li B S, Li L Z.

A method of SIFT matching error elimination for heterogeneous optical images based on neighborhood voting

[J]. Bulletin of Surveying and Mapping, 2018(2):55-60,93.

[本文引用: 1]

闫浩文, 王明孝, 王中辉 .计算几何: 空间数据处理算法[M]. 北京: 科学出版社, 2012.

[本文引用: 1]

Yan H W, Wang M X, Wang Z H. Computational geometry:Spatial data processing algorithms[M]. Beijing: Science Press, 2012.

[本文引用: 1]

朱志文, 沈占锋, 骆剑承.

改进SIFT点特征的并行遥感影像配准

[J]. 遥感学报, 2011,15(5):1024-1039.

[本文引用: 1]

Zhu Z W, Shen Z F, Luo J C.

Parallel remote sensing image registration based on improved SIFT point feature

[J]. Journal of Remote Sensing, 2011,15(5):1024-1039.

[本文引用: 1]

/

〈 〉

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编：100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发