多重约束条件下的不同遥感影像匹配方法
Different remote sensing image matching methods based on multiple constraints
责任编辑: 李瑜
收稿日期: 2019-09-9 修回日期: 2019-11-26 网络出版日期: 2020-09-15
基金资助: |
|
Received: 2019-09-9 Revised: 2019-11-26 Online: 2020-09-15
作者简介 About authors
薛 白(1988-),女,硕士,工程师,主要从事遥感数字图像处理、土地利用与动态监测等相关工作。Email:
针对不同遥感卫星影像间存在较大的几何变形和灰度差异,导致难以匹配大量的特征点问题,提出了一种多重约束条件下的不同遥感影像匹配方法。首先,利用仿射尺度不变特征变换(affine scale invariant feature transform,ASIFT)算法提取高质量的特征点完成初始匹配,并通过随机采样一致性算法优化匹配结果; 其次,利用匹配特征点集合计算出两幅影像的仿射变换矩阵,结合仿射变换与灰度相关系数对剩余特征点进行再次匹配; 最后,通过支持向量回归(support vector regression, SVR)对匹配结果进行检核。选取资源三号01星(ZY3-01)、资源三号02星(ZY3-02)以及高分一号(GF-1)卫星影像进行实验,结果表明,相较于尺度不变特征变换与ASIFT算法,本方法可以大量增加不同遥感影像间的特征点匹配数目,提高匹配精度。
关键词:
In order to solve the problem that there are large geometric deformation and gray difference between different remote sensing satellite image and it is difficult to match a large number of feature points, the authors put forward a multi-source remote sensing image matching method under multiple constraints in this paper. First, ASIFT algorithm is used to extract high-quality feature points and complete the initial matching, and the matching results are optimized by RANSAC algorithm. Secondly, affine transformation matrix of the two images is calculated by using the matching feature points set, and the remaining feature points are matched again by combining affine transformation and gray correlation coefficient. Finally, support vector regression (SVR) is used to check the matching results. Satellite images of ZY3-01, ZY3-02 and GF-1 were selected in the experiment. The experimental results show that, compared with SIFT and ASIFT algorithms, the proposed method can greatly increase the number of matching points between multi-source remote sensing images and improve the matching accuracy.
Keywords:
本文引用格式
薛白, 付钰莹, 崔成玲, 宋艳茹, 赵世湖.
Bai, Yuying, Chengling, Yanru, Shihu.
0 引言
针对不同遥感影像几何与灰度特征变化复杂这一情况,国内外专家学者展开了大量的研究。其中,基于特征的图像匹配算法因具有较好的鲁棒性,而被广泛地应用于不同遥感影像匹配。在基于特征的图像匹配算法中,尺度不变特征变换(scale invariant feature transform,SIFT)算子[11]是一种对图像旋转、缩放以及尺度具有不变性的特征提取算法。但SIFT算子应用于不同遥感影像匹配,存在着特征点匹配数量较少以及错误匹配等问题[12,13],为此专家学者尝试通过改进算法来完善基于特征的图像匹配算法的效果。改进的思路大致可以分为两个方向: ①对特征点自身描述符做相关改进[14,15,16],如将传统的SIFT描述符做主元分析,降低其特征描述符的维数,利用欧式距离确定最终匹配等; ②利用单一条件约束或组合约束来引导特征点匹配[17,18],这种算法需要精度较高的同名点来解算影像间旋转、平移参数,用以估计待匹配点在搜索影像上的概略位置来确定候选匹配。其中,ASIFT(affine SIFT)算子[19]为解决SIFT算子在影像间有较大倾角变化时,同名点对提取较少的问题而被提出,但ASIFT算子应用于不同遥感影像匹配时,因受限于特征描述能力等原因,致使提取到的大量特征点无法被成功匹配。
1 方法与原理
本文针对ASIFT算法应用于不同遥感影像时特征点匹配数量较少且存在错误匹配的问题,提出了一种多重约束条件下的不同遥感影像匹配方法。首先,通过ASIFT算法提取高质量的特征点,进行初始匹配,并通过随机采样一致性(random sample consensus,RANSAC)算法[20,21]对初始匹配结果进行优化,保证后续利用同名点计算仿射变换矩阵的准确性; 其次,利用同名点集合求出不同遥感影像间仿射变换模型,对初始未匹配的漏点进行再次匹配; 最后,通过支持向量回归[22](support vector regression, SVR)对匹配结果进行检核,剔除误差较大的匹配结果,得到最终的匹配结果,本文技术流程如图1。
图1
1.1 ASIFT特征提取
ASIFT算法是在SIFT算法基础上被提出的,以解决SIFT特征提取算法在成像视角变化较大时,同名点匹配较少的问题。ASIFT算法主要思想是建立一个半球形空间,通过球形中的经度和纬度唯一确定相机的空间位置,对图像进行模拟所有可能的仿射扭曲,然后对模拟图像进行SIFT特征点匹配,进而实现算法的仿射不变性匹配算法,具体步骤如下:
1)通过模拟所有可能的仿射变形实现图像的变换。仿射变形主要由相机光轴方向变化所引起,包括两个重要参数,即经度φ和纬度θ。若对图像进行φ度旋转,是参数
2)对待匹配的两幅图像按照经度角、纬度角模式进行仿射变换插值重采样。
3)利用SIFT算法对得到的图像对进行匹配。
1.2 特征匹配
本文提出的基于多重约束条件下的不同遥感影像匹配方法包括: ASIFT精匹配,多重约束特征匹配以及其于SVR的匹配结果检核。
1)ASIFT精匹配。由于不同遥感影像存在几何和灰度变化,ASIFT初始匹配结果中存在着误匹配点,本文采用RANSAC方法剔除误匹配点对。RANSAC算法采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法的核心思想是随机性和假设性,假设数据中包含正确数据和异常数据,通过迭代计算,筛选正确数据并剔除异常数据。
2)多重约束特征匹配。通过图像对中的同名点对
式中:
由于ASIFT初始匹配的同名点数量只占据特征点提取的一小部分,大量的ASIFT特征点并没有被成功匹配,因此,本文为了将ASIFT提取并对未匹配的漏点进行重新匹配,通过仿射变换矩阵将参考影像上未成功匹配的特征点映射到待匹配的影像上,计算出在待匹配影像对应特征点的初始位置。例如在参考影像上的一点
式中:
式中: f为核函数;
将每组匹配基元
2 实验结果分析
为了验证本文所提方法的有效性,实验选用了3组不同遥感数据,具体影像参数如表1所示。实验1选取了资源三号(ZY3)卫星影像数据,分别来源于ZY3-01星与ZY3-02星的全色正视影像,实验2选用了ZY3-02星的全色正视和多光谱影像。实验3选用了GF-1的全色正视影像和ZY3-01的全色正视影像。其中,第二组实验是全色灰度影像和多光谱影像匹配,不仅有不同程度的视角变换和旋转,还存在尺度变换与色彩变化。不同遥感影像匹配实验在Matlab R2016b平台上编程实现,并分别通过与SIFT和ASIFT算法进行对比,表2和图2分别给出了不同匹配算法的对比实验结果,图2中蓝色、品红和黄色展示的分别是SIFT算法、ASIFT算法和本文方法的匹配结果。
表1 实验影像
Tab.1
序号 | 传感器 | 波段 | 图像大 小/像素 | 空间分辨率/m |
---|---|---|---|---|
实验一 | ZY3-01 | 全色正视 | 583×502 | 2.1 |
ZY3-02 | 全色正视 | 583×502 | 2.1 | |
实验二 | ZY3-02 | 全色正视 | 597×534 | 2.1 |
ZY3-02 | 多光谱 | 219×198 | 5.8 | |
实验三 | GF-1 | 全色正视 | 500×500 | 2.0 |
ZY3-01 | 全色正视 | 500×500 | 2.1 |
表2 SIFT,ASIFT和本文算法实验结果
Tab.2
序号 | 算法 | 特征点个数 | 匹配对数 | |
---|---|---|---|---|
参考影像 | 待匹配影像 | |||
实验一 | SIFT | 3 670 | 2 993 | 259 |
ASIFT | 35 100 | 33 954 | 374 | |
本文方法 | 35 100 | 33 954 | 1 865 | |
实验二 | SIFT | 475 | 3 704 | 121 |
ASIFT | 31 973 | 25 443 | 355 | |
本文方法 | 31 973 | 25 443 | 2 838 | |
实验三 | SIFT | 2 093 | 3 530 | 2 |
ASIFT | 23 426 | 37 589 | 21 | |
本文方法 | 23 426 | 37 589 | 61 |
图2-1
图2-2
从对比实验结果可以看出,SIFT与ASIFT算法在实验一、实验二中相较于实验三取得了较好的结果。总体来看,在不同遥感影像间匹配时ASIFT算法要整体优于SIFT算法。但本文算法在不同遥感影像间灰度信息变化较大,依然表现良好,匹配数目和特征利用率明显优于前SIFT与ASIFT两种算法。实验二为多光谱和全色影像的匹配,不同遥感影像间存在着较大尺度的变换及局部变形,不仅SIFT算法自身提取的特征数量就有限,而且SIFT和ASIFT算法匹配结果对特征点的利用率也受限,而本文方法基于初始匹配计算出两幅影像间的仿射变换关系,进一步利用几何对应关系和归一化的相关系数法对剩余特征点进行再次匹配,大大提高特征点的利用率,且精度较高。实验结果表明本文算法可以较好地应用于ZY3-01星和ZY3-02星影像的匹配,从实验三的匹配结果可以看出,SIFT算法匹配点极少,而本文算法匹配的特征点数是SIFT算法的10倍,在ASIFT算法的基础上对不同遥感影像匹配具有更好的表现。
3 结论
本文针对不同遥感影像间几何变形和灰度差异大,提取特征点数量较少,而且影像间局部纹理复杂多变,单纯地利用描述特征进行匹配,匹配效果差强人意的问题进行研究,解决了不同遥感影像间特征点匹配较少的问题。
1)本文通过ASIFT算子提取特征点,利用描述特征进行初始匹配,并对初始匹配结果进行提纯。结合仿射变换与灰度相关系数对初始未匹配的漏点进行匹配,并对匹配结果进行检核,有效地提高了匹配数量。
2)本文算法对于不同遥感影像间特征匹配具有较好的鲁棒性,相较于SIFT和ASIFT算法,本文方法在特征点匹配数目与精度上均有较大程度的提升。
参考文献
局部仿射变换的自适应窗口立体影像匹配算法
[J].
Adaptive window stereo matching algorithm combining local affine transformation
[J].
资源三号卫星测绘技术与应用
[J].
Technology and application of surveying and mapping for ZY-3 Satellites
[J].
基于Harris角点与SIFT特征的近景影像匹配
[D].
Close-range image matching based on harris corners and SIFT features
[D].
近景影像三角网内插点密集匹配方法
[J].
Dense matching method of inserting point into the Delaunay triangulation for close-range image
[J].
迭代三角网约束的近景影像密集匹配
[J].
A dense matching algorithm of close-range images constrained by iterative triangle network
[J].
Delaunay三角网优化下的小面元遥感影像配准算法
[J].
A tiny facet primitive remote sensing image registration algorithm based on optimized delaunay triangulation
[J].
三角网约束的立体影像密集匹配方法
[J].
Stereo image dense matching method with triangle net constraint
[J].
局部相位特征描述的多源遥感影像自动匹配
[J].
An automatic matching method based on local phase feature descriptor for multi-source remote sensing images
[J].
一种改进自适应权重稀疏区域立体匹配算法
[J].
An improved adaptive support-weight stereo matching algorithm with sparse region
[J].
一种稳健的多源遥感图像特征配准方法
[J].提出了一种稳健的多源遥感图像特征配准方法.首先引入相位一致性变换来消除图像灰度、对比度差异的影响并提取特征点;然后基于Zernike矩重构互相关函数并通过重构函数最大化实现图像旋转条件下的特征点匹配,同时结合双向最大互相关值匹配策略实现图像的粗略配准;最后,采用迭代修正变换参数算法最终实现多源遥感图像高精度配准.对大量多源图像进行配准实验表明,提出方法对多源遥感图像配准具有较强的适应性且配准精度高.
A robust multi-source remote-sensing image registration method based on feature matching
[J].A robust feature based image registration method is proposed for multi-source remote-sensing images.Firstly,phase congruency transform is used to compute phase information images for removing the influence of the great differences in gray-level or contrast and to extract the control points.Then,the cross correlation function is reconstructed by Zernike moment and maximized to match the control-point pairs under rotation condition.Simultaneously,the initial feature point pairs are gained with the matching strategy of the bidirectional greatest cross correlation coefficient.Lastly,an iterative refined parameters method is used to improve the accuracy of registration.Experimental results demonstrate that this novel method can efficiently offer a reliable,robust and accurate image registration for the multi-source remote-sensing images.
Distinctive image features from scale-invariant keypoints
[J].
DOI:10.1023/B:VISI.0000029664.99615.94
URL
[本文引用: 1]
This paper presents a method for extracting distinctive invariant features from images that can be used to perform reliable matching between different views of an object or scene. The features are invariant to image scale and rotation, and are shown to provide robust matching across a substantial range of affine distortion, change in 3D viewpoint, addition of noise, and change in illumination. The features are highly distinctive, in the sense that a single feature can be correctly matched with high probability against a large database of features from many images. This paper also describes an approach to using these features for object recognition. The recognition proceeds by matching individual features to a database of features from known objects using a fast nearest-neighbor algorithm, followed by a Hough transform to identify clusters belonging to a single object, and finally performing verification through least-squares solution for consistent pose parameters. This approach to recognition can robustly identify objects among clutter and occlusion while achieving near real-time performance.]]>
一种结合拓扑信息和SIFT特征的多源遥感影像自动匹配方法
[J].
A multi-sensor remote sensing image automatic matching method based on topological information and SIFT features
[J].
点、线结合下的多源高分辨率遥感影像匹配
[D].
The Matching of multi-source high resolution image based on points and lines
[D].
一种改进的SIFT-PCA算法在图像检索中的应用
[J].
An improved SIFT-PCA algorithm application in image retrieval
[J].
A performance evaluation of local descriptors
[J].
A computational theory of human stereo vision
[J].
基于全局仿射变换估计的航拍视频校正
[J].
Global affine motion estimation for aerial video registration
[J].
基于SURF和TPS的立体影像密集匹配方法
[J].
Densely stereo image matching using SURF and TPS
[J].
ASIFT:A new framework for fully affine invariant image comparison
[J].DOI:10.1137/080732730 URL [本文引用: 1]
Automatic satellite image registration by combination of matching and random sample consensus
[J].
Readings in computer vision random sample consensus:A paradigm for model fitting with applications to image analysis and automated cartography
[J].
基于SVM和AdaBoost的红外目标跟踪
[J].
DOI:10.11834/jig.20071118
URL
[本文引用: 2]
为了提高目标跟踪的鲁棒性,提出了一种新的用于红外目标跟踪的DABSVT算法。该算法首先把目标跟踪转化为目标和背景的两类分类问题,然后将根据每一帧的正负样本训练的支持向量机(SVM)作为分量分类器,并通过恰当的参数调整策略,利用AdaBoost算法把这些分量分类器组合成一个总体分类器;接着利用该总体分类器来区分下一帧中的目标和背景,并得到置信图;最后通过均值漂移算法找到置信图的峰值,得到目标的新位置。该新位置不仅与目标和背景的变化相适应,而且分量分类器可以随时加入或丢掉。实验结果显示,该方法是鲁棒的。
Target tracking in infrared image sequences by combining SVM and Adaboost
[J].
DOI:10.11834/jig.20071118
URL
[本文引用: 2]
To improve the robustness of the tracker, a novel algorithm, the Diverse AdaBoost SVM Tracking(DABSVT) method, is proposed for target tracking in infrared imagery. The tracker trains one Support Vector Machine(SVM) classifier per frame. All of the classifiers are combined into an ensemble classifier using AdaBoost. By proper parameter adjusting strategies, a set of effective SVM classifiers with moderate accuracy are obtained. The ensemble classifier is used to distinguish the target from the background in the next frame and produce a confidencemap. The peak of themap, which is given bymean shift, is thought as the new position of the target. To cope with the changes in features of both foreground and background, the component classifier can be discarded or added at any time. The experiments performed on several sequences showed the robustness of the proposed method.
顾及多相机拼接成像特征的高分一号卫星影像自适应匹配方法
[J].
Research on the self-adaptive matching method of GF-1 satellite imagery considering the features of multi-camera mosaic imaging
[J].
/
〈 |
|
〉 |
