0 引言
露滩受潮汐作用影响,时而出露时而淹没,其特殊的地理位置使得露滩地区测量十分困难,不仅人工直接测量成本高,而且比较耗时,更新难度大。光学卫星影像作为一种丰富的影像资源,被广泛应用于构建地形测绘,相对于纯野外测量、激光测高技术探测露滩地形,立体像对就成了比较好的数据资源,但受其定位精度的影响,无控条件下光学卫星影像立体匹配生成的数字表面模型(digital surface mo-del,DSM)的高程误差高达20 m,难以满足实际应用的需求[1]。综合利用多类型传感器数据在几何定位精度方面的互补性,是实现光学卫星影像高精度几何定位非常具有潜力的解决方案,对于促进快速准确地开展露滩地区图测绘工作大有裨益[2-3]。
激光测距技术可以实现亚毫米级的精度,并提供准确的距离、空间信息且不受光照和阴影的影响。因此理论上,通过激光点云来辅助立体像对可以大幅提高定位精度,快速准确地生产露滩地区高精度的地形图。李红帅[4]提出一种基于激光点云和图像融合的三维重建方法,该方法通过设置标定板以及运用角点检测算法(Harris)半自动化获取激光点云和图像的对应关系,然后基于共线方程原理实现点云和图像融合的三维重建,实验表明,标定结果与初值相比,重投影误差降低了35%,三维重建效果明显提高; Dai等[5]提出一种基于图像和激光点云融合的定位算法,通过激光雷达(light detection and ranging,LiDAR)点云为图像特征提供额外的深度信息,以辅助视觉的定位,实验结果表明,与纯视觉定位算法相比,移动机器人的轨迹误差降低了52.7%,且在不同环境下具有良好的适应性和鲁棒稳定性; Chan等[6]提出一种鲁棒的激光点云融合视觉图像的几何定位方法,相比于传统的特征匹配融合算法,该方法采用一种轨迹匹配的融合方法,因此更具泛化性; Zhang等[7]提出一种基于光学影像和稀疏激光点云的三维建筑物自动重建方法,通过光学影像确定建筑物的形状和位置信息,其高度信息则是由激光点云确定; Zhou等[8]开发一种融合LiDAR数据和航空光学影像的三维建筑重建方法,该方法在房屋检测以及描述的过程中都使用了融合LiDAR数据来提高三维重建精度; Abayowa等[9]提出融合光学航空影像和LiDAR点云以生成城市模型,该方法是通过光学航空影像生成密集点云并配准至LiDAR点云来实现数据融合的目的,从而提高其模型的结构以及光学信息; Su等[10]提出一种通过集成激光点云和光学图像对植被山区的数字高程模型(digital elevation model,DEM)进行校正的方法,该方法能够显著提高植被山地SRTM DEM的精度,并将其与激光点云生成的DEM的平均差从12.15 m减少到-0.82 m,标准差下降了2 m。以上研究表明,通过融合激光点云以及光学卫星图像数据能够提高其模型精度,但受两者成像机理差异的影响,导致LiDAR深度图与光学卫星影像间存在严重的非线性辐射畸变和几何畸变,建立激光点云和光学影像的对应关系是非常困难的,因此以上方法均采用间接手段(手工或者依靠数据的位置先验信息)确定激光点云和光学影像的对应关系。这也造成以上方法仅适用于简单的三维重建,而且对精度提升也有限。近些年,针对多模态图像匹配进行广泛研究,并提出了一些鲁棒的匹配算法,例如: RIFT[11](rotational invariant feature transform),HOPC[12](histogram of orientated phase congruency),CFOG[13](channel features of orientated gradients),AWOG[14](angular weighted orientated gradients)等算法。
基于此,本文提出一种基于激光点云辅助的立体像对露滩地形测绘方法。该方法首先利用多模态图像匹配算法自动获取激光点云与光学影像的连接点,并基于激光点云的DEM信息生成控制点信息来进行卫星影像准确的几何定位; 其次,以LiDAR稀疏点作为引导,利用多基线、多匹配基元的影像密集匹配,并利用最小二乘匹配方法进行优化,生成高精度的DSM,完成露滩地区地形图测绘。
1 研究方法
本文提出一种联合LiDAR深度图与立体光学卫星影像数据的露滩地形精准测绘方法,主要包括LiDAR深度图与立体光学卫星影像前后视影像的精准匹配、准确的几何定位,以及LiDAR深度数据辅助的DSM自动提取等步骤,其实现流程如图1所示。
图1
具体流程如下: ①利用对多源遥感影像鲁棒的AWOG算法对LiDAR深度图分别与立体光学卫星前视影像、后视影像进行匹配,得到对应的正确匹配点对。为了处理大影像对计算机配置要求高的问题,将影像进行分块处理; ②以LiDAR深度图上在2组匹配中的共同点作为桥梁,找到3幅影像上的同名点,将得到的同名点作为广义控制点,输入成熟的摄影测量软件PixelGrid,进行平差处理,得到卫星影像的几何定位结果,输出定位参数; ③对影像进行自适应预处理,生成多级金字塔影像结构,并提取3类不同的匹配基元,即特征点、特征线和格网点; ④在原始分辨率影像上的匹配结果从多级金字塔影像结构的低分辨率影像开始进行由粗到细的逐级提取和匹配,匹配过程中利用经典的GC3算法[15],并辅以LiDAR深度数据作为引导,控制匹配点的搜索范围,提高匹配精度; ⑤在各级金字塔影像配准结束后,所有的匹配特征形成不规则三角网(triangulated irregular network,TIN)结构的DSM数据,该DSM又作为高一级金字塔影像匹配的匹配初值和进行匹配参数自适应调整的条件进入到较高分辨率影像中进行配准,以此不断进行迭代得到更优的结果; ⑥采用基于几何约束的多影像最小二乘匹配算法[16]对多基线、多基元影像匹配获得的初步匹配结果进行精化匹配(geomorphologic refined matching,GRM),提高匹配结果的精度,并定位和剔除较小的匹配粗差。GRM对保持微细地貌,如小的冲沟和线状特征等,具有重要的意义。最终的DSM则在融合所有匹配特征基元的基础上内插形成。
2 研究区概况及数据源
本文选择江苏省南通市如东县腰沙地区作为研究区,具体位置如图2所示,目标区地物覆盖多样,包括海域、浅滩区域、建筑物和山地区域等,地貌类型比较丰富。为验证本文方法的有效性,选择了立体测绘卫星GF-7影像以及同一区域的LiDAR点云作为数据源,分别进行了激光点云辅助的卫星影像几何定位以及激光点云辅助的卫星影像DSM自动提取2组实验。通过对比分析,充分挖掘激光点云数据在几何定位和DSM自动提取中的有利作用。
图2
立体卫星影像数据选用2022年4月21日11:00:36获取的一景GF-7立体卫星影像像对,其缩略图如图3所示。
图3
激光点云数据选择的是江苏省“十三五”期间的沿海滩涂基础测绘航飞数据。用于本次实验的成果数据有2组: 一组是用于控制以及精度验证的密集激光点云,平均点云间隔为0.1个/m2,其成果为1:10 000标准分幅LAS点云数据; 另一组用于辅助立体像对匹配的稀疏激光点云,为基础测绘成果数据,点云间隔约为300 m。2组点云数据如图4所示。
图4
3 结果与分析
3.1 激光点云辅助的卫星影像几何定位
将LiDAR深度图分别与GF-7前视影像和后视影像进行匹配,将得到的共同匹配点作为广义控制点进行平差,得到卫星影像的几何定位结果。图5给出了在本文实验数据上获得的90个同名点,这些同名点对分布相对均匀。
图5
图5
LiDAR与GF-7立体卫星影像自动提取像控点点位分布
Fig.5
Automatic extraction of image control point distribution maps from LiDAR and GF-7 stereo satellite images
将得到的同名点对作为几何定位的广义控制点输入现有的卫星影像区域网平差软件PixelGrid进行卫星影像连接点提取,并进行控制点信息的区域网平差处理。平差结果显示,控制点均方根误差X方向为0.939 m,Y方向为1.253 m,高程Z方向误差为0.598 m。表明几何定位精度较高,实现了LiDAR点云的辅助卫星影像高精度定位。
图6
图6
无控制与有控制条件下纯影像匹配精度对比
Fig.6
Comparison of pure image matching accuracy under uncontrolled and controlled conditions
在无控制的纯自由网影像匹配DSM与检查点的高程差比较中,经统计,所有点的高程的中误差为15.405 m,平均误差为-15.270 m。在有LiDAR深度图控制条件下纯影像匹配DSM与检查点高程差比较中,37个点的高程中误差为0.914 m。通过对比发现,可以在无野外实测控制点条件下,通过激光点云深度图作为控制源对卫星影像进行控制定位,其他条件相同的情况下,可以显著提高卫星影像立体匹配生成DSM的高程精度。
3.2 激光点云辅助的卫星影像DSM提取
利用卫星影像在LiDAR深度图控制条件下完成空中三角测量后,为评估激光点云辅助对浅滩区域DSM提取的精度,采用滩涂区域稀疏激光点云数据引导GF-7立体像对的密集匹配过程,生成1 m空间分辨率的DSM,与没有辅助数据生成的DSM结果进行了定性和定量的精度对比分析,结果如图7所示。
图7
图7
卫星影像几何定位后激光点云辅助匹配与直接匹配生成的DSM效果对比
Fig.7
Comparison of DSM effect generated by laser point cloud aided matching and direct matching after geometric positioning of satellite imagery
从图7中可以看出,利用滩涂区域激光点云辅助的DSM匹配可以较好地解决水域或附近大的误匹配,但对于无纹理区域的细节匹配帮助较小,主要还是因为光学影像匹配DSM需要依赖卫星影像本身丰富的纹理信息才能正确匹配同名点。
图8进一步给出了检查点的定量对比结果,可以看出无激光点云辅助的纯影像匹配的DSM的高程中误差为0.914 m,激光点云辅助影像匹配DSM的高程中误差为0.120 m,平均误差为-0.082 m。从以上2组对比实验中可以看出,利用激光点云辅助影像密集匹配的DSM高程精度有明显提升。
图8
图8
有控条件下纯影像匹配与激光点云辅助匹配精度对比
Fig.8
Comparison of accuracy between pure image matching and laser point cloud assisted matching under controlled conditions
4 结论
本文提出的一种联合LiDAR点云和光学立体影像的露滩地区精准测绘方法,使用基于多模态匹配算法在光学立体卫星影像和LiDAR深度图间获得的匹配点对作为广义控制点,完成影像自动几何定位,并以LiDAR深度点引导密集匹配过程,提取露滩地区高精度DSM。实验结果表明,本文方法可以显著提高立体卫星几何定位精度,平面精度达到米级,高程精度达到亚米级,利用激光点云辅助影像密集匹配的DSM高程精度也有大幅度提高,能够实现露滩地形的精准测绘,同时,对于其他陆地区域的测绘生产更新工作也具有较高的指导意义。
该研究还存在需要改进和继续研究的方面,用于辅助立体像对匹配的稀疏点云对附近滩涂区域的影像匹配有较好的效果,但对距离较远的区域不能明显提高影像匹配的可靠性,在今后还需要继续加以研究。
参考文献
Geometric accuracy improvement method for high-resolution optical satellite remote sensing imagery combining multi-temporal SAR imagery and GLAS data
[J].
遥感大数据条件下多星一体化处理与分析
[J].
Multi-satellite integrated processing and analysis method under remote sensing big data
[J].
Combined adjustment of multi-resolution satellite imagery for improved geo-positioning accuracy
[J].
Mobile robot localization and mapping algorithm based on the fusion of image and laser point cloud
[J].
Robust 2D indoor localization through laser SLAM and visual SLAM fusion
[C]//
Automatic extraction of building geometries based on centroid clustering and contour analysis on oblique images taken by unmanned aerial vehicles
[J].
Seamless fusion of LiDAR and aerial imagery for building extraction
[J].
Automatic registration of optical aerial imagery to a LiDAR point cloud for generation of city models
[J].
SRTM DEM correction in vegetated mountain areas through the integration of spaceborne LiDAR,airborne LiDAR,and optical imagery
[J].
RIFT:Multi-modal image matching based on radiation-variation insensitive feature transform
[J].
Robust registration of multimodal remote sensing images based on structural similarity
[J].
Fast and robust matching for multimodal remote sensing image registration
[J].
SAR影像和光学影像梯度方向加权的快速匹配方法
[J].
DOI:10.11947/j.AGCS.2021.20200587
[本文引用: 1]
针对SAR影像与光学影像之间存在显著的非线性灰度差异导致影像匹配困难的问题，本文提出了一种基于影像结构特性的快速匹配方法（SAR-to-optical fast matching algorithm，SOFM）。传统基于影像灰度的匹配方法一般难以抵抗影像间的非线性灰度差异，而影像中的几何结构和形状特征在不同类型的影像之间较为稳定，因此本文综合利用影像的梯度幅值和梯度方向信息构建出一种能够有效表达影像结构的特征描述符—角度加权方向梯度（angular weighted orientated gradients，AWOG），随后基于模板匹配的策略，选择描述符之间的差值的平方和（sum of squared difference，SSD）建立用于匹配的相似性测度，并给出了在频率域中表达的影像匹配函数。基于SOFM方法建立了一套完整的影像匹配流程，随后选择多组影像进行匹配试验，结果表明，本文方法能够有效抵抗SAR影像与光学影像之间的非线性灰度差异，并且在匹配性能和匹配精度等方面都优于经典的基于影像灰度的匹配方法以及其他基于影像结构特性的匹配方法。
A fast matching method of SAR and optical images using angular weighted orientated gradients
[J].
DOI:10.11947/j.AGCS.2021.20200587
[本文引用: 1]
To solve the problem of matching difficulty caused by the significant nonlinear grayscale differences between SAR and optical images, this paper proposes a fast matching algorithm based on image structural properties named SOFM(SAR-to-optical fast matching algorithm).The traditional methods based on image grayscale are generally difficult to resist the nonlinear grayscale differences between SAR and optical images, but the geometric constructs and shape features can exist stably among different types of images, so in our the proposed method both the magnitude and orientation information of image gradient are used to build a geometric structural feature descriptor named AWOG(angular weighted orientated gradients), then based on the template matching strategy, the sum of squared difference of the descriptors is used to define the similarity metric for matching and then the image matching function expressed in the frequency domain is given. A complete set of image matching process is established based on SOFM, and has been validated using multiple pairs of SAR and optical images, the results show that the proposed method can effectively resist the nonlinear grayscale differences between SAR and optical images, and outperforms the traditional classical image grayscale-based methods and existing image structural-based methods in matching performance and precision.
数字航空摄影三维重建理论与技术发展综述
[J].
DOI:10.11947/j.AGCS.2022.20220130
[本文引用: 1]
航空摄影测量作为摄影测量学最重要的分支之一,近年来得到了长足的发展。倾斜航空摄影和无人机摄影测量等多种新作业模式的出现,给传统航空摄影测量带来新的挑战的同时也催生出了诸多新的解决方案。此外,人工智能领域计算机视觉技术和深度学习技术中的新理论、新方法不断融入航空摄影测量中,推动航空摄影测量向智能化、自动化方向发展。当代航空摄影测量学已经是多种传感器融合、多种数据采集方式结合、传统摄影测量和人工智能技术交叉的产物。三维重建是航空摄影测量的核心问题之一。本文阐述了当代航空摄影三维重建技术的发展趋势和存在的问题,着重从航空影像的同名连接点自动提取与匹配、区域网平差、密集匹配和单体化建模4个方面对当前的研究现状进行了总结讨论,给出了当前国内外主流的航空影像摄影测量处理框架。
A review of developments in the theory and technology of three-dimensional reconstruction in digi-tal aerial photogrammetry
[J].
基于多视影像匹配模型的倾斜航空影像自动连接点提取及区域网平差方法
[J].
DOI:10.11947/j.AGCS.2017.20160571
[本文引用: 1]
自动可靠地获取精确且均匀分布的连接点并进行区域网平差解算，是使用倾斜航空影像进行高精度测绘、三维信息提取和三维城市模型构建等应用的前提。本文提出了一种实用化的大重叠率倾斜航空影像的全自动连接点匹配和联合区域网平差方法。一方面，针对倾斜航空影像因遮挡严重、尺度变化大和几何变形严重而引起的同名点匹配困难问题，充分利用POS数据和平均飞行高度等初始数据，同时顾及这些数据的误差，通过有效组合一种改进的ASIFT算法和基于窗口的多角度多视影像匹配模型（WMVM），使用由粗到细的多分辨率分层匹配策略完成连接点的全自动提取；另一方面，在传统的最小二乘光束法平差的基础上，根据倾斜航空影像数据的特点，提出了基于稳健估值原理的粗差自动探测与剔除关键算法。最后，利用多组典型试验区域的倾斜航空影像数据试验结果验证了所提算法的可靠性、精度和实际性能。
Automatic tie-point extraction based on multiple-image matching and bundle adjustment of large block of oblique aerial images
[J].
DOI:10.11947/j.AGCS.2017.20160571
[本文引用: 1]
Due to advantages such as ease of interpretation, completeness through mitigation of occluding areas, as well as system accessibility, the aerial oblique images have found their place in numerous civil applications. However, for these applications high quality orientation data are essential. A fully automatic tie-point extraction procedure is developed to precisely orient the large block of oblique aerial images, in which a refined ASIFT algorithm and a window-based multiple-viewing image matching (WMVM) method are combined. In this approach, the WMVM method is based on the concept of multi-image matching guided from object space and allows reconstruction of 3D objects by matching all available images simultaneously, and a square correlation window in the reference image can be correlated with windows of different size, shape and orientation in the search images.Then another key algorithms, i.e. the combined bundle adjustment method with gross-error detection & removal algorithm, which can be used for simultaneously orient the oblique and nearly-vertical images will be presented. Finally, through the experiments by using real oblique images over several test areas, the performance and accuracy of the proposed method is studied and presented.
