耦合分水岭与形态学的特殊纹理影像配准算法

图1 分水岭算法分割结果

Fig.1 Segmentation results of watershed algorithm

为解决经典分水岭算法在地物类型复杂的影像分割时带来过度分割的问题,Parvati等^[13]提出一种标记控制分水岭算法。该算法是在分水岭分割算法的基础上,在分割过程中增加标记控制而形成的一种语义分割算法。基本思想是利用附加知识,在图像中寻找前景标记和背景标记,来引导分水岭算法进行分割。标记的加入,使得分水岭分割算法更具鲁棒性和准确性,通常不会产生过度分割问题。

针对本文算法中需要精确提取影像中水体这一目的,对经典标记控制分水岭算法在生成前景标记和背景标记部分进行相应改进,改进算法的具体步骤为:

1)首先将影像灰度化^[14],其方法如式(1)所示。然后进行直方图均衡化,以增强对比度,使细节部分更清晰,即

(1)

Gray = 0.30 R + 0.59 G + 0.11 B

式中: $Gray$ 为灰度图像; R,G,B分别为图像的红色、绿色和蓝色分量。

2)使用Sobel算子检测梯度,得到梯度图像G,其公式为:

(2)

G = \sqrt[]{G_{x}^{2} + G_{y}^{2}}

式中 $G_{x} 和 G_{y}$ 分别为水平梯度和垂直梯度。

3)通过基于形态学重建^[15]的开闭操作对灰度图像进行去噪处理,重建滤波器的结构如图2所示。

图2

图2 形态学重建滤波器

Fig.2 Morphological reconstruction filter

4)提取重建后图像的局部极小值作为前景标记fgm。

5)阈值分割后,提取相邻区域间的分水岭脊线作为背景标记bgm。

6)使用fgm和bgm修正梯度图像,使梯度图像在标记处有局部极小值。

7)对修正后的梯度图像进行分水岭分割,得到最终的分割结果。

改进后的标记控制分水岭算法流程如图3所示。

图3

图3 改进的标记控制分水岭算法流程

Fig.3 Improved marker-controlled watershed algorithm flow

与经典的分水岭分割算法相比,改进后的标记控制分水岭算法提取结果精度较高,对于SAR影像和光学影像中水体区域的分割提取均有较好的效果。

1.2 数学形态学处理

1.2.1 水体区域准确提取

经过标记控制分水岭分割后,对分割结果进行二值化处理,将水体区域标记为1,背景标记为0,得到只包含水体区域和非水体区域的二值图像。但是图像噪声和建筑物等其他阴影的存在,造成图像中有一些孤立散点,或者造成水体区域中存在孔洞。所以,首先对二值图像进行孔洞填充操作,然后进行一次先膨胀再腐蚀的闭运算操作,以此消除水体边缘的孤立散点和孔洞,其中孔洞填充的原理为:

(3)

X_{k} = (X_{k - 1} \oplus M) ⋂ N^{c}, k = 1,2, 3, \dots

式中: k为迭代次数; $X_{k}$ 为第k次填充后的孔洞; M为已知对称结构元; N为集合,其元素是8连通的边界; $N^{c}$ 为N的补集; ⊕为形态学膨胀。

经过以上步骤处理的二值图像,可以在保持水体区域的位置和形状不变的同时,填补区域内由于噪声产生的孔洞和边缘毛刺,提取得到精确的水体区域。

1.2.2 连通分量提取及计算质心

在二值图像中,提取连通分量是许多图像分析应用的核心任务^[16]。其原理是给图像中的每个连通区域分配一个唯一编号,输出图像中该连通区域内的像素值均为该区域的编号值,提取连通分量的过程也是标注连通分量的过程,可表示为:

(4)

X_{k} = (X_{k - 1} \oplus B) ⋂ A, k = 1,2, 3, \dots

式中: $X_{k}$ 包含图像中所有连通分量; $B$ 为一个适当的结构元; $A$ 为包含一个或多个连通分量的集合。

在连通分量提取过程中,存在孔洞填充和闭运算处理无法剔除的噪声点,算法会提取到许多小的连通分量,因此根据图像大小,设置合适的阈值对这些小的连通分量进行剔除。剔除完毕后,计算提取到的水体区域的质心。基于此,构建完整的形态学处理流程步骤如图4所示。

图4

图4 形态学处理流程

Fig.4 Morphological processing flow

1.3 二值图像配准相似性测度

在计算互信息和相关系数等相似性测度时,会涉及到大量的乘法和对数运算,虽然配合使用合适的寻优搜索算法,但仍然存在计算量太大的问题。基于此,算法使用一种适合于二值图像配准的相似性测度,只涉及逻辑运算和加法运算^[17],以此提升配准的效率。

设基准影像和待配准影像提取水体后的二值图像分别为 $R 和 F$ ,当具有空间变换参数T时,2幅图像的相似性测度 $S (T)$ 的计算公式为:

(5)

S (T) = S (R, F_{T}) = \overset{n}{\sum_{i=1}} s_{i} (T)

式中: n为总像素数。s_i的计算公式为:

(6)

s_{i} (T) = \{\begin{array}{l} 1 R (i) = 1 F_{T} (i) = 1 \\ 0 其他 \end{array}

。

由于式(6)等价于

(7)

s_{i} (T) = R (i) F_{T} (i)

故相似性测度 $S (T)$ 的计算公式可等价为:

(8)

S (T) = S (R, F_{T}) = \overset{n}{\sum_{i=1}} s_{i} (T) = \overset{n}{\sum_{i=1}} R (i) F_{T} (i)

。

算法使用的相似性测度可导,配准时得到的测度曲线平滑、无局部极值出现,且计算速度快,适合作为二值图像配准时使用的相似性测度。

2 耦合分水岭与数学形态学的配准算法

根据上述算法原理,本文将改进标记控制分水岭算法与数学形态学处理相结合,提出一种耦合图像分割与配准的特殊纹理影像配准算法,本文构建的算法流程如图5所示。具体算法步骤如下: ①对SAR影像与光学影像进行预处理,其中SAR影像斑点噪声大,采用Lee滤波及适当的拉伸处理,以降低或消除相干斑噪声的影响; ②使用改进后的标记控制分水岭算法分割2幅影像中的水体区域; ③将分割结果二值化,水体区域标记为1,非水体标记为0,得到只包含水体区域和非水体区域的二值图像; ④对二值图像进行数学形态学孔洞填充和闭运算处理,以此实现SAR影像和光学影像中水体区域的准确提取; ⑤计算2幅二值图像中水体连通分量的质心,将其一一对应匹配,以解决图像间存在的大范围偏移问题,使其只存在局部平移和旋转关系^[10],以实现图像间的粗配准; ⑥把二值图像配准的相似性测度,利用粒子群优化(particle swarm optimization,PSO)算法,搜索得到使测度最大时的空间变换参数,即最优变换参数T; ⑦使用最优变换参数T对待配准SAR影像进行空间变换,将其配准到光学影像上,实现具有特殊纹理的SAR影像与光学影像的快速精确配准。

图5

图5 整体算法流程

Fig.5 Overall algorithm flow chart

3 实验及结果分析

为了验证耦合标记控制分水岭与形态学处理算法对SAR影像与光学影像配准时的有效性,本文进行了多组实验。实验环境: CPU为Intel(R) Core(TM) i7-10700,主频为2.9 GHz,内存为16 GB,操作系统为 Windows 10,软件平台为MATLAB 2019b。

本文使用遥感影像数据进行仿真实验,分别验证改进的标记控制分水岭算法提取水体的精度和整体影像配准算法流程的精度与效率,并与多种图像分割、配准算法结果作对比,验证本文所提算法流程的有效性。图6为实验所用的2组具有水体区域的SAR影像和光学影像数据,其中图6(a)和(c)为光学基准影像,图6(b)和(d)为与(a)和(c)同地区的待配准SAR影像,表1为数据的详细说明。

图6

图6 实验所用影像数据

Fig.6 Image data used in the experiment

表1 实验数据详细说明

Tab.1 Detailed description of experimental data

实验	影像类型	数据来源	空间分辨率/m	影像大小 /像素	成像时间
第一组	光学影像	GF-2 PAN	0.8	2 000× 2 000	20200411
第一组	SAR影像	GF-3 UFS	3	500×500	20200603
第二组	光学影像	Google Earth	4.7	1 024× 1 024	20160425
第二组	SAR影像	Sentinel-1A IW	13.9	300×300	20160328

3.1 水体提取实验

为了验证使用改进的标记控制分水岭算法和形态学处理后,能否快速准确地分割得到水体、非水体的二值图像,本文分别采用最大类间方差(Otsu)算法^[18]、K均值(K-means)聚类法、区域生长法^[19]与本文算法进行对比实验。表2为4种不同算法进行对比实验的分割结果,其中二值图像均为经过孔洞填充和闭运算处理之后的结果。表3是对4种图像分割算法的总体精度评定,包括算法的效率对比和精度评价。

Tab.2 Segmentation results of comparative experiments

序号	原始影像	Otsu算法	K-means法	区域生长法	本文算法
1
2
3
4

表3 4种分割结果精度评价

Tab.3 Precision evaluation of the four segmentation results

数据源	Otsu算法		K-means法		区域生长法		本文算法
	时间/s	准确率/%	时间/s	准确率/%	时间/s	准确率/%	时间/s	准确率/%
GF-2	0.46	54.02	1.52	40.84	30.27	90.04	8.94	98.28
GF-3	0.35	19.17	0.67	18.20	6.52	96.78	2.22	97.55

续表3

数据源	Otsu算法		K-means法		区域生长法		本文算法
	时间/s	准确率/%	时间/s	准确率/%	时间/s	准确率/%	时间/s	准确率/%
Google Earth	0.38	91.37	0.98	85.60	13.23	94.96	3.38	96.10
Sentinel-1A	0.32	84.09	0.55	86.64	5.06	94.35	1.90	96.68
平均值	0.38	62.16	0.93	57.82	13.77	94.03	4.11	97.15

通过对表2和表3的对比分析表明: ①Otsu算法是通过类间灰度方差最大化获取最优阈值,算法运行速度在4种算法中的效率最高。但是对地物类型复杂的遥感影像来说,Otsu的分割结果中出现大量斑点,未经形态学处理前,图像内的斑点更为繁杂,分割效果不理想; ②K-means法是模式识别中的经典算法,但较Otsu法来讲,其在效率和精度上均不占优势,且出现很多错误分类,4幅影像的平均准确率只有57.82%; ③区域生长法是依据图像灰度值的相似性获得分割区域,结果比较接近真实范围。但是该算法在一定程度上依赖种子点的选取,如影像1中间部分,误将部分道路也提取为水体,存在一定的误差。且区域生长法需要人工选取种子点,不能满足算法自动提取水体的需求,另外该算法执行速度较慢,平均耗时达到13.77 s,在4种算法中耗时最长。

综合对比4种算法,本文算法分割精度最高,4幅影像平均分割准确率高达97.15%,并且算法对细小水体也有较好的提取效果,如影像1左上角和影像4的右下角所示,可以得到较准确的分割结果。且与精度相近的区域生长法相比,本文算法在保证准确度的同时,运行时间大大缩短。故综合考虑算法效率和分割准确度,本文算法提取SAR影像和光学影像的水体信息均有较好的效果,尤其是细小水体的提取,有助于快速精确地提取得到水体区域的二值图像,为配准做准备。

3.2 影像配准实验

为了验证本文耦合分水岭与形态学的特殊纹理算法在SAR影像与光学影像配准时的有效性,采用图6(a)和(b)和图6(c)和(d)作为2组实验影像,使用SAR影像配准中的主流算法SAR-SIFT^[20]、基于KAZE-HOG特征的异源影像匹配算法^[21]以及梯度互信息配准算法^[22]与本文提出的特殊纹理SAR与光学影像配准算法作对比,对比不同算法的精度和效率。

使用SAR-SIFT算法对第一组影像配准的实验结果如图7所示。其中图7(a)为光学影像检测到的7 035个特征点,图7(b)为SAR影像检测到的3 194个特征点,匹配后所得结果如图7(c)所示。从图中可以发现,SAR-SIFT算法无法找到正确匹配点对。使用该算法进行多组SAR影像与光学影像的配准实验,均无法实现2幅影像正确匹配,可证明SAR-SIFT算法虽然能够在SAR影像之间的配准得到广泛应用,但对SAR影像与光学影像配准是无效的。且算法需要对SAR影像进行滤波处理,导致算法效率较低,该组实验的运行时间达到264.41 s。

图7

图7 第一组影像SAR-SIFT配准实验

Fig.7 SAR-SIFT registration experiment of the first group of images

使用基于KAZE-HOG特征的异源影像匹配算法对第二组影像进行匹配实验,结果如图8所示。其中,图8(a)为光学影像检测到1 291个特征点,图8(b)为SAR影像检测到842个特征点,图8(c)为匹配结果。从图中发现,该算法对SAR影像与光学影像配准同样不适用。对同一组影像进行多次配准实验,发现算法获得的匹配点不一致,证明该算法对SAR与光学影像来说,无法获取到稳定的特征点。

图8

图8 第二组影像异源影像配准实验

Fig.8 Heterogeneous image registration experiment of the second group of images

截至目前,梯度互信息是SAR影像与光学影像配准最有效的方法之一,因该方法将SAR影像与光学影像的灰度信息和空间结构信息结合共同作为测度,且易于理解和实现,算法的精度和效率均有较好的表现。因此,将梯度互信息配准方法与本文提出的算法作对比,从视觉和参数分析2个层面对比算法性能。

视觉层面,将2组实验影像分别用2种算法进行配准实验,将配准结果与原始影像进行棋盘格镶嵌,并且放大镶嵌结果的相同区域进行对比,结果如图9所示。其中,图9(a)和(b)中左侧图片为梯度互信息算法的镶嵌结果,右侧图片为本文算法的配准结果,中间图片为左两侧对应序号的放大图。相较之下,梯度互信息总体配准精度良好,未出现较大误配问题。但在细节部分的校正上,本文算法的精度有所提升,如图9(a)和(b)中的③和④区域所示,镶嵌结果的水体边缘更平滑,整体影像的配准效果也较好。因此,在视觉上表明了本文算法的有效性。

图9

图9 实验结果主观对比

Fig.9 Subjective comparison of experimental results

参数分析层面,以均方根误差(root mean square error,RMSE)作为配准精度的评价准则,并且结合算法总体运行时间,对4种算法得到的配准结果进行评价,如表4所示。分析表4得知,SAR-SIFT算法和基于KAZE-HOG异源影像配准算法的运行时间较长,且未找到正确的匹配点,无法完成SAR影像与光学影像间的配准。梯度互信息法得到的配准结果虽然在部分区域有误配的情况存在,但总体算法运行时间较短,精度较优,可用于SAR影像与光学影像的配准。本文提出的配准算法在4种算法中运行时间最短、精度最高,误差优于一个像素,在保证配准精度的同时,联合图像分割与配准,得到一种新的SAR影像与光学影像配准流程。图9的视觉实验结果和表4的参数分析共同验证了算法的有效性和鲁棒性,可以满足SAR影像与光学影像自动配准的需求。

表4 配准方法定量比较

Tab.4 Quantitative comparison of registration methods

实验	配准算法	RMSE/像素	运行时间/s
第一组	SAR-SIFT算法	—	264.41
	KAZE-HOG 算法	—	689.03
	梯度互信息法	1.25	22.37
	本文算法	0.96	21.62
第二组	SAR-SIFT算法	—	18.54
	KAZE-HOG算法	—	28.38
	梯度互信息法	4.29	10.65
	本文算法	0.84	9.17

4 结论

针对SAR影像与光学影像配准时效率较低和精度较差的问题,本文耦合图像分割与配准,提出了一种耦合分水岭与形态学的特殊纹理影像自动配准算法。该算法充分考虑到SAR影像与光学影像之间的差异,通过对特殊纹理影像中水体特征区域的配准,从而实现整块影像配准,解决了异源影像配准时寻找同名匹配点困难的问题。此外,算法的另一优势在于使用逐步求精的方法,即进行粗配准和精配准2步,用粗配准结果作为精配准的前提,在保证精度的同时有效节省后续算法搜索量。

通过水体提取实验和影像配准实验可知,本文算法快速、有效,不仅可以精确提取SAR影像与光学影像中的水体区域,而且还成功应用于影像之间的配准,具有较好的鲁棒性,有效解决了灰度和分辨率差异大的SAR影像与光学影像自动配准的难题。然而,该算法的局限性在于算法仅适用存在一定范围水体的影像,所以未来的研究将会考虑使用深度学习方法提取2类影像中其他共性的特殊纹理,以此作为前提应用于影像配准。

(责任编辑: 张仙)

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

李东宸, 向文豪, 党倩楠, 等.

均匀分布与结构描述ASIFT相结合的SAR与可见光图像配准算法

[J]. 测绘学报, 2020, 49(12):1583-1590.

Li D

, Xiang W

, Dang Q

, et al.

SAR and optical images registration using uniform distribution and structure description-based ASIFT

[J]. Acta Geodaetica et Cartographica Sinica, 2020, 49(12):1583-1590.

[2]

叶沅鑫, 郝思媛, 曹云刚.

基于几何结构属性的光学和SAR影像自动配准

[J]. 红外与毫米波学报, 2017, 36(6):720-726.

Ye Y

, Hao S

, Cao Y

Automatic registration of optical and SAR image using geometric structural properties

[J]. Journal of Infrared and Millimeter Waves, 2017, 36(6):720-726.

[3]

Ye Y

, Bruzzone

, Shan

, et al.

Fast and robust matching for multimodal remote sensing image registration

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11):9059-9070.

DOI:10.1109/TGRS.36 URL [本文引用: 1]

[4]

张明祥, 王泽根, 白茹月, 等.

一种由粗到精的光学与SAR遥感图像配准算法

[J]. 地球信息科学学报, 2020, 22(11):2238-2246.

DOI:10.12082/dqxxkx.2020.190742 [本文引用: 1]

由于光学遥感图像和SAR图像具有明显的非线性强度差异,且SAR图像存在斑点噪声,使得其配准存在较大难度。为此,本文结合基于特征和基于区域图像配准方法的优点,并组合为混合模型,提出一种由粗到精的自动配准算法。以光学遥感图像和SAR图像分别为参考图像和待配准图像,先以基于特征点的SAR-SIFT完成粗配准,再以基于区域的ROEWA-HOG完成精配准。① 采用SAR-SIFT算法进行特征点检测和特征匹配来计算图像的仿射变换模型,以消除参考图像和待配准图像之间明显的旋转、尺度和平移差异,至此完成图像粗配准;② 在此基础上利用分块Harris角点检测在参考图像上获得特征点,并根据特征点确定待配准图像上的同名点搜索区域;③ 计算图像的ROEWA梯度,构造以特征点为中心的模板区域内的HOG特征向量,以SSD作为相似性测度搜索待配准图像上的同名点,完成高精度的图像配准;④ 进行图像配准实验,对配准结果进行目视检查和精度评估。经过多组光学与SAR图像配准实验,验证本文算法能够结合基于特征和基于区域的图像配准方法的优点,较好地抵抗光学与SAR图像之间的非线性强度、旋转、尺度、平移差异和SAR图像的噪声影响,并逐步提高配准精度,最终配准精度达到1个像素左右,实现了光学与SAR图像的高精度自动配准,能够满足光学与SAR图像后续综合应用。

Zhang M

, Wang Z

, Bai R

, et al.

A coarse-to-fine optical and SAR remote sensing image registration algorithm

[J]. Journal of Geo-Information Science, 2020, 22(11):2238-2246.

DOI:10.1023/B:VISI.0000029664.99615.94 URL [本文引用: 1]

[5]

Lowe D

Distinctive image features from scale-invariant keypoints

[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[6]

Bay

, Tuytelaars

, Gool L

SURF:Speeded up robust features

[C]// European Conference on Computer Vision.Springer, 2006:404-417.

[7]

Schwind

, Suri

, Reinartz

, et al.

Applicability of the SIFT operator to geometric SAR image registration

[J]. International Journal of Remote Sensing, 2010, 31(7-8):1959-1980.

DOI:10.1080/01431160902927622 URL [本文引用: 1]

[8]

Xiang

, Wang

, You

OS-SIFT:A robust SIFT-like algorithm for high-resolution optical-to-SAR image registration in suburban areas

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(6):3078.

DOI:10.1109/TGRS.2018.2790483 URL [本文引用: 1]

[9]

王志社, 杨风暴, 纪利娥, 等.

基于聚类分割和形态学的可见光与SAR图像配准

[J]. 光学学报, 2014, 34(2):184-190.

Wang Z

, Yang F

, Ji L

, et al.

Optical and SAR image registration based on cluster segmentation and mathematical morphology

[J]. Acta Optica Sinica, 2014, 34(2):184-190.

[10]

杨勇, 胡思茹.

基于模板匹配约束下的光学与SAR图像配准

[J]. 系统工程与电子技术, 2019, 41(10):2235-2242.

Yang

, Hu S

Registration of optical and SAR images based on template matching constraints

[J]. Systems Engineering and Electronics, 2019, 41(10):2235-2242.

[11]

Vincent

, Soille

Watersheds in digital spaces:An efficient algorithm based on immersion simulations

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1991, 13(6):583-598.

DOI:10.1109/34.87344 URL [本文引用: 1]

[12]

韩敬华, 何长涛, 张秋慧, 等.

应用标记控制分水岭分割算法研究激光诱导玻璃体损伤形貌

[J]. 光学精密工程, 2010, 18(6):1387-1395.

Han J

, He C

, Zhang Q

, et al.

Morphological analysis of laser induced glass bulk damage by marker controlling watershed algorithm

[J]. Optics and Precision Engineering, 2010, 18(6):1387-1395.

[13]

Parvati

, Prakasa Rao B

, et al.

Image segmentation using gray-scale morphology and marker-controlled watershed transformation

[J]. Discrete Dynamics in Nature and Society, 2008:307-318.

[14]

Genitha C

, Sowmya

, Sri

Comparative analysis for the detection of marine vessels from satellite images using FCM and marker-controlled watershed segmentation algorithm

[J]. Journal of the Indian Society of Remote Sensing, 2020, 48(8):1207-1214.

DOI:10.1007/s12524-020-01148-x URL [本文引用: 1]

[15]

, Xiao

Multispectral image segmentation by a multichannel watershed-based approach

[J]. International Journal of Remote Sensing, 2007, 28(19):4429-4452.

DOI:10.1080/01431160601034910 URL [本文引用: 1]

[16]

冈萨雷斯. 数字图像处理(第三版)[M]. 北京: 电子工业出版社, 2017:414-415.

Gonzalez.

Digital image processing (3rd Edition)

[M]. Beijing:Publishing House of Electronics Industry, 2017:414-415.

[17]

衣文文, 杨彬彬, 胡彦磊, 等.

一种基于外形区域的图像配准方法与实现

[J]. 计算机技术与发展, 2008 (4):1-4,8.

Yi W

, Yang B

, Hu Y

, et al.

Contour-based registration algorithm and its implementation

[J]. Computer Technology and Development, 2008(4):1-4,8.

[18]

Otsu

Threshold selection method from gray-level histograms

[J]. IEEE Transactions on Systems Man and Cybernetics, 1979, 9.

[19]

Adams

, Bishof

Seeded region growing

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1994.

[20]

Dellinger

, Delon

, Gousseau

, et al.

SAR-SIFT:A SIFT-like algorithm for SAR images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 53(1):453-466.

DOI:10.1109/TGRS.2014.2323552 URL [本文引用: 1]

[21]

Wang

, Duan

, Fan

, et al.

A multi-sensor image matching method based on KAZE-HOG features

[C]// 2019 IEEE 4th International Conference on Image,Vision and Computing (ICIVC).IEEE, 2019.

[22]

孙铭

基于梯度互信息的SAR与可见光图像配准

[D]. 西安:西安电子科技大学, 2015.

Sun

SAR and optical image registration based on gradient mutual information

[D]. Xi’an:Xidian University, 2015.