基于宽度学习的非监督SAR影像变化检测

图1 所提出的BLS变化检测方法流程

Fig.1 Flowchart of the proposed BLS change detection method

假设I₁和I₂是在同一地理位置不同时刻获取的2幅SAR影像,均包含N个像素,且已经过辐射校正、配准和去噪等预处理操作。

所提出的BLS变化检测方法主要包括2个阶段: ①生成预分类图,获取“伪标记样本”; ②生成变化检测图。

1.1 生成预分类图

1.1.1 生成差分影像

最近,Gong等^[1]和Li等^[5]利用集成了差值和比值运算的相似性算子计算2期SAR影像的差分影像,取得了良好的效果。然而,相似性算子未考虑影像的空间相关性,不能很好地处理SAR影像相干斑噪声。为此,BLS将邻域信息引入到相似性算子,生成邻域相似性差分影像DI,其计算公式为:

(1)

D I (i) = \frac{| \sum_{j \in N (i)} I_{1} (j) - \sum_{j \in N (i)} I_{2} (j) |}{\sum_{j \in N (i)} I_{1} (j) + \sum_{j \in N (i)} I_{2} (j)},

式中: N(i)为以像素i为中心的3×3邻域窗口; I₁(j)和I₂(j)分别为影像I₁和I₂在像素j的灰度值。

得到差分影像DI后,对其进行归一化使得其在[0,1]区间取值。一般来讲,基于差值绝对值运算生成的差分影像存在如下2种固有性质^[18]: ①性质1,差分影像像素灰度值越大,对应区域发生变化的可能性越大; ②性质2,差分影像的相邻像素间,具有很强的空间相关性。

本研究通过充分考虑上述2种性质,自动自适应地生成预分类图,获取“伪标记样本”。

1.1.2 自适应双阈值分割

从差分影像性质1可知,在差分影像的灰度直方图中,通常越靠近左端(0)的像素,未发生变化的可能性越大,越靠近右端(1)的像素,发生变化的可能性越大。基于此,通过自适应双阈值分割将差分影像DI粗划分为3部分(图2),即几乎可确定的未变化区域、几乎可确定的变化区域和不确定区域。

图2

图2 自适应双阈值划分DI示意图

Fig.2 Diagram for dividing DI with adaptive dual thresholds

采用经典阈值技术——迭代阈值法^[19]自动获取全局最优阈值T,并用阈值T将差分影像DI划分为2部分,即

(2)

\{\begin{array}{l} S_{u} = \{i | D I (i) < T\} \\ S_{c} = \{i | D I (i) \geq T\} \end{array},

式中: DI(i)为差分影像在像素i的灰度值; S_u为通过阈值T得到的未变化类像素集合; S_c为通过T得到的变化类像素集合。

差分影像DI中变化类和未变化类像素的灰度值之间通常存在一个混叠区域^[20-21],使得直接使用T分割DI会导致许多分类错误。从另一方面讲,阈值T很大可能会位于混叠区域,为定位不确定区域提供一个合理的参考位置。因此,围绕阈值T诱导2个阈值T_u和T_c (T_u<T<T_c),将差分影像粗划分为3部分,即

(3)

\{\begin{array}{l} D_{u} = \{i | D I (i) < T_{u}\} \\ D_{n} = \{i| T_{u} \leq D I (i) \leq T_{c}\} \\ D_{c} = \{i | D I (i) > T_{c}\} \end{array},

式中: D_u为几乎可确定的未变化区域; D_n为不确定区域; D_c为几乎可确定的变化区域。D_n可进一步划分为 ${D^{u}}_{n}$ 和 ${D^{c}}_{n}$ 2部分,即

(4)

\{\begin{array}{l} {D^{u}}_{n} = \{i| T_{u} \leq D I (i) < T\} \\ {D^{c}}_{n} = \{i | T \leq D I (i) \leq T_{c}\} \end{array},

式中 ${D^{u}}_{n}$ 和 ${D^{c}}_{n}$ 分别为由集合S_u和S_c中的不确定像素构成的集合。

为实现上述分割过程,需求解2个诱导阈值T_u和T_c。根据前人研究,差分影像DI中不确定像素通常占所有像素的15%左右^[14,22]。假设p表示差分影像中不确定像素个数占像素总数的比值,为确保几乎可确定像素的数量和可靠性,本文将p的取值设置为25%,可得公式为:

(5)

\frac{|D_{n}^{v}|}{|S_{v}|} = p = 25 %, v \in {u, c},

式中| $D_{n}^{v}$ |和|S_v|分别为集合 $D_{n}^{v}$ 和S_v中包含的像素个数。通过联合式(2)、式(4)和式(5),可求解得到2个诱导阈值T_u和T_c的值。

1.1.3 超像素修正

自适应双阈值分割的粗划分过程能够确保D_u中像素具有很大概率属于未变化类,D_c中像素具有很大概率属于变化类。然而,由于地物的复杂性和SAR传感器的特点导致DI中不可避免地包含许多噪声,使得D_u和D_c中仍会包含分类错误。为此,利用DI的空间相关性(性质2)来修正粗划分图(式(3))。

为更有效地利用空间相关性,本研究通过超像素,而不是固定的邻域窗口进行分析。超像素是由一定数量特征相近、位置相邻像素构成的影像子区域,能够自适应地物边界,更有利于影像局部结构特征的提取和空间信息的利用^[23]。

本文采用经典的简单线性迭代聚类(simple linear iterative clustering,SLIC)对差分影像进行超像素分割,生成超像素差分影像SI = {SI(l)},SI(l)为第l个超像素的灰度值,l=1, 2, …, K; K为超像素总数。K的取值参见2.3节。SI(l)通过对超像素l包含的所有像素的灰度值求均值得到,即

(6)

S I (l) = \frac{1}{N^{l}} \sum_{i \in l} D I (i),

式中: i为超像素l的第i个像素; N^l为超像素l包含的像素个数。

得到超像素差分影像SI后,以超像素作为基本分析单元,对粗划分结果进行修正,基于2个诱导阈值T_u和T_c将差分影像重新划分为3部分,得到超像素划分图,即

(7)

\{\begin{array}{l} D_{u} = \{i | i \in l 且 S I (l) < T_{u}\} \\ D_{n} = \{i | i \in l 且 T_{u} \leq S I (l) \leq T_{c}\} \\ D_{c} = \{i | i \in l 且 S I (l) > T_{c}\} \end{array} 。

基于超像素修正粗划分图,能够通过超像素中的正确分类像素修正其分类错误的像素,提升潜在的“伪标记样本”的可靠性。然而,如果某个超像素中多数像素都被错误分类,则通过超像素不能修正这些分类错误。针对此问题,本研究利用视觉显著性分析优化超像素划分图。

1.1.4 视觉显著性分析优化

显著性区域检测以视觉注意机制为基础,能够准确捕捉到影像中最重要、与当前行为最相关的感兴趣区域^[24]。可采用不同的方法进行显著性区域检测,通过像素对比度计算影像的显著性图是其中最常用的方法之一。本研究基于全局对比度计算超像素差分影像的显著性图。

首先,为有效地抑制未变化区域,通过截断算子将几乎可确定未变化区域D_u的超像素灰度值设置为0,其他区域超像素值保持不变,即

(8)

S I (l) = \{\begin{array}{l} 0 & (S I (l) < T_{u}) \\ S I (l) & (S I (l) \geq T_{u}) \end{array} 。

其次,通过全局对比度计算超像素差分影像的显著性图SSI,其计算公式为:

(9)

S S I (l) = \sqrt{\sum_{m = 1}^{K} [S I (l) - S I {(m)]}^{2}},

式中: SSI(l)为显著性图在超像素l处的取值; SI(l)和SI(m)分别为超像素l和m的灰度值。得到显著性图SSI后,对其进行归一化操作,使SSI(l)∈[0,1]。

最后,为进一步突出变化区域,对几乎可确定变化区域D_c中超像素的显著性值进行增强,其他超像素显著性值保持不变,公式为:

(10)

S S I (l) = \{\begin{array}{l} S S I (l) + 1 / 5 & (S I (l) > T_{c}) \\ S S I (l) & (S I (l) \leq T_{c}) \end{array},

通过以上3个步骤得到的显著性图SSI,能够有效地抑制未变化区域,突出变化区域。为确保0≤ SSI(l) ≤1,再次对SSI进行归一化,并基于归一化后的SSI将差分影像划分为3类,生成预分类图CD¹,公式为:

(11)

C D^{1} (i) = \{\begin{array}{l} w_{u} & i \in l 且 S S I (l) < 0.1 \\ w_{c} & i \in l 且 S S I (l) > T_{0} \\ w_{n} & i \in l 且 0.1 \leq S S I (l) \leq T_{0} \end{array},

式中: CD¹(i)为预分类图中像素i的类别; w_c,w_u和w_n分别表示变化类、未变化类和不确定类; T₀为1个需要设定的阈值。式(8)、式(9)和归一化操作使得几乎可确定未变化区域D_u中超像素的显著性值SSI(l)均为0,故只将SSI(l) < 0.1的像素分配给未变化类w_u。T₀的取值参见2.3节。

因预分类图中的像素类别是通过非监督的方式自动获取的,故将预分类图中变化类像素和未变化类像素称作“伪标记样本”。

1.1.5 预分类图生成过程图示

图3为一组典型数据的预分类图生成过程,白色表示变化区域,黑色表示未变化区域,灰色表示不确定区域。图3中: (a)为通过全局阈值T得到的差分影像的二分类图,(b)为通过阈值T的2个诱导阈值T_u和T_c得到的粗划分图,(c)为差分影像的超像素图,(d)为超像素修正后的超像素划分图,(e)为最终的预分类图,(f)为变化参考图,即真值标签图。对比图3(a)(b)和(f)可知,通过诱导阈值T_u和T_c粗划分差分影像DI,能够将图3(a)中大部分分类错误像素划分到不确定区域D_n,并确保D_c中包含绝大多数变化类像素,D_u中包含绝大多数未变化类像素,证明了双阈值粗划分的有效性。但图3(b)中仍然包含许多散射状的分类错误。对比图3(b)(d)和(f)可知,通过对DI进行超像素分割,自适应地利用影像空间相关性,能够将图3(b)中绝大多数的散射状分类错误像素划分到不确定区域D_n,且能够较好地保持变化区域的边界,证明了超像素修正粗划分图的有效性。然而,图3(d)中几乎可确定变化区域D_c仍包含明显的分类错误,椭圆A和B给出2处典型的错误分类区域。对比图3(d)—(f)可知,视觉显著性分析能够有效地将图3(d)中几乎可确定变化区域的分类错误像素划分到不确定区域,显著地优化预分类图。

图3

图3 预分类图生成过程示例

Fig.3 An example of generation process of pre-classification map

1.2 生成BLS变化检测预测图

得到预分类图CD¹后,用CD¹中的“伪标记样本”训练BLS模型,并利用训练好的BLS网络生成变化检测预测图CD²。训练过程如图4所示。

图4

图4 BLS模型训练过程示意图

Fig.4 The training process of BLS model

1.2.1 特征提取

为有效地利用影像的空间相关性,抑制相干斑噪声的影响,对任一像素i,提取特征时不是只考虑其自身,而是考虑其一个k×k的邻域窗口: 首先分别在2期SAR影像I₁和I₂及其差分影像DI上提取一个以像素i为中心的k×k的邻域窗口,然后将每个邻域窗口的特征按像素顺序转换成长度为k²的特征矢量,最后将3个特征矢量拼接,得到一个长度为3k²的特征矢量,作为像素i的最终特征。k的取值参见2.3节。

1.2.2 BLS模型训练

将“伪标记样本”的特征矢量拼接到一起,得到二维特征矩阵X,X每一行代表一个训练样本; 并将“伪标记样本”的类别标签作为真值标签,将其与特征矩阵X联合输入到BLS模型进行训练。

BLS的网络结构如图5所示。

图5

图5 BLS的网络结构

Fig.5 Network structure of BLS

首先,对特征矩阵X进行随机权重特征映射,生成映射特征节点Z_i,即

(12)

Z_{i} = ϕ_{i} (X W_{e i} + β_{e i}), i = 1, 2, \dots, f,

式中: f为映射特征节点的组数; Z_i∈ ${R^{Q}}^{\times}^{q}$ ,其中Q为样本(像素)个数,q为每组特征节点的个数; ϕ_i表示线性变换; W_ei和β_ei分别为随机生成的第i组特征映射的权重矩阵和偏置矩阵。将所有映射特征节点Z_i合并,得到映射特征矩阵Z= [Z₁, Z₂, …,Z_f]。

其次,BLS对映射特征矩阵Z进行非线性增强,生成增强特征节点H_j,即

(13)

H_{j} = ξ_{j} (Z W_{h j} + β_{h j}), j = 1,2, . ., g,

式中: g为增强节点的组数; H_j∈ ${R^{Q}}^{\times}^{r}$ ,r为每组增强节点的个数; W_hj和β_hj分别为随机生成的第j组增强节点的权重矩阵和偏置矩阵; ξ_j为非线性激活函数。组合所有增强特征节点,得到增强特征矩阵H= [H₁,H₂,…,H_g]。并将映射特征矩阵Z和增强特征矩阵H组合,得到矩阵A=[Z, H]。

然后,BLS通过矩阵A和输出权重矩阵W计算预测值 $\overset{⌒}{Y}$ ,即

(14)

\overset{⌒}{Y} = A W,

式中 $\overset{⌒}{Y} \in R^{Q \times C}$ ,C为类别个数,本文中包括变化类w_c与未变化类w_u2个类别,即C = 2。

最后,为使用BLS进行预测,需求解其输出权重矩阵W。BLS通过岭回归理论最小化目标函数J(W)来求解输出权重矩阵W^[17],目标函数为

(15)

J (W) = a r g \underset{W}{m i n} {‖\overset{⌒}{Y} - Y‖}_{2}^{2} + λ {‖W‖}_{2}^{2},

式中: Y为真值标签; ${‖\cdot‖}_{2}$ 表示求解矩阵的标准2范数算子,第1项2范数为预测误差,第2项2范数为模型复杂度,用于避免BLS过拟合; $λ$ 为正则化参数,用于平衡模型复杂度和预测误差。

1.2.3 生成预测图

首先提取所有像素的特征并进行拼接,生成特征矩阵输入到训练好的BLS模型。然后,通过公式(12)—(15)求解预测矩阵 $\overset{⌒}{Y} = {y_{a}^{i}}$ ,其中: $y_{a}^{i}$ 表示像素i属于类别a的分数,a为变化类w_c或未变化类w_u; i = 1, 2, …, N; N表示像素总数。最后通过下式预测像素类别,生成BLS的变化检测预测图CD²,即

(16)

C D^{2} (i) = \{\begin{array}{l} w_{u} & (y_{w_{u}}^{i} > y_{w_{c}}^{i}) \\ w_{c} & (y_{w_{c}}^{i} \leq y_{w_{c}}^{i}) \end{array} 。

1.3 生成最终变化检测图

得到预分类图CD¹和BLS的变化检测预测图CD²后,通过以下策略融合二者生成最终的变化检测图CD。

预分类图CD¹中包括3部分: 变化、未变化和不确定区域。对不确定区域的任给像素i(即 $C D^{1} (i) = w_{n}$ ),因只有BLS的预测图CD²给出了其类别,故将其在CD²中的类别作为其在最终变化检测图CD中的类别。

对CD¹中变化和未变化类区域的像素: ①预分类图生成过程能够确保这2个区域的像素具有很大概率分类正确; ②生成预分类图过程中同时从规则(邻域相似性算子的邻域窗口)和不规则(超像素分割)2个角度利用影像的空间信息,能够有效地去除噪声,然而在某些情况下也会去除一些较小的细节变化,造成少量的漏检错误。

为降低漏检,对预分类图CD¹中变化类区域任给像素i,直接将其在CD¹中的类别作为其在最终变化检测图CD中的类别。对CD¹中未变化类区域的像素,借助BLS的预测图修正其类别标签,采用双阶段投票法获取此区域像素的最终类别。

在投票第一阶段: 对CD¹中未变化类区域任给像素i,若CD¹和CD²同时将其分配给未变化类w_u,则根据少数服从多数原则,最终变化检测图CD仍将其分配给w_u。

在投票第二阶段,对少量的像素i,若CD¹将其划分为未变化类,但CD²将其划分为变化类,则考虑最终变化检测图CD中以像素i为中心的一个3×3的邻域窗口,搜寻并计算此邻域窗口中已被分配给未变化类w_u的像素个数 $N_{i}^{u}$ ,以及已被分配给变化类w_c的像素个数 $N_{i}^{c}$ ,并根据少数服从多数原则,给像素i分配类别,即

(17)

C D (i) = \{\begin{array}{l} w_{u} & ({N^{u}}_{i} > {N^{c}}_{i}) \\ w_{c} & ({N^{u}}_{i} \leq {N^{c}}_{i}) \end{array} 。

2 实验与分析

2.1 实验数据

为验证本文变化检测方法BLS的有效性,通过5组不同卫星获取的真实SAR影像数据进行实验分析,图6为5组数据的2期影像及其变化参考图。数据集A由Envisat卫星分别在2007年4月和7月获取的孟加拉国某地区2期SAR影像构成,大小为300像素×300像素。数据集B和C是从黄河数据集选取的2种典型变化区域: 部分黄河河道区域(291像素×444像素)和入海口附近区域(450像素×280像素)。黄河数据集2期影像由Radarsat-2卫星分别于2008年6月和2009年6月拍摄黄河河口附近获取。数据集D由COSMO-SkyMed 卫星分别于2016年6月和2017年4月获取的贵州某地区的2期SAR影像构成,大小为400像素×400像素。为验证该方法在更具挑战性变化检测任务上的性能,数据集E采用尺寸更大(2 000像素×2 325像素),且来自不同传感器的遥感影像,其对应区域为英国格洛斯特某地区,前期影像是由Quickbird于2006年6月获取的NIR影像,后期影像是由TerraSAR-X于2007年7月获取的SAR影像。为抑制噪声的影响,进行变化检测之前,已利用形态学重构对5组数据进行去噪。

图6

图6 数据源

Fig.6 Datasets

2.2 实验设计

根据本文方法的特点,设计2组对比实验。①将其与3种传统SAR影像变化检测技术进行对比: 基于主成分分析(principal component analysis,PCA)的K-均值聚类PCAKM^[25]、基于Gabor特征的双阶段聚类(two-level clustering, TLC),即GaborTLC ^[13]和基于极限学习机(extreme learning machine, ELM)的变化检测ELM^[26]; ②与3种深度学习SAR影像变化检测技术对比: 基于主成分分析(principal component analysis,PCA)滤波器的深度卷积神经网络PCANet^[6]、基于卷积小波的深度神经网络CWNN^[15]和基于卷积小波和生成对抗网络的深度神经网络RUSACD ^[7]。其中ELM,PCANet,CWNN和RUSACD亦包括预分类步骤。

采用5个常用精度指标来评价各变化检测方法的性能,具体为: 漏检错误(missed detections, MD)、虚检错误(false alarms, FA)、总体错误 (overall errors, OE)、Kappa系数(Kappa coefficient, KC)^[27]和交并比(intersection over union, IoU) ^[28]。KC和IoU涉及更多的分类信息,更加可靠。此外,为对比不同算法的效率,给出各个方法的运行时间t,单位为s。所有算法采用相同的编程语言,且在相同的设备 (AMD Ryzen 7 4800H 2.90 GHz处理器,16 G内存)上实现。

BLS对5组数据采用相同的网络结构: 映射特征节点组数为10,每组节点数为50,增强节点组数为10,每组节点数为80,正则化参数为2^-30。

2.3 参数测试与分析

本文方法涉及3个需要设置的参数: 超像素总数K,生成预分类图的阈值T₀,特征提取邻域窗口尺寸k。本小节对其进行测试,令K在{300, 500, 700, 900, 1 100, 1 300},T₀在{0.4, 0.45, 0.5, 0.55, 0.6, 0.65, 0.7},k在{3, 5, 7, 9, 11, 13}中取值,并将可靠的KC值作为评价标准。图7(a)—(c)分别给出5组数据上BLS的KC值随K,T₀和k变化的曲线图。

图7

图7 KC值随参数K,T₀和k的变化趋势

Fig.7 Change trends of KC-values with K, T₀ and k

从图7(a)可知,5组实验数据上本文方法BLS的KC值随着超像素总数K的变化基本上保持稳定,表明BLS对参数K具有一定的鲁棒性。当K = 700,BLS在5个数据集上都能取得较优的KC值,故本文将K的值设置为700。从图7(b)可知,对数据集A,B,C和E,BLS的KC值随着阈值T₀的增大基本上保持稳定; 对数据集D,KC值随着T₀先升高,后稳定; 表明BLS对参数T₀亦具有一定的鲁棒性。在区间[0.55,0.70]上,BLS在5个数据上均能取得较优的KC值,本文将T₀设置为0.6。从图7(c)可知,5组实验数据上BLS的KC值随着邻域窗口尺寸k的变化保持稳定,表明BLS对参数k具有鲁棒性。本文将k的值设置为7。

2.4 实验结果对比与分析

表1为不同变化检测方法在5组实验数据上的变化检测结果,表2为各变化检测图的精度指标。

表1 不同方法在5组数据上的变化检测结果

Tab.1 Change detection results of different methods on five datasets

数据集	PCAKM	GaborTLC	ELM	PCANet	CWNN	RUSACD	BLS	变化参考图
A
B
C
D
E

表2 5组数据集上变化检测图的精度指标

Tab.2 Accuracy indicators of change detetion maps on 5 datasets

数据集	方法	FA	MD	OE	KC	IoU
A	PCAKM	27	4 311	4 338	0.780 1	0.675 9
	GaborTLC	5	4 881	4 886	0.747 3	0.634 6
	ELM	9	4 801	4 810	0.752 0	0.641 9
	PCANet	2	4 717	4 719	0.757 3	0.647 0
	CWNN	34	3 946	3 980	0.801 1	0.692 2
	RUSACD	8	4 806	4 814	0.751 7	0.640 1
	BLS	307	2 532	2 839	0.866 1	0.792 4
B	PCAKM	1 602	633	2 235	0.754 0	0.616 7
	GaborTLC	1 863	704	2 567	0.724 3	0.580 4
	ELM	708	1 176	1 884	0.758 2	0.620 3
	PCANet	641	1 235	1 876	0.755 6	0.616 8
	CWNN	1 163	695	1 858	0.785 6	0.657 0
	RUSACD	538	1 164	1 702	0.777 4	0.644 9
	BLS	824	706	1 530	0.816 5	0.698 8
C	PCAKM	41 573	7	41 580	0.040 7	0.031 2
	GaborTLC	22 024	4	22 026	0.090 1	0.045 8
	ELM	6 199	25	6 224	0.258 6	0.175 5
	PCANet	12 826	12	12 838	0.155 7	0.094 2
	CWNN	13 217	50	13 267	0.146 8	0.089 1
	RUSACD	239	176	415	0.849 7	0.741 1
	BLS	280	182	462	0.832 8	0.716 2
D	PCAKM	65 783	41	65 824	0.016 6	0.008 7
	GaborTLC	33 520	80	33 600	0.041 6	0.016 2
	ELM	36 336	112	36 448	0.035 7	0.024 4
	PCANet	45 968	48	46 016	0.028 9	0.020 1
	CWNN	17 072	384	17 456	0.055 7	0.034 7
	RUSACD	288	256	544	0.714 1	0.557 5
	BLS	181	208	389	0.806 5	0.677 4
E	PCAKM	430 724	172 693	603 417	0.520 7	0.424 0
	GaborTLC	231 003	212 652	443 655	0.590 4	0.476 7
	ELM	444 164	175 766	619 930	0.513 4	0.416 1
	PCANet	370 534	171 819	542 353	0.553 8	0.450 7
	CWNN	498 038	150 816	648 854	0.510 1	0.418 0
	RUSACD	214 101	251 318	465 419	0.553 5	0.435 9
	BLS	36 699	163 666	200 365	0.794 8	0.693 4

从表1可知,对于数据集A,虽然6组对比方法的变化检测图几乎都不包含虚检,但包含比较严重的漏检,这使得它们的变化检测结果不够理想。与之相比,本文方法BLS在增加少量虚检错误的情况下,显著降低了漏检错误,得到了最准确的变化检测图。比如,BLS的KC和IoU值比其他对比方法至少提升0.065和0.100 2(表2)。

对于数据集B,PCAKM,GaborTLC和CWNN的变化检测图包含较多的散射噪声,而ELM,PCANet和RUSACD的变化检测图包含较多的漏检错误。本文方法BLS再次得到最优的变化检测结果。比如,BLS的IoU比其他方法至少提升0.041 8。

对于数据集C和D,PCAKM,GaborTLC,ELM,PCANet和CWNN不能很好地检测出变化区域,其变化检测图包含严重的虚检错误,使得这5组对比方法的KC和IoU值都未能超过0.3(表2)。本文方法BLS和对比方法RUSACD在这2组数据上得到相似的、最优的变化检测图。

对于更具挑战性的数据集E,6组对比方法PCAKM,GaborTLC,ELM,PCANet,CWNN和RUSACD的变化检测图均包含严重虚检错误,使得其检测结果不够理想。与之相比,本文方法BLS在几乎未增加漏检错误的前提下,显著地降低了虚检错误(表2),使得BLS得到最优的变化检测结果。比如,BLS的KC和IoU分别为0.794 8和0.693 4,比其他对比方法至少提高0.204 4和0.216 7。

总的来讲,本文方法BLS在5组实验数据集上表现明显优于其他6组对比方法,特别是在更具挑战性的数据集E上。

2.5 效率分析

为验证本文方法BLS的效率,表3为不同变化检测算法在5组数据集上的运行时间。所有算法采用相同的编程语言,且在相同的电脑设备上运行实现。从表3可知,在5组数据集上,本文方法BLS的运行时间略高于PCAKM,GaborTLC和ELM这3种传统方法,但远远小于深度学习变化检测方法PCANet,CWNN和RUSACD。这主要是因为宽度学习BLS结构简单,且无需迭代更新参数; 而深度学习模型参数众多,结构复杂,且需通过反向传播迭代更新参数。

表3 不同方法在5组数集据上的运行时间

Tab.3 The computation times of different methods on 5 datasets (s)

方法	数据集
方法	A	B	C	D	E
PCAKM	1.1	0.93	0.97	1.03	18.45
GaborTLC	2.38	4.12	6.02	6.72	1.8×10²
ELM	9.03	13.66	12.03	15.26	4.54×10²
PCANet	5.06×10²	7.84×10²	1.04×10³	1.36×10³	1.09×10⁵
CWNN	5.14×10²	6.57×10²	6.77×10²	7.02×10²	8.96×10³
RUSACD	2.87×10²	3.57×10²	3.39×10²	3.71×10²	1.63×10⁴
BLS	14.65	19.77	13.92	16.23	6.15×10²

2.6 消融实验

2.6.1 预分类步骤可靠性分析

本文提出一种全新的预分类方法,来获取“伪标记样本”; 而对比方法ELM,PCANet,CWNN和RUSACD也需进行预分类获取“伪标记样本”。本小节通过对比各方法生成“伪标记样本”的精度,来验证本研究提出的预分类方法的可靠性。表4为ELM,PCANet,CWNN,RUSACD和BLS生成预分类图中“伪标记样本”的KC值。从表4可知,对5组数据集,本文方法BLS生成“伪标记样本”的KC值均达到0.81以上,表明BLS能够有效地生成预分类图。综合来讲,本文提出的预分类方法在5组数据集上效果明显优于ELM,PCANet,CWNN和RUSACD中的预分类方法,特别是对更具挑战的数据集E,BLS生成“伪标记样本”的KC值比其他方法提高0.146 1~0.252 4。

表4 不同方法获取“伪标记样本”的KC值

Tab.4 KC values of “pseudolabel samples” of different methods

方法	数据集
方法	A	B	C	D	E
ELM	0.801 4	0.862 1	0.205 3	0.045 4	0.617 7
PCANet	0.809 3	0.885 1	0.144 3	0.039 1	0.671 1
CWNN	0.822 2	0.868 4	0.184 1	0.076 2	0.647 9
RUSACD	0.713 1	0.760 7	0.920 0	0.907 1	0.564 8
BLS	0.904 2	0.876 6	0.877 4	0.913 7	0.817 2

2.6.2 宽度学习BLS有效性分析

为验证宽度学习BLS的有效性进行消融实验,保持其他步骤不变,分别用ELM,PCANet,CWNN和RUSACD这4种方法的分类器替换本文方法中的宽度学习模型。表5为不同方法在5组数据上的KC值。上标*表示通过替换掉BLS模型后得到的相应的4种新方法。

表5 不同方法的KC值

Tab.5 KC values of different methods

方法	数据集
方法	A	B	C	D	E
ELM^*	0.873 8	0.677 8	0.819 2	0.580 3	0.656 5
PCANet^*	0.675 2	0.792 7	0.823 3	0.813 2	0.633 5
CWNN^*	0.780 1	0.809 5	0.841 1	0.647 9	0.723 1
RUSACD^*	0.795 4	0.786 9	0.849 7	0.791 6	0.717 3
BLS	0.866 1	0.816 5	0.832 8	0.806 5	0.794 8

从表5可知,本文方法在5组数据上的综合表现明显优于ELM^*,PCANet^*,CWNN^*和RUSACD^*,特别是在更具挑战的数据集E上。这表明宽度学习BLS的效果优于ELM,PCANet,CWNN和RUSACD各自的分类器,验证了BLS的有效性。

3 结论

本文基于BLS,提出一种全新的非监督SAR影像变化检测方法。首先,通过将邻域信息引入相似性算子、自适应双阈值分割、超像素修正和视觉显著性分析提出一种预分类方法,生成预分类图和“伪标记样本”; 然后,通过“伪标记样本”训练BLS,基于双阶段投票融合预分类图和BLS预测图生成最终变化检测图。

理论上,将BLS引入变化检测,有效拓宽了变化检测的思路。方法上,提出了一种全新的BLS变化检测方法,一种可靠的预分类图生成方法,一种有效的决策级融合方案。

5组真实SAR影像数据的实验结果表明本文方法变化检测结果明显优于PCAKM, GaborTLC, ELM, PCANet, CWNN和RUSACD 6种对比方法,能够生成更加可靠的“伪标记样本”,其效率显著优于深度学习变化检测方法PCANet,CWNN和RUSACD。

本文的不足之处在于生成预分类图的步骤相对较多,今后的工作重点是在保证效果的前提下,简化预分类图生成方法。

志谢

本文中实验受到三峡大学先进计算中心算力支持!

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Gong

M G

, Zhao

J J

, Liu

, et al.

Change detection in synthetic aperture Radar images based on deep neural networks

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2016, 27(1):125-138.

DOI:10.1109/TNNLS.2015.2435783 PMID:26068879 [本文引用: 6]

This paper presents a novel change detection approach for synthetic aperture radar images based on deep learning. The approach accomplishes the detection of the changed and unchanged areas by designing a deep neural network. The main guideline is to produce a change detection map directly from two images with the trained deep neural network. The method can omit the process of generating a difference image (DI) that shows difference degrees between multitemporal synthetic aperture radar images. Thus, it can avoid the effect of the DI on the change detection results. The learning algorithm for deep architectures includes unsupervised feature learning and supervised fine-tuning to complete classification. The unsupervised feature learning aims at learning the representation of the relationships between the two images. In addition, the supervised fine-tuning aims at learning the concepts of the changed and unchanged pixels. Experiments on real data sets and theoretical analysis indicate the advantages, feasibility, and potential of the proposed method. Moreover, based on the results achieved by various traditional algorithms, respectively, deep learning can further improve the detection performance.

[2]

W C

, Ma

P F

, Wang

H P

, et al.

SAR-TSCC:A novel approach for long time series SAR image change detection and pattern analysis

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61:5203016.

[3]

Hamidi

, Peter

B G

, Muñoz

D F

, et al.

Fast flood extent monitoring with SAR change detection using google earth engine

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61:4201419.

[4]

S C

, Wang

Y J

, Cai

H F

, et al.

MF-SRCDNet:Multi-feature fusion super-resolution building change detection framework for multi-sensor high-resolution remote sensing imagery

[J]. International Journal of Applied Earth Observation and Geoinformation, 2023, 119:103303.

[5]

Y Y

, Peng

, Chen

Y Q

, et al.

A deep learning method for change detection in synthetic aperture Radar images

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8):5751-5763.

[本文引用: 5]

[6]

Gao

, Dong

J Y

, Li

, et al.

Automatic change detection in synthetic aperture Radar images based on PCANet

[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(12):1792-1796.

[本文引用: 3]

[7]

Zhang

X Z

, Su

, Zhang

, et al.

Robust unsupervised small area change detection from SAR imagery using deep learning

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 173:79-94.

[8]

X F

, Gao

, Dong

J Y

, et al.

Change detection in synthetic aperture Radar images using a dual-domain network

[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19:4013405.

DOI:10.11947/j.AGCS.2018.20160607 [本文引用: 2]

[9]

王建明, 史文中, 邵攀.

自适应距离和模糊拓扑优化的模糊聚类SAR影像变化检测

[J]. 测绘学报, 2018, 47(5):611-619.

针对模糊聚类算法的不足，结合差分影像的特点，提出一种基于自适应距离（adaptive distance）和模糊拓扑（fuzzy topology）理论的SAR影像变化检测技术框架（FATCD）。FATCD首先基于自适应距离公式提出一种自适应的样本到聚类中心的距离计算方法，优化了聚类过程中像元隶属度的计算公式，提高了模糊隶属度函数的准确程度；而后利用模糊拓扑理论改进传统去模糊化方式最大隶属度原则，从而增强了去模糊化过程。借助这两点，FATCD提高了模糊聚类变化检测的性能。两组真实SAR影像数据的试验结果表明本文方法可行、有效。

Wang

J M

, Shi

W Z

, Shao

Change-detection method for SAR image using adaptive distance and fuzzy topology optimization-based fuzzy clustering

[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(5):611-619.

DOI:10.11947/j.AGCS.2018.20160607 [本文引用: 2]

In this paper, a framework of change detection based on adaptive distance and fuzzy topology (FATCD) is proposed for synthetic aperture radar (SAR) imagery. FATCD integrates the characteristics of differenced image and can overcome the limitations of fuzzy C-means (FCM) type algorithms. The framework includes two key steps. First, a new adaptive method is employed to calculate the distances from samples to cluster centers using an adaptive distance function. As a result, the formula of pixel membership evaluation is modified, and the accuracy of the obtained fuzzy membership degree is improved. Then, fuzzy topology is integrated into the maximum membership rule to improve the traditional defuzzification method. In virtue of the above two points, FATCD can enhance the change detection performance of FCM-type algorithms. Experimental results on two different SAR images confirm the effectiveness of the proposed technique.

[10]

公茂果, 苏临之, 李豪, 等.

合成孔径雷达影像变化检测研究进展

[J]. 计算机研究与发展, 2016, 53(1):123-137.

Gong

M G

, Su

L Z

, Li

, et al.

A survey on change detection in synthetic aperture Radar imagery

[J]. Journal of Computer Research and Development, 2016, 53(1):123-137.

[11]

Ban

Y F

, Yousif

O A

Multitemporal spaceborne SAR data for urban change detection in China

[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(4):1087-1094.

[12]

J J

, Li

D S

, Tang

, et al.

Unsupervised SAR image change detection based on feature fusion of information transfer

[J]. IEEE Geoscience and Remote Sensing Letters, 2023, 20:4004905.

[13]

H C

, Celik

, Longbotham

, et al.

Gabor feature based unsupervised change detection of multitemporal SAR images based on two-level clustering

[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(12):2458-2462.

[14]

Shao

, Shi

W Z

, Liu

Z W

, et al.

Unsupervised change detection using fuzzy topology-based majority voting

[J]. Remote Sensing, 2021, 13(16):3171.

[15]

Gao

, Wang

, Gao

Y H

, et al.

Sea ice change detection in SAR images based on convolutional-wavelet neural networks

[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(8):1240-1244.

[本文引用: 3]

[16]

Vudattu

V S

, Pati

U C

Change detection in synthetic aperture Radar images based on a spatial pyramid pooling attention network (SPPANet)

[J]. Remote Sensing Letters, 2023, 14(11):1139-1149.

[17]

Chen

C L P

, Liu

Z L

Broad learning system:An effective and efficient incremental learning system without the need for deep architecture

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2018, 29(1):10-24.

[18]

邵攀

. 非监督遥感变化检测模糊方法研究[D]. 武汉: 武汉大学, 2016.

Shao

. Study on fuzzy unsupervised change detection methods based on remotely sensed image[D]. Wuhan: Wuhan University, 2016.

[19]

Perez

, Gonzalez

R C

An iterative thresholding algorithm for image segmentation

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987, 9(6): 742-751.

PMID:21869436 [本文引用: 1]

A thresholding technique is developed for segmenting digital images with bimodal reflectance distributions under nonuniform illumination. The algorithm works in a raster format, thus making it an attractive segmentation tool in situations requiring fast data throughput. The theoretical base of the algorithm is a recursive Taylor expansion of a continuously varying threshold tracking function.

[20]

Ghosh

, Mishra

N S

, Ghosh

Fuzzy clustering algorithms for unsupervised change detection in remote sensing images

[J]. Information Sciences, 2011, 181(4):699-715.

[21]

Shao

, Shi

W Z

, He

P F

, et al.

Novel approach to unsupervised change detection based on a robust semi-supervised FCM clustering algorithm

[J]. Remote Sensing, 2016, 8(3):264.

[22]

Bovolo

, Bruzzone

, Marconcini

A novel approach to unsupervised change detection based on a semisupervised SVM and a similarity measure

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(7):2070-2082.

[23]

宋熙煜, 周利莉, 李中国, 等.

图像分割中的超像素方法研究综述

[J]. 中国图象图形学报, 2015, 20(5):599-608.

Song

X Y

, Zhou

L L

, Li

Z G

, et al.

Review on superpixel methods in image segmentation

[J]. Journal of Image and Graphics, 2015, 20(5):599-608.

[24]

袁巧, 程艳芬, 陈先桥.

多先验特征与综合对比度的图像显著性检测

[J]. 中国图象图形学报, 2018, 23(2):239-248.

Yuan

, Cheng

Y F

, Chen

X Q

Saliency detection based on multiple priorities and comprehensive contrast

[J]. Journal of Image and Graphics, 2018, 23(2):239-248.

[25]

Celik

Unsupervised change detection in satellite images using principal component analysis and K-means clustering

[J]. IEEE Geoscience and Remote Sensing Letters, 2009, 6(4):772-776.

[26]

Gao

, Dong

J Y

, Li

, et al.

Change detection from synthetic aperture Radar images based on neighborhood- based ratio and extreme learning machine

[J]. Journal of Applied Remote Sensing, 2016, 10(4):046019.

[27]

Gong

M G

, Zhou

Z Q

, Ma

J J

Change detection in synthetic aperture Radar images based on image fusion and fuzzy clustering

[J]. IEEE Transactions on Image Processing:A Publication of the IEEE Signal Processing Society, 2012, 21(4):2141-2151.

[28]

Zhao

S J

, Zhang

X L

, Xiao

P F

, et al.

Exchanging dual-encoder-decoder:A new strategy for change detection with semantic gui-dance and spatial localization

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61:4508016.