基于多参考影像信息融合的遥感影像厚云去除

doi:10.6046/zrzyyg.2021209

基于多参考影像信息融合的遥感影像厚云去除

蒋斯立^,, 黄微, 黄睿

上海大学通信与信息工程学院,上海 200444

Thick cloud removal of remote sensing images based on multi-reference image information fusion

JIANG Sili^,, HUANG Wei, HUANG Rui

School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China

责任编辑: 张仙

收稿日期: 2021-07-6 修回日期: 2021-11-10

Received: 2021-07-6 Revised: 2021-11-10

作者简介 About authors

蒋斯立(1997-),男,硕士研究生,主要从事卫星影像的信息重建、遥感信息智能处理等方面的研究。Email: 634915933@qq.com。

摘要

遥感影像去云是遥感影像处理与分析的重要领域,对影像后续的信息提取等操作起到至关重要的作用。针对多时相遥感影像融合去云中对待重建图像的质量要求较高以及适用性较低的问题,提出了一种基于一幅或多幅参考影像信息进行多时相遥感影像融合的厚云去除算法,包括参考影像的选取、辐射归一化、多时相影像融合以及泊松图像编辑4个主要步骤。首先根据影像掩模及主成分信息选取参考影像,并且进行多源遥感影像辐射归一化保留地物信息的变化情况; 然后基于选择性多源全变分模型对影像进行融合处理,并通过泊松图像编辑技术改善影像融合后的边界梯度不连续问题。实验结果表明,所提方法可以对带有厚云且质量不一的多源遥感影像进行有效去云处理,并在整体上获得比传统方法更高的影像细节精度。

关键词： 厚云去除; 参考影像; 辐射归一化; 多时相; 选择性多源全变分

Abstract

The cloud removal of remote sensing images is very important in the processing and analysis of remote sensing images and plays a crucial role in the subsequent image information extraction and other operations. Aiming at the high-quality requirements and low applicability of the reconstructed images in the cloud removal of multi-temporal remote sensing image fusion, a thick cloud removal algorithm based on one or more reference images was proposed, mainly including a selection of reference image, radiometric normalization, multi-temporal image fusion, and Poisson image editing. Firstly, the reference image was selected according to the image masking and the principal component information, and the radiometric normalization of the multi-source remote sensing image was carried out to preserve the change of ground feature information. Then, the image was fused based on the selective multi-source total variation model, and the boundary gradient discontinuity after image fusion was reduced by Poisson image editing. The experimental results show that the proposed method can effectively remove clouds from multi-source remote sensing images with thick clouds and different quality, and obtain higher image detail precision than traditional methods.

Keywords： thick cloud removal; reference image; radiometric normalization; multi-temporal; selective multi-source total variation

PDF (3557KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

蒋斯立, 黄微, 黄睿. 基于多参考影像信息融合的遥感影像厚云去除[J]. 自然资源遥感, 2022, 34(2): 121-127 doi:10.6046/zrzyyg.2021209

JIANG Sili, HUANG Wei, HUANG Rui. Thick cloud removal of remote sensing images based on multi-reference image information fusion[J]. Remote Sensing for Land & Resources, 2022, 34(2): 121-127 doi:10.6046/zrzyyg.2021209

0 引言

通过遥感卫星获得的地球表层光学遥感影像数据,在地物勘测、场景分类以及自然灾害监测等方面有着广泛的应用。然而,光学遥感影像的获取过程不可避免地会受到大气中云层的干扰,如薄云导致影像模糊、厚云遮挡地物等。这使得传感器无法完整获取影像信息,影响数据后续的处理与应用。因此,对有云层遮挡的遥感影像进行信息重建,将很大程度提高遥感数据的利用率以及影像处理的范围,具有很大的经济和社会效益^[1]。

在遥感影像处理中,由于薄云与厚云存在不同的特征,因此两者处理方法具有较大差异。目前,有许多厚云去除的传统方法被提出,根据所依赖信息的类型大致可以分为4类^[2]: 基于空间信息的方法^{[3⇓⇓⇓-7]}、基于光谱信息的方法^[8⇓-10]、基于时间信息的方法^[11⇓-13]和混合方法^[14-15]。其中,基于空间信息去云是最基本的去云方法。He等^[5]提出了一种新的基于相似元统计的方法来填充影像中空缺的部分,然而,该方法的应用受到相似的上下文结构的限制。基于光谱信息的方法可区分云和雪对影像的影响,从不同波段影像中提取云的信息从而进行恢复。Xu等^[10]提出对于多光谱或高光谱数据,可以利用不同光波段间的相关性和相似性,依靠现有补充信息恢复出退化区域。由于卫星传感器可以在不同的时间拍摄同一特定区域,因此基于时间信息的厚云去除方法近年逐渐被提出。Chen等^[11]提出了一种有效重建缺失数据的邻域相似像素插值(neighborhood similar pixel interpolator,NSPI)算法,该方法对于Landsat ETM+ SLC-off影像恢复效果较好; 随后Chen等^[12]又结合时空尺度特征去除Landsat8 OLI数据中的云。但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难。另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法。以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果。

现有的方法虽然获得较好的厚云去除效果,但是基于多时相影像的厚云去除通常对参考影像的要求都比较高,即参考影像本身无云或者与待重建影像的场景差异非常小, 这些苛刻的数据条件都限制了基于多时相遥感影像的去云重建。为了解决这类问题,本文提出了一种基于参考影像信息的多时相遥感影像厚云去云算法。该方法选取一组(3~5张)多时相遥感影像,并根据影像亮度与云层掩模信息作为指标在这些影像中选取参考影像进行去云重建。当有多幅云量较少的影像时,可以分别将其作为参考影像,并基于全变分模型利用多张参考影像的互补信息对目标图像进行去云重建。本文所用遥感影像均为Landsat8 OLI传感器所采集的光学遥感影像。实验结果显示,本文方法能较好地解决场景差异较大的多时相影像重建造成的重建边界及亮度差异问题,能较好地保留影像细节。同时,本文算法能够对一组多时相影像中所有云覆盖较少的影像进行云去除,获得多张参考影像的重建结果,极大提升了多时相去云数据的使用效率。

1 基于参考影像的多时相去云算法

本文实验算法流程如图1所示,本算法首先基于参考影像信息对多时相遥感影像进行辐射归一化及亮度处理,以此减小多时相影像间的差异,然后基于选择性多源全变差模型(selective multi-source total variation,SMTV)对参考影像进行去云重建,最后结合泊松图像编辑对重建结果进行优化,从而达到厚云去除的目的。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 基于参考影像的多时相影像融合去云流程图

Fig.1 Cloud removal flow chart of multi-temporal image fusion based on reference image

1.1 选取参考影像

为了获得更好的去云重建影像结果,算法选取像素丢失信息较小、数据保留度较高的影像作为参考影像,并将多时相遥感影像基于参考影像的信息进行融合输出。由于不同分量中各个波段特征向量值表现出的数学特性各不相同,本文利用遥感影像光谱主成分分析法^[17](principal component analysis,PCA)选取亮度分量在各个波段上的和函数,代表总辐射水平,即亮度的总和,将其视为“亮度分量”。通过找出各相邻点的像素差值之和最小的影像,来选取各影像中分布最平均的亮度分量B_s,计算公式为:

(1)

\begin{array}{l} B_{s} = f i n d (B_{i}) [m i n \overset{n}{\sum_{j = 0}} \overset{m}{\sum_{k = 0}} │ p (x_{k}, y_{j}) - \\ p (x_{k + 1}, y_{j}) │], i = 1,2, 3 \dots \end{array}

式中: m,n分别为影像横纵方向上的像素数; p(x_k,y_j)为点(x_k,y_j)上的像素值; B_i为各个不同时相的遥感影像。

同时,本文利用多时相掩模算法(multi-temporal mask,Tmask)^[18]对云及云阴影进行检测,将像素信息丢失的云覆盖区域记为0,无云区域记为1。在一组多时相影像中,遍历每幅影像的掩模影像并统计掩模矩阵内像素数值之和M_i,找到完整度最高的一幅影像,记其像素和为M_s,公式为:

(2)

M_{s} = m a x {M_{1}, M_{2}, M_{3}, \dots}

。

参考影像I_s的选取根据亮度或者掩模损坏程度得到,其规则为: 当几幅多时相影像间像素丢失程度相差较大(即影像间损坏程度相差较大),则利用掩模式(2)来选取参考影像; 反之,当影像之间损坏程度相差较小,则利用亮度分量来选取参考影像。本文选取参考影像的一组结果如图2所示,3幅影像掩模信息差异较大,因此采用式(2)选取参考影像。

图2-1

新窗口打开| 下载原图ZIP| 生成PPT

图2-1 参考影像的选取

Fig.2-1 Selection of reference image

图2-2

新窗口打开| 下载原图ZIP| 生成PPT

图2-2 参考影像的选取

Fig.2-2 Selection of reference image

1.2 辐射归一化

由于传感器在获取遥感影像时受到光照条件、大气条件、地表环境以及传感器成像条件等因素的影响,同一区域的影像辐射值具有较大差异,因此需要进行辐射和亮度的归一化来去除干扰因素造成的差异,只保留影像中地物信息真实的变化情况。

对于多时相遥感影像的辐射归一化可分为绝对辐射归一化和相对辐射归一化^[19]。绝对辐射归一化需要利用大量遥感卫星数据计算每幅影像的地表反射率,较为繁琐。相对辐射归一化是基于同一区域多时相影像相同波段的灰度值存在线性关系而提出的^[20],它的基本思想是以选取的参考影像为基准,其他影像以该影像的灰度值为参考进行归一化,从而避免了繁琐的计算并且减少地表的“伪变化”现象。

邵艳坡等^[21]提出伪不变特征(pseudo-invariant feature, PIF)法进行遥感影像相对辐射校正。该方法在2幅多时相影像中找到同一区域没有发生地物类型变化且光谱特征稳定的地物样本点,利用灰度值的线性相关性进行辐射校正,无需获取相关大气参数就可获得规则化的地物反射数据。多时相遥感影像地物规则化的数学模型为:

(3)

y_{s} = a x_{i} + b, i = 0,1, 2 \dots

式中: y_s为参考影像灰度值; x_i为n幅多时相影像中第i张待校正影像灰度值。利用多张参考影像的互补信息对目标图像进行去云重建,依据PIF数据序列,利用最小二乘法可得到a和b,并进一步根据增益a和偏移量b可以得到校正后的遥感影像,公式为:

(4)

a = \frac{\overset{n}{\sum_{i = 1}} (x_{i} - \bar{x}) (y_{s} - \bar{x})}{\overset{n}{\sum_{i = 1}} (x_{i} {- \bar{x})}^{2}}

(5)

b = \bar{y} - a \bar{x}

式中 $\bar{x}$ 和 $\bar{y}$ 分别为待校正影像和参考影像的像元灰度平均值。

1.3 影像重建

为了得到无云的输出结果,影像经辐射归一化后基于选取的参考影像通过图像融合的方法进行重建,基于全变差的影像重建模型为:

(6)

\underset{A \in B_{l, h}}{m i n} \frac{1}{2} ‖ P (A) - I ‖_{F}^{2} + λ \overset{d}{\sum_{i}} V_{T} (A_{(i, :)})

式中: $I$ 为待恢复影像; $A$ 为初始影像; 退化因子P为一类线性模糊化变换运算,常见有二维模糊、运动模糊等; $A_{(i, :)}$ 为矩阵 $A$ 的第i行; l和h为通道中最低和最高的边界值; $V_{T} (A_{(i, :)}) 为 A_{(i, :)}$ 的全变分。

Tierney等^[22]提出了一种基于多时相影像融合的方法进行影像重建的SMTV模型,如式(7)所示的凸目标函数:

(7)

\underset{A \in B_{h, l}}{m i n} \overset{t}{\sum_{i = 1}} ‖ (P (A) - I_{i}) D_{i} ‖_{F}^{2} + λ \overset{d}{\sum_{i = 1}} V_{T} (A_{(i, :)})

式中: $I_{i}$ 为总计t幅影像中的第i幅; $A_{(i, :)}$ 为矩阵 $A$ 的第i行; d为通道数; $D_{i}$ 为一个由损坏的像素值组成的对角矩阵,值为0或ω_i,其中ω_i为分配给第i幅影像的权重。

在SMTV模型中,由于参与重建影像中所有有效像素(即像素不为0)均参与运算,输出的融合影像存在亮度不一,重影以及影像数据损坏严重的情况。为了提高重建结果的保真度,本文基于选取的参考影像对模型进行优化,基于参考影像掩模 $D_{s}$ 中的损坏区域,将损坏区域像素在 $D_{i}$ 矩阵中置零,以确保这些像素的信息不参与图像的重建。公式为:

(8)

D_{s} = D_{i} (f i n d (D_{s} = 1) = 0)

。

处理后的模型为:

(9)

\underset{A \in B_{h, l}}{m i n} \overset{t}{\sum_{i = 1}} ‖ (P (A) - I_{i}) D_{s} ‖_{F}^{2} + λ \overset{d}{\sum_{i = 1}} V_{T} (A_{(i, :)})

式中 $D_{s}$ 为基于参考影像的掩模信息进行迭代后由多时相影像损坏的像素值组成的对角矩阵。

为了求解上述凸目标函数,利用LADMAP算法进行迭代求解^[23],算法在不引入附加变量的条件下高效更新变量,更适用于一般的凸规划问题。

由于全变分模型自身不可微分性,相较于传统方法难以求解。当前求解全变分的方法中,梯度方法与加速算法结合具有较好的收敛性,本文以广义加速临近梯度算法(generalized accelerated proximal gradient,GAPG)为基础^[24],可将问题表示为:

(10)

\underset{A \in B_{l, h}}{m i n} F (A_{s}) = f (A_{s}) + g (A_{s})

式中: g为一个不可微的凸函数; f为利普希茨连续的凸函数; A_s即为基于参考影像经SMTV重建后的影像。

1.4 图像编辑优化

尽管进行了一系列的优化步骤,确保基于多时相影像重建后的结果图像具有空间连续性,但是在平滑区域,重建后的图像由于多源影像的亮度差异,仍存在亮度不一致的区域。因此,本文利用泊松图像编辑^[25]来解决经融合输出后的影像内部存在区域亮度不一致的问题。该方法的主要原理是根据散度以及所指定的边界条件,通过求解泊松方程实现融合影像的拼接部分在梯度上的连续,可看作无缝融合以区域块Ω内梯度场为引导,将融合区域边界上目标场景和原影像的差异平滑地扩散到融合影像块中,泊松方程为:

(11)

\underset{f_{A}}{m i n} \int \int_{Ω} │ ▽ f_{A} - ε │^{2} d x d y

(12)

f │ \partial Ω = f_{A} │ \partial Ω

式中: ▽f为影像块的梯度; f_A为待重建影像; f为重建后的影像; ε为内部梯度引导场。融合后的影像块能够无缝地融合到目标场景中且其色调和光照与参考影像一致。

2 实验结果与分析

2.1 多时相重建结果分析

为了评估并检验本文提出方法的去云有效性,表1中2组实验分别为大片山区和小部分城市景观、大片城市建筑道路和河流的重建效果,均采用2组Landsat8 OLI传感器采集的遥感影像可见光波段数据进行实验,以此分析本算法在不同地物景观以及不同组合下重建效果的准确性。

表1 山区、城市、河流、道路等地物类型重建结果

Tab.1 Reconstruction results of mountain area, city, river, road and other ground features

地物类型	影像类型	影像1	影像2	影像3
山区、城市	原始影像
山区、城市	重建结果
河流、城市道路	原始影像
河流、城市道路	重建结果

新窗口打开| 下载CSV

2组实验每组均选取3幅同一区域、不同时相的影像,影像大小均为1 000像素×1 000像素。在第一组山区及部分城市的多时相遥感影像信息重建结果中厚云完全去除,且相对于参考影像来说保真度较高; 第二组城市建筑及河流影像信息重建结果中,基于参考影像3重建得到的结果亮度较为一致。可以看出本算法基于各参考影像输出的结果均能准确除去厚云,且地表亮度保真度较高。

同时为了定量评估本文算法去云的图像质量和保真性,以及评估重建结果的细节纹理特征,分别采用峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity index,SSIM)作为标准进行恢复影像的质量评价。PSNR反映影像中噪声的大小,其值越大表示重建影像质量越好。SSIM则能反映影像的完整性,取值范围为0~1,其值越接近1表示结构与参考影像越相近。表2是2组实验分别基于不同参考影像进行实验的定量指标结果,第一组实验基于3幅参考影像输出结果的SSIM值均在0.99以上,第二组2幅参考影像输出结果的SSIM值在0.9以上,由此可以看出本文算法在结构和影像地物细节上具有较高的保真性。

表2 基于各原影像输出结果的定量指标对比

Tab.2 Quantitative index comparison based on the output results of each original image

指标	第一组影像1	第一组影像2	第一组影像3	第二组影像1	第二组影像2	第二组影像3
SSIM	0.996 8	0.997 9	0.999 8	0.927 5	0.999 8	0.857 4
PSNR	36.129 6	31.697 9	33.191 6	35.766 6	34.508 9	30.673 6

新窗口打开| 下载CSV

2.2 对比实验

为了评估并检验本文提出方法的去云优越性,本文算法将与SMTV算法以及空间注意生成对抗网络去云方法(SPA-GAN)^[26]进行比较(表3),其中SPA-GAN网络采用空间注意力模块作为编码器,GAN-Loss作为其总损失函数的一部分。每组对比实验选取3幅同一区域、不同时相、1 000像素×1 000像素大小的Landsat8 OLI遥感影像,同时尽可能多地选取到不同的地物类型,以此验证算法的普遍性和准确性。第一组对比实验选取山脉以及城市中道路、房屋的组合; 第二组选取城市及河流; 第三组选取大片平原的地物类型。

表3 山区、城市、河流、道路等地物类型重建结果比较

Tab.3 Comparation of reconstruction results of mountain area, city, river, road and other ground features

地物类型	影像	影像1	影像2	影像3
山脉、城市道路	参考影像
	参考影像	SMTV	SPA-GAN	基于参考影像1 的重建结果
	重建结果	SMTV	SPA-GAN	基于参考影像1 的重建结果
	重建结果
城市道路、河流	参考影像	影像1	影像2	影像3
	参考影像
	重建结果	SMTV	SPA-GAN	基于参考影像2 的重建结果
	重建结果
平原	参考影像	影像1	影像2	影像3
	参考影像
	重建结果	SMTV	SPA-GAN	基于参考影像3 的重建结果
	重建结果

新窗口打开| 下载CSV

由表3可以看出,第一组实验中SMTV算法能较为完整地重建被云层遮挡损坏的像素区域,但是由于影像2、影像3中部分区域存在较大亮度差异,故此算法恢复出的结果存在明显的亮度不一。而SPA-GAN网络重建出的影像有明显失真现象。当选择影像1作为参考影像输出时,不仅山脉的轮廓信息和植被的色彩信息保存完整,视觉效果以及图像数据量也更接近完整度较高的影像1,有利于进一步分析图像得到有效信息。

第二组实验中SMTV算法的恢复重建结果海平面部分有亮斑现象,且图像右侧陆地存在明显的模糊以及拼接现象。SPA-GAN网络重建出的影像部分城市建筑重建失败并有明显失真现象。而以影像2作为参考影像时,不仅城市的房屋建筑信息保存完整,海面也没有出现亮斑。

第三组实验中SMTV算法的恢复重建结果,存在明显的重影问题。SPA-GAN的重建结果仍有厚云残留,并没有完全去除。主观上,当选择影像1以及影像3作为参考影像输出时均能获得较为理想的结果,平地上的裂纹、房屋以及小块湖泊均得到较好重建。这组实验中影像2像素丢失区域较大,严重影响SMTV算法的输出,而影像1、影像3质量较好,因此本组实验通过本算法能获得两组清晰完整的重建结果。

表4为不同算法PSNR和SSIM值的对比。由表4可知,对于遥感影像厚云去除,本文算法相较于其他算法提高了还原精度,证明本文算法的有效性。相比于SMTV和SPA-Net方法,表4中基于本文算法的重建结果都具有明显优势。SMTV算法由于在图像融合时未进行融合参考影像的选取,重建结果基于的是多张原始影像,其中损坏较大的影像可能对结果造成严重影响。SPA-Net则由于需要大量数据进行训练,在处理复杂地物类型的遥感影像时会破坏不需要去云的部分。主观上也可以对比看出,本文算法的重建影像与原图的影像结构更为相似,改善了影像的细节以及局部纹理特征,从而提高输出影像的质量。

表4 不同算法PSNR与SSIM值对比

Tab.4 Comparison of PSNR and SSIM values of different algorithms

方法	第一组		第二组		第三组
方法	PSNR	SSIM	PSNR	SSIM	PSNR	SSIM
SMTV	26.978 9	0.892 6	40.041 9	0.846 9	33.950 7	0.841 7
SPA-Net	27.017 2	0.799 5	13.970 2	0.699 1	32.104 2	0.738 8
本文算法	27.323 9	0.944 9	41.646 4	0.925 3	37.748 8	0.944 5

新窗口打开| 下载CSV

3 结论

本文针对多时相遥感影像融合去云常规方法中存在的问题,提出一种改进的、基于选择性多源全变差模型、基于参考影像利用多时相遥感参考影像融合进行厚云去除的方法。

通过对遥感影像进行辐射归一化操作有效解决多时相影像融合区域内部亮度不均问题。基于更为完整的参考影像进行输出有效避免了损坏程度较高的初始影像对融合结果的不利影响,并利用图像编辑进行进一步优化,提高了多时相影像重建信息的完整度。同时,利用损坏程度较低影像的空间特征作为参考影像信息进行云遮挡区域重建,有很好的鲁棒性和适用性,能较好解决不同季节下大气环境条件不一问题引起的光谱和梯度差异。

实验结果以及与SMTV算法和SPA-GAN网络输出的对比结果表明,该算法不仅能解决多时相遥感影像重建时引起的边界差异问题,还能提高重建影像精度。当前参考影像的选取采用的方法为主观或参数比较的被动人为方法,如何实现参考影像的自动选取及对目标重建的部分区域进行输出将是下一步研究的重点方向。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

郭华东.

雷达对地观测理论与应用[M]. 北京: 科学出版社, 2000:15-20.

[本文引用: 1]

Guo

H D

Radar for earth observation:Theory and applications[M]. Beijing: Science Press, 2000:15-20.

[本文引用: 1]

[2]

Shen

, Li

, Cheng

, et al.

Missing information reconstruction of remote sensing data:A technical review

[J]. IEEE Geoscience & Remote Sensing Magazine, 2015, 3(3):61-85.

[本文引用: 1]

[3]

Rossi

R E

, Dungan

J L

, Beck

L R

Kriging in the shadows:Geostatistical interpolation for remote sensing

[J]. Remote Sensing of Environment, 1994, 49(1):32-40.

DOI:10.1016/0034-4257(94)90057-4 URL [本文引用: 1]

[4]

Meer

F V D

Remote-sensing image analysis and geostatistics

[J]. International Journal of Remote Sensing, 2012, 33(17-18):5644-5676.

DOI:10.1080/01431161.2012.666363 URL [本文引用: 1]

[5]

, Sun

Image completion approaches using the statistics of similar patches

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(12):2423-2435.

DOI:10.1109/TPAMI.2014.2330611 URL [本文引用: 2]

[6]

Guillemot

, Le

M O

, et al.

Image inpainting:Overview and recent advances

[J]. IEEE Signal Processing Magazine, 2013, 31(1):127-144.

DOI:10.1109/MSP.2013.2273004 URL [本文引用: 1]

[7]

K P

, Yuan

, Yan

, et al.

An adaptive weighted tensor completion method for the recovery of remote sensing images with missing data

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(6):3367-3381.

DOI:10.1109/TGRS.2017.2670021 URL [本文引用: 1]

[8]

Shen

, Li

, Yan

, et al.

An effective thin cloud removal procedure for visible remote sensing images

[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2014, 96:224-235.

[本文引用: 1]

[9]

, Wang

, Shen

An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands

[J]. Remote Sensing of Environment, 2016, 179:183-195.

DOI:10.1016/j.rse.2016.03.034 URL [本文引用: 1]

[10]

, Jia

, Pickering

, et al.

Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 149(MAR.):215-225.

DOI:10.1016/j.isprsjprs.2019.01.025 URL [本文引用: 2]

[11]

Chen

, Zhu

, Vogelmann

J E

, et al.

A simple and effective method for filling gaps in Landsat ETM+ SLC-off images

[J]. Remote Sensing of Environment, 2011, 115(4):1053-1064.

DOI:10.1016/j.rse.2010.12.010 URL [本文引用: 2]

[12]

Chen

, Bo

, Chen

, et al.

Spatially and temporally weighted regression:A novel method to produce continuous cloud-free Landsat imagery

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2016, 55(1):27-37.

DOI:10.1109/TGRS.2016.2580576 URL [本文引用: 2]

[13]

Zhang

, Wen

, Gao

, et al.

A coarse-to-fine framework for cloud removal in remote sensing image sequence

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019:5963-5974.

[本文引用: 1]

[14]

Zeng

, Shen

, Zhang

Recovering missing pixels for Landsat ETM+ SLC-off imagery using multi-temporal regression analysis and a regularization method

[J]. Remote Sensing of Environment, 2013, 131:182-194.

DOI:10.1016/j.rse.2012.12.012 URL [本文引用: 2]

[15]

, Shen

, Zhang

, et al.

Recovering quantitative remote sensing products contaminated by thick clouds and shadows using multitemporal dictionary learning

[J]. Geoscience & Remote Sensing, 2014, 52(11):7086-7098.

[本文引用: 1]

[16]

Zhang

, Yuan

, Li

, et al.

Cloud and shadow removal for sentinel-2 by progressively spatiotemporal patch group learning

[C]// IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium.IEEE, 2019:775-778.

[本文引用: 1]

[17]

戴昌达, 雷莉萍.

TM图像的光谱信息特征与最佳波段组合

[J]. 环境遥感, 1989, 4(4):48-58.

[本文引用: 1]

Dai

C D

, Lei

L P

The information characteristics of thematic mapper data and the optimal band combination

[J]. Remote Sensing of Environment China, 1989, 4(4):48-58.

[本文引用: 1]

[18]

Zhu

, Woodcock

C E

Automated cloud,cloud shadow,and snow detection in multitemporal Landsat data:An algorithm designed specifically for monitoring land cover change

[J]. Remote Sensing of Environment, 2014, 152:217-234.

DOI:10.1016/j.rse.2014.06.012 URL [本文引用: 1]

[19]

余晓敏, 邹勤.

多时相遥感影像辐射归一化方法综述

[J]. 测绘与空间地理信息, 2012, 35(6):19-23.

[本文引用: 1]

X M

, Zou

Methods of radiometric normalization for multi-temporal remote sensing images:A review

[J]. Geometrics and Spatial Information Technology, 2012, 35(6):19-23.

[本文引用: 1]

[20]

Turner

M G

, Gardner

R H

, O’Neill

R V

Landscape ecology in theory and practice[M]. New York: Springer, 2001:108-125.

[本文引用: 1]

[21]

邵艳坡, 洪友堂.

遥感影像相对辐射校正的PIF方法

[J]. 国土资源遥感, 2017, 29(1):7-13.doi: 10.6046/gtzyyg.2017.01.02.

[本文引用: 1]

Shao

Y P

, Hong

Y T

PIF method for relative radiometric correction of remote sensing images

[J]. Remote Sensing for Land and Resources, 2017, 29(1):7-13.doi: 10.6046/gtzyyg.2017.01.02.

[本文引用: 1]

[22]

Tierney

, Guo

, Gao

Selective multi-source total variation image restoration

[C]// 2015 International Conference on Digital Image Computing: Techniquesand Applications (DICTA).IEEE, 2015:1-8.

[本文引用: 1]

[23]

Lin

, Liu

, Su

Linearized alternating direction method with adaptive penalty for low-rank representation

[J]. Advances in Neural Information Processing Systems, 2011:612-620.

[本文引用: 1]

[24]

Zuo

, Lin

A generalized accelerated proximal gradient approach for total-variation-based image restoration

[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2011, 20(10):2748-2759.

DOI:10.1109/TIP.2011.2131665 URL [本文引用: 1]

[25]

Pérez

, Gangnet

, Blake

Poisson image editing

[J]. ACM Transactions on Graphics, 2003, 22(3):313-318.

DOI:10.1145/882262.882269 URL [本文引用: 1]

[26]

Pan

Cloud removal for remote sensing imagery via spatial attention generative adversarial network

[J/OL].(2020-11-14)[2020-09-28]. https://arxiv.org/abs/2009.13015.

URL [本文引用: 1]

2000

... 通过遥感卫星获得的地球表层光学遥感影像数据,在地物勘测、场景分类以及自然灾害监测等方面有着广泛的应用.然而,光学遥感影像的获取过程不可避免地会受到大气中云层的干扰,如薄云导致影像模糊、厚云遮挡地物等.这使得传感器无法完整获取影像信息,影响数据后续的处理与应用.因此,对有云层遮挡的遥感影像进行信息重建,将很大程度提高遥感数据的利用率以及影像处理的范围,具有很大的经济和社会效益^[1]. ...

2000

Missing information reconstruction of remote sensing data:A technical review

2015

... 在遥感影像处理中,由于薄云与厚云存在不同的特征,因此两者处理方法具有较大差异.目前,有许多厚云去除的传统方法被提出,根据所依赖信息的类型大致可以分为4类^[2]: 基于空间信息的方法^{[3⇓⇓⇓-7]}、基于光谱信息的方法^[8⇓-10]、基于时间信息的方法^[11⇓-13]和混合方法^[14-15].其中,基于空间信息去云是最基本的去云方法.He等^[5]提出了一种新的基于相似元统计的方法来填充影像中空缺的部分,然而,该方法的应用受到相似的上下文结构的限制.基于光谱信息的方法可区分云和雪对影像的影响,从不同波段影像中提取云的信息从而进行恢复.Xu等^[10]提出对于多光谱或高光谱数据,可以利用不同光波段间的相关性和相似性,依靠现有补充信息恢复出退化区域.由于卫星传感器可以在不同的时间拍摄同一特定区域,因此基于时间信息的厚云去除方法近年逐渐被提出.Chen等^[11]提出了一种有效重建缺失数据的邻域相似像素插值(neighborhood similar pixel interpolator,NSPI)算法,该方法对于Landsat ETM+ SLC-off影像恢复效果较好; 随后Chen等^[12]又结合时空尺度特征去除Landsat8 OLI数据中的云.但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难.另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

Kriging in the shadows:Geostatistical interpolation for remote sensing

1994

Remote-sensing image analysis and geostatistics

2012

Image completion approaches using the statistics of similar patches

2014

... [5]提出了一种新的基于相似元统计的方法来填充影像中空缺的部分,然而,该方法的应用受到相似的上下文结构的限制.基于光谱信息的方法可区分云和雪对影像的影响,从不同波段影像中提取云的信息从而进行恢复.Xu等^[10]提出对于多光谱或高光谱数据,可以利用不同光波段间的相关性和相似性,依靠现有补充信息恢复出退化区域.由于卫星传感器可以在不同的时间拍摄同一特定区域,因此基于时间信息的厚云去除方法近年逐渐被提出.Chen等^[11]提出了一种有效重建缺失数据的邻域相似像素插值(neighborhood similar pixel interpolator,NSPI)算法,该方法对于Landsat ETM+ SLC-off影像恢复效果较好; 随后Chen等^[12]又结合时空尺度特征去除Landsat8 OLI数据中的云.但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难.另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

Image inpainting:Overview and recent advances

2013

An adaptive weighted tensor completion method for the recovery of remote sensing images with missing data

2017

An effective thin cloud removal procedure for visible remote sensing images

2014

An empirical and radiative transfer model based algorithm to remove thin clouds in visible bands

2016

Thin cloud removal from optical remote sensing images using the noise-adjusted principal components transform

2019

... [10]提出对于多光谱或高光谱数据,可以利用不同光波段间的相关性和相似性,依靠现有补充信息恢复出退化区域.由于卫星传感器可以在不同的时间拍摄同一特定区域,因此基于时间信息的厚云去除方法近年逐渐被提出.Chen等^[11]提出了一种有效重建缺失数据的邻域相似像素插值(neighborhood similar pixel interpolator,NSPI)算法,该方法对于Landsat ETM+ SLC-off影像恢复效果较好; 随后Chen等^[12]又结合时空尺度特征去除Landsat8 OLI数据中的云.但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难.另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

A simple and effective method for filling gaps in Landsat ETM+ SLC-off images

2011

... [11]提出了一种有效重建缺失数据的邻域相似像素插值(neighborhood similar pixel interpolator,NSPI)算法,该方法对于Landsat ETM+ SLC-off影像恢复效果较好; 随后Chen等^[12]又结合时空尺度特征去除Landsat8 OLI数据中的云.但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难.另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

Spatially and temporally weighted regression:A novel method to produce continuous cloud-free Landsat imagery

2016

... [12]又结合时空尺度特征去除Landsat8 OLI数据中的云.但是由于遥感数据的高相关性,大面积区域重建问题仍存在困难.另外还有利用空间、时间以及光谱等信息去除厚云的混合方法,如Zeng等^[14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

A coarse-to-fine framework for cloud removal in remote sensing image sequence

2019

Recovering missing pixels for Landsat ETM+ SLC-off imagery using multi-temporal regression analysis and a regularization method

2013

... [14]提出了一种基于空间特征和多时相的多时间线性加权回归算法.以上厚云去除方法基于传统去云方法,在深度学习去云方法领域,Zhang等^[16]提出了一种新的时空斑块群深度学习框架,用于多时相云影像的缝隙填充,并且利用加权聚合和渐进迭代法重建结果. ...

Recovering quantitative remote sensing products contaminated by thick clouds and shadows using multitemporal dictionary learning

2014

Cloud and shadow removal for sentinel-2 by progressively spatiotemporal patch group learning

2019

TM图像的光谱信息特征与最佳波段组合

1989

... 为了获得更好的去云重建影像结果,算法选取像素丢失信息较小、数据保留度较高的影像作为参考影像,并将多时相遥感影像基于参考影像的信息进行融合输出.由于不同分量中各个波段特征向量值表现出的数学特性各不相同,本文利用遥感影像光谱主成分分析法^[17](principal component analysis,PCA)选取亮度分量在各个波段上的和函数,代表总辐射水平,即亮度的总和,将其视为“亮度分量”.通过找出各相邻点的像素差值之和最小的影像,来选取各影像中分布最平均的亮度分量B_s,计算公式为: ...

TM图像的光谱信息特征与最佳波段组合

1989

Automated cloud,cloud shadow,and snow detection in multitemporal Landsat data:An algorithm designed specifically for monitoring land cover change

2014

... 同时,本文利用多时相掩模算法(multi-temporal mask,Tmask)^[18]对云及云阴影进行检测,将像素信息丢失的云覆盖区域记为0,无云区域记为1.在一组多时相影像中,遍历每幅影像的掩模影像并统计掩模矩阵内像素数值之和M_i,找到完整度最高的一幅影像,记其像素和为M_s,公式为: ...

多时相遥感影像辐射归一化方法综述

2012

... 对于多时相遥感影像的辐射归一化可分为绝对辐射归一化和相对辐射归一化^[19].绝对辐射归一化需要利用大量遥感卫星数据计算每幅影像的地表反射率,较为繁琐.相对辐射归一化是基于同一区域多时相影像相同波段的灰度值存在线性关系而提出的^[20],它的基本思想是以选取的参考影像为基准,其他影像以该影像的灰度值为参考进行归一化,从而避免了繁琐的计算并且减少地表的“伪变化”现象. ...

多时相遥感影像辐射归一化方法综述

2012

2001

遥感影像相对辐射校正的PIF方法

2017

... 邵艳坡等^[21]提出伪不变特征(pseudo-invariant feature, PIF)法进行遥感影像相对辐射校正.该方法在2幅多时相影像中找到同一区域没有发生地物类型变化且光谱特征稳定的地物样本点,利用灰度值的线性相关性进行辐射校正,无需获取相关大气参数就可获得规则化的地物反射数据.多时相遥感影像地物规则化的数学模型为: ...

遥感影像相对辐射校正的PIF方法

2017

Selective multi-source total variation image restoration

2015

... Tierney等^[22]提出了一种基于多时相影像融合的方法进行影像重建的SMTV模型,如式(7)所示的凸目标函数: ...

Linearized alternating direction method with adaptive penalty for low-rank representation

2011

... 为了求解上述凸目标函数,利用LADMAP算法进行迭代求解^[23],算法在不引入附加变量的条件下高效更新变量,更适用于一般的凸规划问题. ...

A generalized accelerated proximal gradient approach for total-variation-based image restoration

2011

... 由于全变分模型自身不可微分性,相较于传统方法难以求解.当前求解全变分的方法中,梯度方法与加速算法结合具有较好的收敛性,本文以广义加速临近梯度算法(generalized accelerated proximal gradient,GAPG)为基础^[24],可将问题表示为: ...

Poisson image editing

2003

... 尽管进行了一系列的优化步骤,确保基于多时相影像重建后的结果图像具有空间连续性,但是在平滑区域,重建后的图像由于多源影像的亮度差异,仍存在亮度不一致的区域.因此,本文利用泊松图像编辑^[25]来解决经融合输出后的影像内部存在区域亮度不一致的问题.该方法的主要原理是根据散度以及所指定的边界条件,通过求解泊松方程实现融合影像的拼接部分在梯度上的连续,可看作无缝融合以区域块Ω内梯度场为引导,将融合区域边界上目标场景和原影像的差异平滑地扩散到融合影像块中,泊松方程为: ...

Cloud removal for remote sensing imagery via spatial attention generative adversarial network

2020

... 为了评估并检验本文提出方法的去云优越性,本文算法将与SMTV算法以及空间注意生成对抗网络去云方法(SPA-GAN)^[26]进行比较(表3),其中SPA-GAN网络采用空间注意力模块作为编码器,GAN-Loss作为其总损失函数的一部分.每组对比实验选取3幅同一区域、不同时相、1 000像素×1 000像素大小的Landsat8 OLI遥感影像,同时尽可能多地选取到不同的地物类型,以此验证算法的普遍性和准确性.第一组对比实验选取山脉以及城市中道路、房屋的组合; 第二组选取城市及河流; 第三组选取大片平原的地物类型. ...

〈

〉