国土资源遥感, 2018, 30(4): 56-61 doi: 10.6046/gtzyyg.2018.04.09

PCA联合字典的稀疏系数NMF融合

孙小芳

闽江学院地理科学系,福州 350121

Sparse coefficient NMF fusion via PCA united dictionary

SUN Xiaofang

Department of Geography, Minjiang College, Fuzhou 350121, China

责任编辑: 张仙

收稿日期: 2017-09-14   修回日期: 2017-11-25   网络出版日期: 2018-12-15

基金资助: 国家自然科学基金项目“基于MODIS BRDF产品的叶片聚集度系数遥感反演与验证”.  41271354
福建省科技厅项目“基于高光谱特征与目标分割的城市地物识别研究”.  2015J01627
闽江学院资助项目“基于稀疏的高光谱与高分辨率遥感融合与解混”共同资助.  MYK17013

Received: 2017-09-14   Revised: 2017-11-25   Online: 2018-12-15

作者简介 About authors

孙小芳(1973-),女,副教授,主要从事遥感图像处理、高光谱与高空间分辨率遥感方面的研究。Email:sunxf99@163.com。 。

摘要

为了减少混合像元对字典建立的影响,结合在线字典学习法与主成分分析(principal component analysis,PCA)法提取全色与各分解影像字典的第一主成分分量构成PCA联合稀疏字典。该字典包括多光谱影像特征与高空间分辨率影像特征,同时考虑到了混合像元问题。使用PCA联合稀疏字典进行正交匹配追踪法(orthogonal matching pursuit,OMP)计算,分别得到全色与多光谱影像的稀疏系数,采用非负矩阵分解(nonnegative matrix factor,NMF)融合算法得到融合影像的稀疏系数,进行重构生成融合影像。对字典矩阵大小的研究,考虑到重构图像的均方根误差与计算机运算的限制,最终确定稀疏字典矩阵大小为64像元×480像元。采用5种定量融合评定指标对本文方法与联合字典NMF方法、小波方法和PCA方法的影像融合结果进行分析比较,结果表明本文方法既可提高融合影像的纹理细节信息,也能较好地保持多光谱信息,获得更好的融合效果。

关键词: PCA联合稀疏字典 ; 在线字典学习法 ; OMP算法 ; NMF融合

Abstract

In order to reduce the influence of mixed pixel on dictionary, the author has constituted principal component analysis (PCA)united sparse dictionary from the first principal component extracted with sparse dictionary of panchromatic image and unmiximg image by the online dictionary learning algorithm and PCA. The sparse dictionary can include multi-spectral image and high-spatial resolution image features, while considering the mixed pixel problem. The sparse coefficients of panchromatic and multi-spectral images are calculated using PCA united sparse dictionary and orthogonal matching pursuit(OMP) algorithm, then the sparse coefficients of fusion image are calculated using nonnegative matrix factor(NMF) fusion algorithm, thus reconstructing fusion image. In consideration of the root mean square error of the reconstructed image and the limitation of computing, research on the dictionary matrix size shows that the final matrix size of sparse dictionary is 64×480. An analysis of five quantitative assessment indexes demonstrates that more texture details and multi-spectral information can be obtained by the proposed fusion than by united sparse dictionary NMF fusion, wavelet fusion and PCA fusion. The proposed method can obtain better fusion result.

Keywords: PCA united sparse dictionary ; online dictionary learning algorithm ; OMP algorithm ; NMF fusion

PDF (4216KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

孙小芳. PCA联合字典的稀疏系数NMF融合. 国土资源遥感[J], 2018, 30(4): 56-61 doi:10.6046/gtzyyg.2018.04.09

SUN Xiaofang. Sparse coefficient NMF fusion via PCA united dictionary. REMOTE SENSING FOR LAND & RESOURCES[J], 2018, 30(4): 56-61 doi:10.6046/gtzyyg.2018.04.09

0 引言

稀疏表达又称为稀疏分解,用冗余函数构造稀疏字典,在影像融合中对高、低空间分辨率影像分别计算稀疏系数,通过算法生成融合影像的融合稀疏系数,进而结合稀疏字典完成影像稀疏融合[1]。基于稀疏思想的融合中,稀疏字典与融合稀疏系数的生成是2个研究重点。

稀疏字典从用途来看,可分成待融合影像的稀疏字典与融合结果影像的稀疏字典。待融合影像是指用于融合的高、低空间分辨率影像,该类字典的来源有2种: ①将标准正交基级联得到超完备字典,通常包括傅里叶变换、小波变换、离散余弦变换、Gabor滤波、曲线波以及轮廓波等,例如将同一空间位置对应的同方向跨尺度小波基函数的线性组合作为新的基函数[2]; ②通过待融合影像的样本学习来构造过完备字典,参与字典学习的样本类型包括随机选择样本[3]、基于影像分割或分类所产生的区域影像建立样本[4]、基于随机共振和自适应的稀疏域选择样本[5]及选择纯像元建立字典学习样本[6]等。融合结果影像的字典除了各种标准正交基函数外,还包括以下3类: ①采用多光谱影像字典,例如在MODIS与ETM+影像融合中,由MODIS影像提供融合影像的字典[6]; ②采用高空间分辨率影像字典,例如SPOT与TM影像融合中,融合字典由SPOT影像字典提供[7]; ③基于多光谱字典与高空间分辨率影像字典利用规则生成融合字典,该种融合字典生成的方法包括正则项建立优化函数求融合字典[8,9,10]、对各种聚类子字典采用主成分分析(principal component analysis,PCA)方法构造融合字典[11]、利用融合字典与高空间分辨率影像字典存在的权重关系及融合字典与多光谱字典存在的模糊滤波关系构建融合字典[8]以及随机选择高空间分辨率影像与多光谱影像样本建立联合字典[3]

目前字典的生成多数直接来源于影像样本,但由于遥感影像的空间分辨率限制,在地物复杂地区大多数影像存在着混合像元问题,这使得字典的精度受到一定影响。2014年Huang等[6]利用MODIS影像中的纯像元建立字典,但是MODIS影像中各种地类的纯像元个数较少,影响了字典的应用效果。为了减少混合像元对字典建立的影响,本研究在像元线性分解影像中利用在线字典学习法建立字典,通过提取分解影像字典与全色影像字典的主成分分量建立PCA联合稀疏字典,融合影像的稀疏系数采用非负矩阵分解(nonnegative matrix factor,NMF)融合多光谱影像与全色影像的稀疏系数生成。

1 基本理论

1.1 稀疏分解

利用尽量少的原子影像块与非零值稀疏系数来完全或近似地表达原始影像的方式,就是影像稀疏表达。该种表达方式将影像投影到由稀疏字典组成的特征空间,影像的信息集中在较少的原子影像块中,非零值稀疏系数表明了影像的内部结构及特征[12]。基于高度非线性逼近理论的稀疏表达公式中包含2个系数: 一是根据信号的特点构造的原子库即过完备字典D; 二是从字典中找到最佳线性组合所用到的稀疏系数α[13,14]

对于信号 y={yi}i=1MRM,在稀疏字典 D={d1,d2,,dN}RM×N(M<N)下的理想稀疏表示系数设为 α={αi}i=1NRN,式中MN为信号的行数和列数。则有

y=D·α

由于实际处理的信号通常带有噪声,影像稀疏分解过程实际上是一种逼近过程,即

y=yM+xr=N=0M<RNxrdN>dN+RMx=D·α+RMx

式中: yM为原始信号y的逼近信号; xr为残差分量; dN为给定稀疏字典 DRM×N中的一个原子; <RNxrdN>为信号在 dN上的投影,构成信号在稀疏字典D上的稀疏系数α; RMx对应残差分量 xr

为了求解最优α,且满足残差分量 xr达到最小,将式(2)转换为

ArgMinα0s.t. N=ΩMdNαN-y2ε

式中: α0αl0范数; αN为给定稀疏字典中的一个稀疏系数; ΩΜ为稀疏字典大小; ε为误差总和。式(3)表明在最小均方误差约束条件下,求解稀疏系数的最少个数。由于l0范数的非凸性,为了求解这个NP-hard问题,学者通常用l1范数近似代替l0范数。

1.2 NMF融合

利用NMF算法将原始影像V分解成基向量W和权重系数矩阵H,当W的秩r与数据集的特征空间维数一致时,那么得到的W是对V最有效的体现,既反映了影像V中最基本的特征,同时有效抑制了影像的噪声。利用NMF的这种特性,可以完成NMF的影像融合。将待融合的影像按行优先的方式存储成V,即

V=v1v2vmT=I1I2ImT=I1,11I2,11Im,11I1,12I2,12Im,12I1,MNI2,MNIm,MN

式中: Ii为待融合的影像,i=1,2,…,m; MN分别为每一幅待融合影像的行数和列数,并令n=M×N,则有 VRn×mV可近似分解为非负矩阵 Wn×r与非负矩阵 Hr×m的乘积[15]。本文的稀疏系数融合是采用逐个多光谱波段与全色波段进行融合,所以选取r=1,即W的维数为MN×1。融合时采用标准梯度下降法迭代规则求解WH,由于V=W×H+δ,在每次迭代后计算误差δ,若δ小于设定的值,则迭代终止。

2 融合算法

本文融合算法的流程如图1所示。

图1

图1   PCA联合字典的稀疏系数NMF融合

Fig.1   Sparse coefficient NMF fusion via PCA united dictionary


本研究改进了稀疏字典的生成方法,提出了利用不同地物的线性分解影像作为字典的来源影像。进行线性光谱分解时,所用到的纯像元来源于纯像元指数(pure pixel index,PPI)计算,再利用N维可视化器从PPI指数计算的像元中提取出感兴趣区域(region of interest,ROI)纯像元,作为线性光谱分解的端元。利用在线字典学习算法分别对各类地物分解影像进行处理,得到各类地物分解影像的稀疏字典,将每一幅分解影像稀疏字典与全色稀疏字典分别进行PCA处理并提取第一主成分分量作为PCA稀疏字典,并将8个PCA稀疏字典生成PCA联合稀疏字典。利用PCA联合稀疏字典与正交匹配追踪(orthogonal matching pursuit,OMP)算法计算多光谱影像与全色影像的稀疏系数,将每一幅多光谱影像的稀疏系数与全色影像的稀疏系数进行NMF融合,得到该波段融合影像的稀疏系数,融合影像的稀疏系数与PCA联合字典重构生成融合影像。

3 实验与分析

采用2012年8月8日福建赛场的WorldView-2影像数据作为实验数据。该数据拥有1个0.5 m空间分辨率的全色波段和8个2 m空间分辨率的多光谱波段,具体包括: 海岸波段B1、红光波段B2、蓝光波段B3、红边波段B4、绿光波段B5、近红外1波段B6、黄光波段B7和近红外2波段B8。数据已完成辐射校正与几何纠正,可以进行影像融合处理,实验影像的大小为512像元×512像元。

在本研究中,稀疏字典的生成是基于地物分解影像。在利用PPI指数计算时,对所设定的参数进行调整,最终确定迭代次数为10 000次,阈值参数设为12,得到3 016个像元。PPI指数计算的结果给出了像元作为纯像元的潜在性,但并没有对纯像元的类别做出判断,这时就需要利用N维可视化器提取各类别的纯像元。通过观看各角度旋转,找出各方向散点图的尖角,选出作为各种类别的纯像元。本研究最终确定8种类别地物: 水体、裸土、农田、农作物、林地、不可渗透表面、白色屋顶建筑和蓝色屋顶建筑。将8类地物的纯像元样本作为线性分解的端元输入,得到8种地物的像元分解影像。

3.1 确定稀疏字典矩阵大小

进行稀疏字典计算时,先要确定稀疏字典的大小。本研究利用多光谱影像的稀疏分解与重构来探讨适合的稀疏字典矩阵大小。利用在线字典学习算法分别对8类地物的分解影像进行处理,得到8幅影像的稀疏字典,并将其联合起来,组成联合稀疏字典。一个字典原子的大小为8像元×8像元,在考虑计算机运行能力与影像稀疏分解及重构精度问题的基础上,探讨合适的稀疏字典矩阵大小。设定各幅多光谱影像的字典个数分别为10,20,30,40,50和60,则对应的联合字典的个数分别为80,160,240,320,400和480,利用该联合字典与OMP算法分别计算各多光谱波段的稀疏系数,利用稀疏系数与联合字典重构各多光谱波段,探讨影像重构均方根误差(root mean square error,RMSE)与字典个数的关系,从而确定本研究的字典个数。

表1给出6种联合稀疏字典的参数及8个波段重构的平均RMSE,可以看出重构影像平均RMSE从80个字典的0.099下降到480个字典的0.054。说明字典个数对重构影像有着相关性影响,这从图2中所表达的8个波段的重构RMSE中也得到反映。综合考虑运算效率与影像的重构精度,本文选择的联合字典大小为480,即每个分解影像提供60个字典用于建立联合字典。

表1   字典参数与重构RMSE

Tab.1  Dictionary coefficients and RMSE

联合稀疏
字典个数
联合字典
(行×列)
稀疏系数
(行×列)
重构影像平
RMSE
8064×8080×255 0250.099
16064×160160×255 0250.067
24064×240240×255 0250.063
32064×320320×255 0250.059
40064×400400×255 0250.058
48064×480480×255 0250.054

新窗口打开| 下载CSV


图2

图2   各波段稀疏重构RMSE

Fig.2   RMSE of reconstructed image bands


3.2 PCA联合稀疏字典

利用在线字典学习法生成8个分解影像的字典与全色影像字典。利用PCA算法计算各分解影像稀疏字典与全色稀疏字典,取第一主成分分量作为PCA联合稀疏字典。图3分别为直接利用8个分解影像的字典组成的联合字典以及依次对8个分解影像进行处理后得到的PCA联合稀疏字典。

图3

图3   联合字典与PCA联合稀疏字典

Fig.3   United dictionary and PCA united sparse dictionary


影像的方差可以反映影像的信息量,比较PCA联合稀疏字典与联合字典的方差(表2)可知,经过PCA处理得到的各影像字典及影像联合字典的方差值均大于未经PCA处理的字典,说明经过PCA处理的字典融合进了全色影像字典的主要信息,从而保证PCA联合稀疏字典能代表影像中主要特征。

表2   联合字典与PCA联合稀疏字典的方差比较

Tab.2  Comparison of variance of united dictionary and PCA united sparse dictionary

字典方差字典方差
分解影像1字典0.062PCA影像1字典0.072
分解影像2字典0.055PCA影像2字典0.066
分解影像3字典0.068PCA影像3字典0.078
分解影像4字典0.068PCA影像4字典0.077
分解影像5字典0.062PCA影像5字典0.072
分解影像6字典0.071PCA影像6字典0.080
分解影像7字典0.072PCA影像7字典0.081
分解影像8字典0.074PCA影像8字典0.083
联合字典0.067PCA联合稀疏字典0.076

新窗口打开| 下载CSV


3.3 融合影像评价

利用PCA联合稀疏字典完成多光谱波段(图4(a))与全色波段(图4(b))的OMP计算,分别得到各个多光谱波段与全色波段的稀疏系数α。利用NMF融合算法计算每个多光谱波段与全色波段的融合系数α,即各个波段融合影像的系数α,将该数值乘以PCA联合稀疏字典,得到各个融合波段,如图4(c)。在完成本文提出的融合算法后,利用联合字典进行多光谱与全色稀疏分解,将得到的系数α利用NMF算法进行融合,得到联合字典的NMF融合影像,如图4(d); 同时为了对比分析本文方法与传统方法的融合效果,分别完成小波融合与经典的PCA影像融合,如图4(e)与图4(f)。从目视效果上看,本文提出的融合算法与图4(a)多光谱影像色调较一致,保证了多光谱信息。融合影像的纹理层次丰富与图4(b)全色影像清晰度接近,信息量增加,同时具有多光谱与高空间分辨率影像的特征。对比其他3种融合算法,本文方法所融合的地物光谱表现与实际情况接近,田地、水体和居民区更清晰可辨,更有力地表现了细节。

图4

图4   融合影像

Fig.4   Fusion image


通过计算4幅融合影像的5种定量评价指标来比较本文方法与其他经典方法的融合效果,具体如表3所示。

表3   融合评价指标

Tab.3  Fusion assessment indexes

评价指标PCA联合稀疏
字典NMF融合
联合字典
NMF融合
小波融合PCA融合
信息熵7.2037.0277.1867.164
清晰度13.25010.56511.38610.020
空间频率22.16719.23220.06318.702
扭曲程度16.54228.86521.46526.863
偏差指数0.1540.2840.1830.287

新窗口打开| 下载CSV


信息熵可以评价影像中信息量的多少,值越高,表示影像的信息越多。可以看出PCA联合稀疏字典的NMF融合影像具有更多的信息,信息熵值在4种方法中最高。清晰度与空间频率是通过相邻像元的差别来反映影像的空间变化频率,表现为细节的反映能力。相较于联合字典NMF融合、小波融合与PCA融合,本文方法的这2个参数指标明显更高,说明本文方法提高了融合影像的纹理细节信息,更加清晰地反映了地物的特征。扭曲程度与偏差指数反映融合影像与多光谱影像的差别程度,值越大说明与原始多光谱影像的差异越大。本文方法的这2个指标均小于其他3种融合方法,说明本文方法较好地保持了影像的光谱信息。

4 结论

1)本研究提出分解地物影像字典与全色影像字典的第一主成分分量构成PCA联合稀疏字典。所生成的PCA联合稀疏字典既能包含多光谱影像分解地物特征,也包含高空间分辨率影像特征。

2)利用重构影像与原始影像的RMSE探讨合适的字典个数。随着字典个数的增加,重构影像的误差有明显减小的趋势。考虑到重构影像的效率与计算机运算的限制,最终确定稀疏字典个数为480。

3)利用NMF融合确定融合影像的稀疏系数。该稀疏系数最大限度地保留2幅原始影像的信息。采用5种定量评价指标分析,本文提出的融合算法包含更多的信息,提高了融合影像的纹理细节,并较好地保持了原始影像的多光谱特征。

参考文献

向馗, 李炳南 .

主元分析中的稀疏性

[J]. 电子学报, 2012,40(12):2525-2532.

Magsci     [本文引用: 1]

主元分析是一种广泛应用的多元统计技术.在处理高维数据时,其结果的统计一致性与物理可解释性难以保证.引入以变量选择为目标的稀疏性约束,可有效缓解上述困难.基于最近10年的研究进展,本文阐述了稀疏性的基本概念和罚函数的设计标准,介绍了经典的稀疏性约束lasso及其多个变种:融合lasso、成组lasso、自适应lasso、弹性网等等.Lasso及其变种均可用作主元分析的约束,构建稀疏主元分析框架,但关键在于如何将稀疏主元转化为凸优化问题并快速求解.本文比较了稀疏主元的多种转化形式:奇异值分解、稀疏回归、低阶秩逼近、罚矩阵分解和半正定松弛.分析了基于最小角回归算法的一般lasso及广义lasso问题的求解方法.此外还初步探讨了函数型数据的稀疏主元分析问题.

Xiang K, Li B N .

Sparsity in principal component analysis:A survey

[J]. Acta Electronica Sinica, 2012,40(12):2525-2532.

Magsci     [本文引用: 1]

梁锐华, 成礼智 .

基于小波域字典学习方法的图像双重稀疏表示

[J]. 国防科技大学学报, 2012,34(4):126-131.

DOI:10.3969/j.issn.1001-2486.2012.04.025      URL     [本文引用: 1]

提出了一种有效地结构化字典生成算法以及图像双重稀疏表示方法。在Rubinstein等提出的图像双重稀疏表示模型的基础上,引入小波零树结构,将同一空间位置对应的同方向跨尺度小波基函数的线性组合作为新的基函数,并通过K-SVD学习算法得到线性组合系数,由此得到了一种更加切合图像方向特征的结构化字典学习算法。在此基础上提出了相应的图像分解与重构算法。遥感图像M项逼近实验以及压缩仿真实验表明,本文提出的结构化字典比已有的字典具有更好的图像稀疏表示效果。

Liang R H, Cheng L Z .

Double sparse image representation via learning dictionaries in wavelet domain

[J]. Journal of National University of Defense Technology, 2012,34(4):126-131.

[本文引用: 1]

Iqbal M, Chen J .

Unification of image fusion and super-resolution using jointly trained dictionaries and local information contents

[J]. IET Image Processing, 2012,6(9):1299-1310.

DOI:10.1049/iet-ipr.2012.0122      URL     [本文引用: 2]

Multi-modal imaging requires image fusion to combine advantages of different types of sensors and requires super-resolution (SR) because of limited spatial resolution of source images. In this study, a novel framework is proposed for unification of image SR and the fusion process to obtain a high-resolution (HR)-fused image from a set of low-resolution (LR) multi-modal images. The jointly trained dictionaries of LR patches and corresponding HR patches are used for sparse representation of LR source image patches and HR-fused image patches, respectively. The sparse coefficients vectors for corresponding patches of source LR images are determined by using orthogonal matching pursuit and a local information content-based metric is employed to fuse these sparse coefficients. The corresponding HR-fused image patch is obtained by combining elements of the HR dictionary as per the fused coefficients of the LR image patches. The experimental results on sets of multi-modal images exhibited that the proposed method outperformed the existing fusion and SR techniques in terms of visual quality and image fusion quality metrics.

孙玉宝, 韦志辉, 肖亮 , .

多形态稀疏性正则化的图像超分辨率算法

[J]. 电子学报, 2010,38(12):2898-2903.

DOI:      URL     Magsci     [本文引用: 1]

如何设计更加高效并能保持图像几何和纹理结构的多幅图像超分辨模型和算法是目前该领域有待解决的难点问题.针对图像的几何、纹理结构形态,分别建立符合类内强稀疏而类间强不相干的几何结构和纹理分量稀疏表示子成份字典,形成图像的多形态稀疏表示模型,进而提出一种新的基于多形态稀疏性正则化的多帧图像超分辨凸变分模型,模型中的正则项刻画了理想图像在多成份字典下的稀疏性先验约束,保真项度量其在退化模型下与观测信号的一致性,采用交替迭代法对该多变量优化问题进行数值求解,每一子问题采用前向后向的算法分裂法进行快速求解.针对可见光与红外图像序列进行了数值仿真,实验结果验证了本文模型与数值算法的有效性.

Sun Y B, Wei Z H, Xiao L , et al.

Multimorphology sparsity regularized image super-resolution

[J]. Acta Electronica Sinica, 2010,38(12):2898-2903.

Magsci     [本文引用: 1]

Liu Y, Wang Z F.

Multi-focus image fusion based on sparse representation with adaptive sparse domain selection

[C]// 2013 Seventh International Conference on Image and Graphics.Qingdao:IEEE, 2013: 591-596.

[本文引用: 1]

Huang B, Song H H, Cui H B , et al.

Spatial and spectral image fusion using sparse matrix factorization

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013,52(3):1693-1704.

DOI:10.1109/TGRS.2013.2253612      URL     [本文引用: 3]

In this paper, we present a novel spatial and spectral fusion model (SASFM) that uses sparse matrix factorization to fuse remote sensing imagery with different spatial and spectral properties. By combining the spectral information from sensors with low spatial resolution (LSaR) but high spectral resolution (HSeR) (hereafter called HSeR sensors), with the spatial information from sensors with high spatial resolution (HSaR) but low spectral resolution (LSeR) (hereafter called HSaR sensors), the SASFM can generate synthetic remote sensing data with both HSaR and HSeR. Given two reasonable assumptions, the proposed model can integrate the LSaR and HSaR data via two stages. In the first stage, the model learns from the LSaR data a spectral dictionary containing pure signatures, and in the second stage, the desired HSaR and HSeR data are predicted using the learned spectral dictionary and the known HSaR data. The SASFM is tested with both simulated data and actual Landsat 7 Enhanced Thematic Mapper Plus (ETM+) and Terra Moderate Resolution Imaging Spectroradiometer (MODIS) acquisitions, and it is also compared to other representative algorithms. The experimental results demonstrate that the SASFM outperforms other algorithms in generating fused imagery with both the well-preserved spectral properties of MODIS and the spatial properties of ETM+. Generated imagery with simultaneous HSaR and HSeR opens new avenues for applications of MODIS and ETM+.

Song H H, Huang B, Liu Q S , et al.

Improving the spatial resolution of Landsat TM/ETM+ through fusion with SPOT5 images via learning-based super-resolution

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014,53(3):1195-1204.

DOI:10.1109/TGRS.2014.2335818      URL     [本文引用: 1]

To take advantage of the wide swath width of Landsat Thematic Mapper (TM)/Enhanced Thematic Mapper Plus (ETM+) images and the high spatial resolution of Syste me Pour l'Observation de la Terre 5 (SPOT5) images, we present a learning-based super-resolution method to fuse these two data types. The fused images are expected to be characterized by the swath width of TM/ETM+ images and the spatial resolution of SPOT5 images. To this end, we first model the imaging process from a SPOT image to a TM/ETM+ image at their corresponding bands, by building an image degradation model via blurring and downsampling operations. With this degradation model, we can generate a simulated Landsat image from each SPOT5 image, thereby avoiding the requirement for geometric coregistration for the two input images. Then, band by band, image fusion can be implemented in two stages: 1) learning a dictionary pair representing the high- and low-resolution details from the given SPOT5 and the simulated TM/ETM+ images; 2) super-resolving the input Landsat images based on the dictionary pair and a sparse coding algorithm. It is noteworthy that the proposed method can also deal with the conventional spatial and spectral fusion of TM/ETM+ and SPOT5 images by using the learned dictionary pairs. To examine the performance of the proposed method of fusing the swath width of TM/ETM+ and the spatial resolution of SPOT5, we illustrate the fusion results on the actual TM images and compare with several classic pansharpening methods by assuming that the corresponding SPOT5 panchromatic image exists. Furthermore, we implement the classification experiments on both actual images and fusion results to demonstrate the benefits of the proposed method for further classification applications.

Li S T, Yin H T, Fang L Y .

Remote sensing image fusion via sparse representations over learned dictionaries

[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013,51(9):4779-4789.

DOI:10.1109/TGRS.2012.2230332      URL     [本文引用: 2]

Remote sensing image fusion can integrate the spatial detail of panchromatic (PAN) image and the spectral information of a low-resolution multispectral (MS) image to produce a fused MS image with high spatial resolution. In this paper, a remote sensing image fusion method is proposed with sparse representations over learned dictionaries. The dictionaries for PAN image and low-resolution MS image are learned from the source images adaptively. Furthermore, a novel strategy is designed to construct the dictionary for unknown high-resolution MS images without training set, which can make our proposed method more practical. The sparse coefficients of the PAN image and low-resolution MS image are sought by the orthogonal matching pursuit algorithm. Then, the fused high-resolution MS image is calculated by combining the obtained sparse coefficients and the dictionary for the high-resolution MS image. By comparing with six well-known methods in terms of several universal quality evaluation indexes with or without references, the simulated and real experimental results on QuickBird and IKONOS images demonstrate the superiority of our method.

魏士俨, 李群智, 马友青 , .

虹湾影像超分辨率重建

[J]. 光电工程, 2012,39(12):86-90.

URL     [本文引用: 1]

嫦娥探月工程二期嫦娥 3号的着陆任务需要高分辨率影像数据的支持。因此,提出了一种基于压缩感知的超分辨率图像重建方法,实现了虹湾地区月球卫星影像的超分辨率重建。通过从美国阿波罗计划获取的月球影像、嫦娥 1、2号卫星影像和嫦娥工程二期试验中获取的图像中提取了大量训练图块,完成了高、低分辨率过完备字典对 Ah和 Al的联合训练,采用正则正交基追踪算法求解优化问题,获得关于低分辨率图块的稀疏表示,并将表示系数用于 Ah以生成对应的高分辨率图块,得到满足重构约束的高分辨率图像。实验验证了算法的有效性,表明其在视觉效果及 PSNR和 RMSE指标上均优于传统方法。

Wei S Y, Li Q Z, Ma Y Q , et al.

Sinus iridum images super resolution reconstruction

[J]. Opto-Electronic Engineering, 2012,39(12):86-90.

[本文引用: 1]

张垚, 徐斌, 周尚波 , .

基于稀疏表示的自适应图像超分辨率重建算法

[J]. 计算机应用研究, 2013,30(3):938-941.

DOI:10.3969/j.issn.1001-3695.2013.03.077      URL     [本文引用: 1]

针对图像高分辨率重建过程中稀疏解的存在性和唯一性问题以及超分辨率图像的边缘特征和平滑噪声的关系进行了研究,提出了局部正则化参数自适应选取的方法。结合联合构造字典的算法,在重建过程中动态调整正则化参数。通过对图像的超分辨率实验证明,改进的算法具有较高的可行性,能有效平衡超分辨率图像的边缘特征和平滑噪声两者的关系,与传统的超分辨率重建算法相比,有更高的峰值信噪比。

Zhang Y, Xu B, Zhou S B , et al.

Image super-resolution with adaptive regularization sparse representation

[J]. Application Research of Computers, 2013,30(3):938-941.

[本文引用: 1]

薛模根, 徐国明 .

聚类字典下集中式稀疏表示的幻觉脸重建方法

[J]. 系统工程与电子技术, 2014,36(1):187-193.

DOI:10.3969/j.issn.1001-506X.2014.01.30      URL     Magsci     [本文引用: 1]

<p align="justify">在基于稀疏表示的幻觉脸重建过程中,由于冗余的过完备字典会降低稀疏编码的效率和精度,提出用紧的聚类子字典来表示人脸图像的不同结构对象。由高分辨率(high resolution, HR)/低分辨率(low resolution, LR)的人脸图像样本集进行K-均值聚类,为使紧的聚类子字典能够表达图像块的整体特征,对各聚类子集采用主成分分析(principal component analysis, PCA)方法构造字典。得到同构的HR/LR的聚类字典后,对于输入的LR人脸图像块,经自适应选择合适的子字典后,对稀疏编码添加正则化项,采用集中式稀疏编码,以使稀疏表示系数更逼近要重建的HR人脸图像块。由此稀疏表示系数与HR字典的线性组合得到HR人脸图像块,将此图像块与近似结果进行合成,从而得到最终的人脸图像。经仿真实验,并与其他的方法进行比较,实验结果验证了所提方法的有效性。</p>

Xue M G, Xu G M .

Hallucinating faces reconstruction method via centralized sparse representation based on clustered dictionary

[J]. Systems Engineering and Electronics, 2014,36(1):187-193.

Magsci     [本文引用: 1]

何同弟, 李见为 .

基于自适应稀疏表示的高光谱遥感图像分类

[J]. 系统工程与电子技术, 2013,35(9):1994-1998.

DOI:10.3969/j.issn.1001-506X.2013.09.32      URL     Magsci     [本文引用: 1]

<p align="justify">针对多数传统分类算法应用于高光谱分类都存在运算速度慢、精度比较低和难以收敛等问题,从稀疏表示基本理论出发建立了一个基于自适应稀疏表示的高光谱分类模型。利用训练样本构建字典,聚类每一步迭代所产生的余项,将聚类中心作为新的字典原子,然后将测试样本看成冗余字典中训练样本的线性组合,令字典能够更适应于样本的稀疏表示。利用华盛顿地区的HYDICE高光谱遥感数据进行试验,并且与主成分分析、线性鉴别分析、支持向量机、神经网络算法进行比较,结果表明,该算法的总体分类精度比其他算法提高了约12%,有效提高了高光谱影像的分类精度。</p>

He T D, Li J W .

Hyperspectral remote sensing image classification based on adaptive sparse representation

[J]. Systems Engineering and Electronics, 2013,35(9):1994-1998.

Magsci     [本文引用: 1]

严春满, 郭宝龙, 易盟 .

自适应字典学习的多聚焦图像融合

[J]. 中国图象图形学报, 2012,17(9):1144-1149.

[本文引用: 1]

Yan C M, Guo B L, Yi M .

Multi-focus image fusion using adaptive dictionary learning method

[J]. Journal of Image and Graphics, 2012,17(9):1144-1149.

[本文引用: 1]

刘婷, 程建 .

小波变换和稀疏表示相结合的遥感图像融合

[J]. 中国图象图形学报, 2013,18(8):1045-1053.

DOI:10.11834/jig.20130820      URL     Magsci     [本文引用: 1]

针对多光谱图像与全色图像的融合,提出一种结合小波变换和稀疏表示的融合算法。该算法充分利用小波变换具有保持光谱信息这一优势,首先对多光谱图像进行IHS(intensity-hue-satuation)变换,然后对亮度分量和全色图像进行单层小波变换,得到对应的高低频系数。分析高低频系数的特征,对于不能认为是"稀疏"的低频系数采用稀疏表示进行融合;对于可以认为是"稀疏"的高频系数采用图像信息融合规则进行融合。最后进行小波逆变换和IHS逆变换得到融合结果。实验结果表明,该算法最大限度地保留了光谱信息,并提高了空间分辨率。

Liu T, Cheng J .

Remote sensing image fusion with wavelet transform and sparse representation

[J]. Journal of Image and Graphics, 2013,18(8):1045-1053.

Magsci     [本文引用: 1]

王斐, 梁晓庚, 崔彦凯 , .

非负矩阵分解和新轮廓波变换的图像融合

[J]. 计算机工程与应用, 2013,49(5):150-153.

DOI:10.3778/j.issn.1002-8331.1111-0555      URL     Magsci     [本文引用: 1]

为提高融合图像保留源图像的信息量和边缘特征,提出了非负矩阵分解和新轮廓波变换的图像融合算法。以具有尖锐频率局部化特征的新轮廓波对循环平移后的源图像进行分解;运用非负矩阵分解实现低通子带融合,采用能量方差测度函数和匹配度函数实现带通子带融合;对各子带信号重构并逆循环平移,得到融合图像。实验结果分析表明,该方法保留了更多的信息量和边缘细节特征,应用效果较好。

Wang F, Liang X G, Cui Y K , et al.

Image fusion combined with NMF and new contourlet transform

[J]. Computer Engineering and Applications, 2013,49(5):150-153.

Magsci     [本文引用: 1]

/

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发