视频卫星影像的Bayer插值重建

doi:10.6046/gtzyyg.2019.02.08

视频卫星影像的Bayer插值重建

吴佳奇¹^,², 汪韬阳^,², 彭雨芬³, 张过⁴

1.辽宁工程技术大学测绘与地理科学学院,阜新 123000

2.武汉大学遥感信息工程学院,武汉 430079

3.湖北地信科技集团股份有限公司,武汉 430074

4.武汉大学测绘遥感信息工程国家重点实验室,武汉 430079

Bayer interpolation for video satellite images

WU Jiaqi¹^,², WANG Taoyang^,², PENG Yufen³, ZHANG Guo⁴

1.School of Geomatics, Liaoning Technical University, Fuxin 123000, China

2.School of Remote Sensing and Information Engineering, Wuhan University, Wuhan 430079, China

3.Hubei Geomatics Technology Group Stock Co., Ltd., Wuhan 430074, China

4.State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan 430079, China

通讯作者: 汪韬阳(1984-),男,副研究员,主要从事星载光学、SAR几何处理和卫星视频运动状态估计研究。Email:wangtaoyang@whu.edu.cn。

责任编辑: 陈理

收稿日期: 2018-11-12 修回日期: 2019-01-28 网络出版日期: 2019-06-15

基金资助:

国家重点研发计划项目“长时间序列气象卫星历史数据地理精定位技术研究”.  2018YFB0504900-05
国家自然科学基金项目“高分卫星视频运动目标检测与轨迹提取方法研究”.  91538106
“弱交会条件下顾及同轨约束关系的卫星影像区域网平差方法研究”共同资助.  41501503

Received: 2018-11-12 Revised: 2019-01-28 Online: 2019-06-15

作者简介 About authors

吴佳奇(1985-),男,博士研究生,主要从事遥感影像信息提取与识别研究。Email:jiaqiwu@126.com。。

摘要

视频卫星在成像过程中一般采用Bayer模板,地面处理时需要通过Bayer插值处理才可恢复全彩色的影像。针对视频卫星影像Bayer插值重建中容易出现拉链、噪点和边缘伪彩色等问题,提出一种改进的基于亮度、色度信号重建的滤波方法。首先,通过24张标准柯达影像训练得出Bayer插值重建的带通滤波器; 其次,通过带通滤波器提取色度信号,并根据Bayer模型获取初始的重建结果; 然后,在绿色空间中,利用梯度信息进行均值区域判断,并在均值和非均值区域中分别进行边缘方向插值和色差域中值滤波更新,有效减少均值区域的插值拉链和噪点现象; 最后,在新的色差域中进行红光、蓝光波段的导向插值和中值滤波更新,进一步提升插值精度。采用吉林一号01星和03星的4幅视频影像数据验证本文方法的有效性,结果表明与2种经典的Bayer插值方法相比,提出的改进方法在定性和定量评价上均最优,影像边缘更加锐利、清晰,无明显噪点和伪彩色现象,可用于卫星视频数据的后续处理和应用。

关键词： 视频卫星 ; Bayer插值 ; Bayer模型 ; 中值滤波 ; 边缘方向

Abstract

Video satellite capture color video data are obtained by using the single CMOS sensor with color filter array (CFA) Bayer pattern. To obtain the full color image sequences, researchers should perform the processing of Bayer image interpolation. Aimed at the interpolation of satellite video Bayer image, the authors propose a improved method based on the signal filter reconstruction of luminance and chrominance. Firstly, band-pass filters are used for extracting luminance and chrominance signal. And the initial reconstruction result can be obtained according to the Bayer spatial model. Moreover, median filtering in non-smooth region and edge direction interpolation in the smooth region are applied to the G-B or G-R difference band for updating the green band. In the end, the red band and blue band are also updated in the new G-B or G-R difference band. To verify the feasibility of the proposed method, the authors tested 4 video Bayer image of Jilin-1 01 and 03 and compared the obtained results with two classic methods. The experimental results show that method designed by the authors has the best comprehensive performance both in subjective evaluation and objective evaluation. The reconstructed image quality is good and has no obvious noise and pseudo-color effects; in addition, the edge is sharp and clear. The method can be used for satellite video further processing and application.

Keywords： video satellite ; Bayer interpolation ; Bayer model ; median filter ; edge direction

PDF (8729KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

吴佳奇, 汪韬阳, 彭雨芬, 张过. 视频卫星影像的Bayer插值重建. 国土资源遥感[J], 2019, 31(2): 51-58 doi:10.6046/gtzyyg.2019.02.08

WU Jiaqi, WANG Taoyang, PENG Yufen, ZHANG Guo. Bayer interpolation for video satellite images. REMOTE SENSING FOR LAND & RESOURCES[J], 2019, 31(2): 51-58 doi:10.6046/gtzyyg.2019.02.08

0 引言

随着近年来卫星对地观测技术的突飞猛进,对卫星影像的应用需求已从定期的静态普查向实时动态监测方向发展,利用卫星对全球热点区域和目标进行持续监测,获取动态信息已成为迫切需求。卫星视频可以直接、全面地获取实时动态信息,对遥感应用的新开拓和新发展有着重要意义^[1]。UrTheCast公司于2013年底和2014年初将2台相机安置在国际空间站上,其中IRIS相机在世界范围内首次能够获取高清彩色视频,空间分辨率为1.1 m^[2]。长光卫星技术有限公司于2015年10月发射商用卫星“吉林一号”视频01和02星,于2017年初再次发射升级改进的视频03星,“吉林一号”视频系列卫星其搭载的高空间分辨率视频相机,在国内首次实现了高清彩色视频影像的获取; 珠海欧比特公司于2017年6月15日发射了2颗视频卫星——OVS1A和OVS1B,同样具备卫星视频拍摄能力^[3,4]。卫星的视频相机获取高清彩色视频一般采用Bayer模板^[5]的成像方式,在相机成像系统中只采用一个CMOS传感器。相机拍摄时,在每一个像素位置只获取物理三基色(红、绿、蓝)其中一种分量,其他2种颜色被过滤掉。按照这种方式获取的影像是Bayer影像。Bayer影像可以减少三分之二的数据量,节省星上存储资源,减轻星地传输压力。但由于Bayer影像损失彩色信息,必须对其进行插值重建处理,恢复成全彩色影像后才能用于后处理和应用。Bayer插值重建的方法一般分为以下几种: 基本法^[6]、波段间相关法^[7]、边缘导向法^[8,9]、迭代法^[10]和滤波法^[11]等。一幅影像的细节主要体现在高频区域,高频区域附近存在较大的灰度突变,因此在Bayer插值重建时容易产生误差,导致影像信息流失和失真。但是,高频区域的明显灰度突变情况一般发生在一个方向上(水平、垂直或对角线),而与灰度突变方向相垂直方向的灰度变化是平滑的(低通),沿着该方向进行线性插值能够取得高精度的插值结果。边缘导向插值法利用插值像素与邻域、相邻波段的多尺度相关性特性,准确获取影像边缘方向,并沿着边缘方向进行插值,一般具有最好的插值效果和精度,但往往耗时较多^[12,13]。滤波法主要利用Bayer影像的频率信息,通过带通滤波分离高、低频信号,或采用滤波器重建全彩色的亮度、色度信号^[14],进而完成Bayer影像插值重建。滤波法主要针对影像频率域的处理,而非像素级,因此具有非常快的运行速度。经典的亮度色度多路分解重建滤波算法(least-squares luma-chroma demultiplexing,LSLCD)^[15]利用最小二乘法训练全彩色的标准影像集得到通用的高、低频带通滤波器,然后采用滤波重建彩色信号,该方法效果好且速度快。但训练出的带通滤波器无法适应所有频率情况,且影像都具有一定程度的频谱混淆,在滤波时无法完全区分和提取高、低频信号。尤其针对噪声多的卫星视频影像,容易在边缘附近的低频区域产生拉链和颗粒现象。此外,经典的三步优化插值法(three step demosaicing,TSD)^[16]采用带有权值的二阶拉普拉斯算子计算梯度,同时利用梯度差区分高、低频区域和边缘方向进行边缘导向插值,最后采用色差域的中值滤波优化重建结果。该方法能有效提升优化整体插值效果,但高频边缘区域仍不清晰、拉链和伪彩色现象有所残留。

通过对LSLCD和TSD方法研究可以得出,二者存在优势互补的特性。考虑卫星视频影像低频区域分布较多的特点,深入分析LSLCD和TSD的研究思路,本研究提出了一种基于亮度-色度信号滤波重建的边缘导向Bayer插值重建新方法,将LSLCD的信号滤波法与TSD的迭代优化处理和边缘导向方法思路相结合,通过引入低频区域的梯度判断,并进行相应的区域更新优化和边缘导向插值,有效解决了低频区域的拉链和边缘区域插值误差等常见问题,提升了插值重建效果和精度。

1 卫星视频影像Bayer插值重建基本原理1.1 信号滤波初始重建

全彩色影像可以被分解为亮度和色度信号,而亮度可表示为各分量与其加权系数的加权和^[17],公式为

(1)

I (x, y) = L + C

(2)

L = \sum_{i} p_{i} \cdot I_{i}

(3)

\sum_{i} p_{i} = 1, p_{i} > 0

式中: I为彩色影像; L为彩色影像的亮度; C为色度; p为加权系数; i为三基色(红、绿、蓝)颜色分量,i=1,2,3。

而Bayer影像在每个像素位置只保留一个颜色值,可以被表达为每个颜色分量按照Bayer模板进行降采样的结果,Bayer模板如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 Bayer模板

Fig.1 Bayer pattern

(4)

I_{CFA} (x, y) = \sum_{i} I_{i} (x, y) \cdot m_{i} (x, y)

(5)

m_{i} m_{j} = \{\begin{array}{l} 1, i = j \\ 0, i \neq j \end{array}

(6)

\sum_{i} m_{i} = 1

式中: $I_{CFA} (x, y)$ 为Bayer影像; $I_{i} (x, y)$ 为原始影像第i颜色波段; $m_{i} (x, y)$ 为正交降采样函数,根据空间位置(x,y)是否出现特定颜色而取值1或0; i和j表示不同基色。令式(4)中, $m_{i} (x, y) = p_{i} + m' (x, y)$ , $p_{i}$ 取值与式(3)相同, $m'$ 表示均值为0的波动函数,其取值可通过m和p确定。于是,式(4)可变换为

(7)

$I_{CFA} (x, y) = \sum_{i} I_{i} (x, y) [p_{i} + m' (x, y)] = \sum_{i} I_{i} (x, y) p_{i} + \sum_{i} I_{i} (x, y) m' (x, y)$ 。

又根据式(1)和式(4)可以得出,Bayer影像也可被分解为亮度和色度,其中Bayer影像的亮度与全彩色影像的亮度保持一致,因此Bayer影像亮度可用全彩色影像的亮度代替。Bayer影像可被分解为一个亮度信号和2个调制色度信号,得出Bayer模型为

(8)

I_{CFA} (x, y) = L + C_{1} {(- 1)}^{(x + y)} + C_{2} [{(- 1)}^{x} - {(- 1)}^{y}]

(9)

[\begin{array}{l} L \\ C_{1} \\ C_{2} \end{array}] = [\begin{array}{l} 1 / 41 / 2 1 / 4 \\ - 1 / 41 / 2 - 1 / 4 \\ - 1 / 40 1 / 4 \end{array}] \cdot [\begin{array}{l} I_{1} \\ I_{2} \\ I_{3} \end{array}]

式中L,C₁和C₂分别为全彩色影像的一个亮度和2个色度信号。进一步作傅里叶变换为

(10)

$F_{I_{CFA}} (u, v) = F_{L} (u, v) + F_{C_{1}} (u - 0.5, v - 0.5) + F_{C_{2 a}} (u - 0.5, v) + F_{C_{2 b}} (u, v - 0.5)$ 。

针对信号C₁,C₂_a和C₂_b设计滤波器为h₁,h₂_a和h₂_b,色度信号C₁分量在空间频率(0.5,0.5)处进行调制,而信号C₂_a和C₂_b分量在空间频率(0.5,0)和(0,0.5)处进行调制。滤波设计的基本原则为使得滤波重建的色度信号与原始信号的平方误差最小,其表达式为

(11)

h'_{X} = argmi n_{h} (C_{X} - I_{CFA} h_{X})^{2}

式中: $X \in (1,2 a, 2 b)$ ; C_X表示对应的色度信号。若已知一张全彩色影像,即可得到对应的C_X和I_CFA,进而根据式(11)可求得对应的3个滤波器h₁,h₂_a和h₂_b。为提高滤波器的准确度和普适性,将24张标准柯达影像作为参考进行训练,建立24个方程,从而利用最小二乘方法对滤波器进行平差优化。在平差计算时,滤波尺寸为11×11的结果最好^[18]。求得滤波所对应的频率响应如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 3个滤波器的三维频率响应

Fig.2 3D frequency response figure of the 3 filters

在求得滤波后,可以利用相应的带通滤波器获得Bayer影像的3个色度信号,进而可利用式(8)的Bayer模型重建全彩色影像。

1.2 基于低频区域判断的插值重建

在初始处理中,利用影像的高频色度信息进行重建,信号串扰的影响不能完全避免,导致边缘附近的低频区域容易产生拉链效应。一种推荐的优化方法是TSD方法中的色差空间中值滤波法^[16]。由于色差空间的平滑性,该方法可以很好地保留边缘信息、优化插值灰度值,并能去除噪点; 但也由于色差空间的平滑性,对低频区域的精化效果有限。本文在TSD方法的基础上,在绿色更新时,首先通过梯度判断区分高、低频区域,在低频区域采用边缘方向插值,在高频区域采用色差空间中值滤波; 红色(蓝色)更新时,在绿色空间更新优化的基础上,在新的色差空间中结合滤波和方向插值法做进一步优化处理,完成插值重建。

具体根据像素邻域及波段间的高相关性,利用水平、垂直和邻域3个梯度进行低频区域的判断。如图3的Bayer插值模板,数字代表像素位置,R,G和B分别代表该位置为红光、绿光或蓝光波段像素。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 Bayer插值模板

Fig.3 Bayer interpolation pattern

以R₇位置为例,引入二阶拉普拉斯算子,水平梯度 $δ H_{2}$ 为

(12)

δ H_{2} = |G_{6} - G_{8}| + |2 R_{7} - R_{5} - R_{9}|

式中││表示绝对值操作符。垂直梯度 $δ V_{2}$ 为

(13)

$δ V_{2} = |G_{3} - G_{11}| + |2 R_{7} - R_{1} - R_{13}|$ 。

邻域梯度 $δHV$ 为

(14)

$δHV = |(G_{3} + G_{11}) / 2 - (G_{6} + G_{8}) / 2 + (2 \times R_{7} + R_{5} + R_{9}) / 4 - (2 \times R_{7} + R_{1} + R_{13}) / 4|$

在获得3个梯度基础上,可以利用条件 $δ H_{2} < T_{1}, δ V_{2} < T_{1}, δHV < T_{2}$ 进行低频区域的判断。其中T₁和T₂为判断阈值。

对绿光波段的R₇位置进行更新时,首先进行低频判断,若满足条件,则认为该点处在低频区域,然后通过比较梯度确定插值方向,进行导向插值更新灰度值。

R₇位置的绿色灰度更新为

(15)

$\{\begin{array}{l} G_{7} = (G_{6} + G_{8} + R_{7}) / 2 - (R_{5} + R_{9}) / 4, δ H_{2} < δ V_{2} \\ G_{7} = (G_{3} + G_{11} + R_{7}) / 2 - (R_{1} + R_{13}) / 4, δ H_{2} \geq δ V_{2} \end{array}$ 。

若低频判断不满足条件,则说明该像素处在非低频区域,按照色差域的中值滤波进行更新,即

(16)

G_{7} = R_{7} + me d_{7} {(G - R)}_{3 \times 3}

式中med₇() ${_{3}}_{\times}_{3}$ 表示3×3窗口中值滤波后位置7处的值; G-R表示绿光波段和红光波段相减得到的色差影像。

绿光波段更新后,可以利用新的绿色空间进一步获得更为准确的新色差影像B-G和R-G。对蓝光波段插值时,需计算图3中的G₃,G₆和R₇这3个位置的像素值。针对蓝光波段的G₃位置插值可得

(17)

$B_{3} = G_{3} + me d_{7} {(B - G)}_{3 \times 3}$ 。

B₆同理于B₃。对蓝光波段的R₇位置插值时,首先利用求得的B₃和B₆更新蓝绿色差影像,然后利用新的色差影像的邻域相关性进行方向插值。色差影像的水平梯度 $δ H_{BG}$ 为

(18)

$δ H_{BG} = |B_{6} - G_{6} - B_{8} + G_{8}|$ 。

垂直梯度 $δ V_{BG}$ 为

(19)

$δ V_{BG} = |B_{3} - G_{3} - B_{11} + G_{11}|$ 。

于是,B₇为

(20)

$\{\begin{array}{l} B_{7} = (B_{6} - G_{6} + B_{8} - G_{8}) / 2 + G_{7}, δ H_{BG} < δ V_{BG} \\ B_{7} = (B_{3} - G_{3} + B_{11} - G_{11}) / 2 + G_{7}, δ H_{BG} \geq δ V_{BG} \end{array}$ 。

红色更新同理。

综上,本文方法的具体流程如图4所示。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 方法流程

Fig.4 Flow chart of the method

首先,通过滤波的方法提取Bayer影像的亮度、色度信号,利用Bayer模型式(8)得到插值重建的初始结果; 然后,在绿色空间中,融合3种梯度进行平滑区域判断,并利用色差域的中值滤波和导向插值分别进行高、低频区域的精化处理; 最后,在更新后的红绿和蓝绿色差空间中,再利用色差域的中值滤波和导向插值更新插值结果,得到全彩色影像。

2 实验结果与分析

2.1 实验数据

为了验证本文所提出的Bayer影像插值重建新方法,分别选取吉林一号视频卫星01星和03星共4组视频的部分帧进行实验。实验中低频区域判断阈值T₁和T₂的取值为经验值,一般取值1015之间。视频01星和03星的载荷参数对比如表1所示。

表1 吉林一号视频卫星01星和03星参数对比

Tab.1 Parameters comparison between Jilin-1 video satellite 01 and 03

参数	视频01星	视频03星
轨道高度/km	650	535
轨道倾角/(°)	98(太阳同步)	97.5左右(太阳同步)
侧摆能力/(°)	±45	±45
连续拍摄时长/s	120	120
成像模式	凝视和半凝视	凝视、半凝视、夜视和推扫
空间分辨率/m	1.13	<1
灰度量化/bits	8	8

新窗口打开| 下载CSV

对Bayer影像插值重建后得到的全彩色影像如图5所示,其中图5(a)和(b)为01星视频影像,影像大小为2 k×1.5 k; 图5(c)和(d)为03星视频影像,影像大小为4 k×3 k。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 Bayer插值重建结果

Fig.5 Bayer interpolation reconstruction results

从视频中分别截取了8个感兴趣区域,如图6所示,其中(a)—(d)为01星影像,(e)—(h)为03星影像。地物信息和类别丰富,包含了纹理密集和低频平滑区域,在这些区域进行Bayer插值重建时容易产生误差。其中图6(a)为农田,包含了低频区域和细条带边缘区域; 图6(b)的林地和图6(h)的房屋(小面积建筑群),主要包含了边缘密集区域和周边小面积低频区域; 图6(c)和图6(f)主要面向小面积目标(机动车)的重建; 图6(d)的街道和图6(e)屋顶主要包含了细条带高频边缘和周边的平滑区域; 图6(g)为水体边缘,包含了大范围低频区域和低频边缘的过渡。

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 实验影像ROI

Fig.6 Image ROIs

2.2 对比实验与分析

2.2.1 定性分析

因人眼对误差的敏感度较高,尤其对于纹理丰富、边缘拉链或低频区域中的噪声点等区域。因此,在图6各区域中分别截取了8个感兴趣区域(红框范围),通过视觉观察重建结果的细节,对插值方法作主观视觉评价,如表2所示。通过观察插值细节可以得出,TSD方法结果影像的整体质量较好,地物边缘一般较清晰,尤其是小面积地物类型,如表2 b林地中的树木、c和f中的机动车(小目标)、以及h中的房屋。但某些“长条带”的高频边缘区域显得不够清晰,如a中农田的地块边界和耕地垄沟、d和f中道路边界以及e中的长条状屋顶边缘。同时,TSD方法又存在较明显的拉链和颗粒现象,尤其是边缘附近的低频区域,比如d,f和h中红、蓝房屋顶区域内部的白色拉链现象较突出。产生该结果的主要原因是TSD方法边缘梯度及其方向的判断在一些边缘区域不够准确,在线性插值时误将灰度跳变的方向当作边缘方向,同时在利用其他波段插值时,处在边缘的点和噪声对低频区域产生了一定影响。而g中的河道边缘由于较平滑,并没有明显的模糊表现。LSLCD方法结果中,整体的边缘锐利效果优于TSD方法,地物轮廓更加清晰明显,可区分度和可识别度较高。但在高频边缘容易出现插值误差,比如e中的长条状屋顶边缘,与邻域灰度相比跳变较大,伪彩色的现象严重。此外,LSLCD方法处理结果的噪点现象整体较明显。产生该结果的主要原因是通过标准影像集样本训练得出的滤波器不能完全适合所有情况,尤其是细条带边缘区域及附近的平滑区域频谱混淆严重,使得重建色度信号有所丢失。本文提出的方法与上述2种经典方法相比较,在视觉效果上具有较明显的提升,能够有效消除大量的拉链、颗粒和噪点现象,同时又能保持边缘的锐利。如a和b中农田和林地的边缘清晰锐利,同时减少了平滑区域噪点现象; c和f中机动车轮廓完整明显,可识别度和对比度较高; 道路清晰,尤其是f中道路边缘附近拉链现象较少; d,e和h中建筑物边缘清晰、附近平滑区域几乎无颗粒现象,颜色饱满均匀; d中细条带道路边缘和e中细条带边缘伪彩色和附近拉链现象明显减弱,边缘锐化提升显著; g中水体边缘的区域噪声降低明显,整体更加平滑自然。此外,在实验结果中,空间分辨率小于1 m的视频影像Bayer插值重建效果整体优于空间分辨率为1.1 m的视频影像。

表2 不同方法重建细节对比

Tab.2 Comparison of reconstruction detail by different methods

新窗口打开| 下载CSV

2.2.2 定量分析

由于卫星视频的Bayer影像难以获取地面真值影像作为参考,本文采用了一种无参考的影像质量定量评价方法^[19]。模糊和噪声是影像质量退化的最重要因子,通过计算影像的模糊比和噪声比能够实现影像的质量评价,同时与主观差异平均判定(difference mean opinion score,DMOS)高度相关^[20]。模糊比 $Blu r_{ratio}$ 和噪声比 $Nois e_{ratio}$ 可分别表示为

(21)

Blu r_{ratio} = \frac{Blu r_{cnt}}{Edg e_{ent}}

(22)

Nois e_{ratio} = \frac{Nois e_{cnt}}{MN}

式中: $Blu r_{cnt}$ 和 $Nois e_{cnt}$ 分别表示模糊点和噪声点的总数; $Edg e_{ent}$ 表示边缘点的总数; M和N分别表示影像的行列数。模糊点、噪声点和边缘点的计算可参见文献[19],这里不再赘述。

选择图6中4幅Bayer插值重建结果影像进行无参考质量评价,将本文方法与经典TSD和LSLCD方法的评价结果对比如表3所示。

表3 Bayer插值重建的模糊比和噪声比对比

Tab.3 Blur/noise ratio comparison between Bayer interpolation reconstruction results

影像	模糊比			噪声比
影像	TSD方法	LSLCD方法	本文方法	TSD方法	LSLCD方法	本文方法
01星农田	0.904 5	0.938 0	0.907 7	0.400 8	0.397 4	0.407 7
01星林地	0.915 4	0.936 0	0.911 3	0.416 9	0.421 4	0.412 6
03星屋顶	0.986 7	0.989 4	0.986 2	0.418 4	0.421 3	0.422 3
03星机动车	0.939 8	0.950 0	0.912 2	0.391 2	0.389 5	0.391 0
平均值	0.936 6	0.953 4	0.929 3	0.406 8	0.407 4	0.408 4

新窗口打开| 下载CSV

模糊比和噪声比越低,表示图像质量越好。从表3可知,在模糊比方面,01星农田的TSD方法数值最低,本文方法的结果略高,但整体相当; 而在其他影像结果来看,本文方法的数值最低。主要得益于高频的修正和低频判断后的导向插值精处理,拥有最好的模糊比表现。而LSLCD方法在边缘附近的低频区域的训练拟合不佳,影响了边缘插值精度。在噪声比方面,3种方法各有优势,综合来看TSD方法结果最优,但优势不够显著,三者相差无几。总体而言,本文方法在噪声水平相当的前提下,模糊比表现最佳,有效保证了影像边缘的清晰程度,综合表现最好。

3 结论

本研究基于经典三步优化和多路信号滤波法,利用Bayer影像的亮度和色度信号重建全彩色影像初值,进而结合色差域中值滤波、导向插值等方法进行更新优化处理,解决Bayer插值重建局部低频区域效果不佳的问题。提出的方法可应用于视频卫星辐射预处理中的彩色重建环节。得出以下结论:

1)卫星视频低频区域占比大,地物间对比度较低,基于波段间的导向Bayer插值方法在边缘附近的低频区域容易产生噪点、拉链现象。

2)面向高清卫星视频影像的Bayer插值重建时,本文方法能有效提升影像整体质量。空间分辨率越高,插值重建效果越好。

3)本文方法中利用梯度进行低频区域判断并进行相应处理的思路,能够在保持边缘清晰的基础上,有效抑制拉链、伪彩色和颗粒噪声等现象,质量提升显著。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

张过

卫星视频处理与应用进展

[J]. 应用科学学报, 2016,34(4):361-370.

DOI:10.3969/j.issn.0255-8297.2016.04.001 Magsci [本文引用: 1]

<p>视频卫星通过一定时间范围内对目标的连续成像，实现对热点区域和目标的动态实时监测，近年来已成为遥感卫星发展的一大热点.从视频卫星数据应用的角度出发，叙述视频卫星发展现状，分析卫星视频数据应用面临的主要挑战和成因.重点介绍卫星视频数据的几何辐射定标、视频稳像、超分辨率重建、运动目标检测与跟踪、三维重建等关键技术的现状和发展趋势.在此基础上总结卫星视频的主要应用领域，并对卫星视频数据处理与应用进行了展望.</p>

Zhang

Satellite video processing and applications

[J]. Journal of Applied Sciences, 2016,34(4):361-370.

Magsci [本文引用: 1]

[2]

张过

. 高分辨率视频卫星标准产品分级体系[M]. 北京: 科学出版社, 2017.

[本文引用: 1]

Zhang

High Resolution Video Satellite Standard Product Staging Hierarchy[M]. Beijing: Science Press, 2017.

[本文引用: 1]

[3]

吴佳奇, 张过, 汪韬阳 , 等.

结合运动平滑约束与灰度特征的卫星视频点目标跟踪

[J]. 测绘学报, 2017,46(9):1135-1146.

[本文引用: 1]

Wu J

, Zhang

, Wang T

, et al.

Satellite video point-target tracking in combination with motion smoothness constraint and grayscale feature

[J]. Acta Geodaetica et Cartographica Sinica, 2017,46(9):1135-1146.

[本文引用: 1]

[4]

袁益琴, 何国金, 江威 , 等.

遥感视频卫星应用展望

[J]. 国土资源遥感, 2018,30(3):1-8.doi: 10.6046/gtzyyg.2018.03.01.

[本文引用: 1]

Yuan Y

, He G

, Jiang

, et al.

Application of earth observation system of video satellite

[J]. Remote Sensing for Land and Resources, 2018,30(3):1-8.doi: 10.6046/gtzyyg.2018.03.01.

[本文引用: 1]

[5]

Blu

, Thévenaz

, Unser

Linear interpolation revitalized

[J]. IEEE Transactions on Image Process, 2004,13(5):710-719.

DOI:10.1109/TIP.2004.826093 URL [本文引用: 1]

[6]

徐少雄, 张宇, 陈长征 , 等.

低复杂度Bayer图像色彩重建算法

[J]. 液晶与显示, 2016,31(2):179-184.

URL [本文引用: 1]

针对Bayer图像色彩重建效果越好的算法需要越多计算量, 占用越多硬件资源问题, 提出了一种低复杂度的色彩重建算法。首先使用Hamilton-Adam (H-A)算法对Bayer图像进行预插值并求出色差通道, 接着通过求出5×5模板内判断插值方向的综合梯度因子, 重新更新G通道缺失像元值, 最后利用已重建的G通道求出缺失的R和B通道颜色。柯达测试图仿真结果表明, 相对于其他算法, 所提出的算法在PSNR上有较大优势; 相机输出图像的色彩重建结果表明, 本文算法在判断插值方向上的准确率更高; 可抑制其他算法插值后出现的斑点现象, 图像边缘清晰、完整。平均每个像元, 本文算法只需要56次算数运算, 不需要乘法和除法运算, 减轻了FPGA算法实现中IP核的负担, 易于硬件实现, 完全满足项目需要。

Xu S

, Zhang

, Chen C

, et al.

Low complexity demosaicing algorithm for Bayer pattern image

[J]. Chinese Journal of Liquid Crystals and Displays, 2016,31(2):179-184.

[本文引用: 1]

[7]

Lukac

, Martin

, Plataniotis K

Demosaicked image post-pro-cessing using local color ratios

[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2004,14(6):914-920.

DOI:10.1109/TCSVT.2004.828316 URL [本文引用: 1]

[8]

赵亮, 张宇烽, 黄长宁 .

基于色差空间的低复杂度Bayer图像插值算法

[J]. 航天返回与遥感, 2016,37(3):128-138.

DOI:10.3969/j.issn.1009-8518.2016.03.015 Magsci [本文引用: 1]

覆盖在传感器表面的彩色滤波阵列(CFA)是CCD/CMOS 传感器相机获取图像信息的关键，经过CFA 后每个像素点只能获得红、绿、蓝三种颜色中的一种颜色分量。另外缺少的两种颜色分量，需要通过周围像素的值进行插值获得。针对现有插值方法出现的复杂度高、插值还原图像颜色失真和边缘拉链效应问题，设计了一种基于色差空间的低复杂度Bayer 图像插值算法。第一步利用5×5 模板内的像素值判断插值方向，并用颜色之间的相关性插值获得绿色分量。在分析红、绿、蓝三种颜色相关性的基础上，利用色差原理，先恢复出缺失的绿色分量，再利用恢复出的绿色分量的高频部分替换红（蓝）分量的办法，插值缺失的蓝色和红色分量。利用Matlab 程序，对5 幅标准测试图和CE5T1 试验飞行器自主相机拍摄的图片进行了仿真实验，比较了现有几种插值算法的复杂度和PSNR 值。结果显示，文章提出的算法在主观视觉和客观评价方面都具有良好的表现。同时，算法复杂度低，适合硬件实现和图像的实时处理。

Zhao

, Zhang Y

, Huang C

A low complexity interpolation algorithm for Bayer image based on color difference space

[J]. Spacecraft Recovery and Remote Sensing, 2016,37(3):128-138.

Magsci [本文引用: 1]

[9]

Duran

, Buades

Self-similarity and spectral correlation adaptive algorithm for color demosaicking

[J]. IEEE Transactions on Image Process, 2014,23(9):4031-4040.

DOI:10.1109/TIP.2014.2341928 URL [本文引用: 1]

[10]

Gunturk

, Altunbasak

, Mersereau R

Color plane interpolation using alternating projections

[J]. IEEE Transactions on Image Processing, 2002,11(9):997-1013.

DOI:10.1109/TIP.2002.801121 URL [本文引用: 1]

[11]

Korneliussen J

, Hirakawa

Camera processing with chromatic aberration

[J]. IEEE Transactions on Image Processing, 2014,23(10):4539-4552.

DOI:10.1109/TIP.2014.2350911 URL [本文引用: 1]

[12]

Pekkucuksen

, Altunbasak

Multiscale gradients-based color filter array interpolation

[J]. IEEE Transactions on Image Processing, 2013,22(1):157-165.

DOI:10.1109/TIP.2012.2210726 URL [本文引用: 1]

[13]

Sreegadha G

Image interpolation based on multi scale gradients

[J]. Procedia Computer Science, 2016,85:713-724.

DOI:10.1016/j.procs.2016.05.258 URL [本文引用: 1]

[14]

Dubois

Frequency-domain methods for demosaicking of Bayer-sampled color image

[J]. IEEE Signal Processing Letters, 2005,12(12):847-850.

DOI:10.1109/LSP.2005.859503 URL [本文引用: 1]

[15]

Jeon

, Dubois

Demosaicking of noisy Bayer-sampled color images with least-squares luma-chroma demultiplexing and noise level estimation

[J]. IEEE Transactions on Image Processing, 2013,22(1):146-156.

DOI:10.1109/TIP.2012.2214041 URL [本文引用: 1]

[16]

Su C

Low-complexity hybrid demosaicing for color filter arrays

[J]. Journal of the Chinese Institute of Engineerings, 2008,31(1):173-179.

DOI:10.1080/02533839.2008.9671371 URL [本文引用: 2]

[17]

王红卫

贝尔图像插值与无损编码研究

[D]. 太原:太原理工大学, 2010.

[本文引用: 1]

Wang H

Reseach on Image Interpolation and Lossless Compression Based on Bayer Pattern

[D]. Taiyuan:Taiyuan University of Technology, 2010.

[本文引用: 1]

[18]

Dubois

Filter design for adaptive frequency-domain Bayer demosaicking

[C]//IEEE International Conference on Image Processing.Atlanta:IEEE, 2006: 2705-2708.

[本文引用: 1]

[19]

Choi M

, Jung J

, Jeon J

No-reference image quality assessment using blur and noise

[J]. International Journal of Computer Science and Engineering, 2009,3(2):76-80.

[本文引用: 2]

[20]

Aguilar M

, Saldaña

, Aguilar F

, et al.

Comparing geometric and radiometric information from GeoEye-1 and WorldView-2 multispectral imagery

[J]. European Journal of Remote Sensing, 2014,47(1):717-738.

DOI:10.5721/EuJRS20144741 URL [本文引用: 1]

卫星视频处理与应用进展

2016

... 随着近年来卫星对地观测技术的突飞猛进,对卫星影像的应用需求已从定期的静态普查向实时动态监测方向发展,利用卫星对全球热点区域和目标进行持续监测,获取动态信息已成为迫切需求.卫星视频可以直接、全面地获取实时动态信息,对遥感应用的新开拓和新发展有着重要意义^[1].UrTheCast公司于2013年底和2014年初将2台相机安置在国际空间站上,其中IRIS相机在世界范围内首次能够获取高清彩色视频,空间分辨率为1.1 m^[2].长光卫星技术有限公司于2015年10月发射商用卫星“吉林一号”视频01和02星,于2017年初再次发射升级改进的视频03星,“吉林一号”视频系列卫星其搭载的高空间分辨率视频相机,在国内首次实现了高清彩色视频影像的获取; 珠海欧比特公司于2017年6月15日发射了2颗视频卫星——OVS1A和OVS1B,同样具备卫星视频拍摄能力^[3,4].卫星的视频相机获取高清彩色视频一般采用Bayer模板^[5]的成像方式,在相机成像系统中只采用一个CMOS传感器.相机拍摄时,在每一个像素位置只获取物理三基色(红、绿、蓝)其中一种分量,其他2种颜色被过滤掉.按照这种方式获取的影像是Bayer影像.Bayer影像可以减少三分之二的数据量,节省星上存储资源,减轻星地传输压力.但由于Bayer影像损失彩色信息,必须对其进行插值重建处理,恢复成全彩色影像后才能用于后处理和应用.Bayer插值重建的方法一般分为以下几种: 基本法^[6]、波段间相关法^[7]、边缘导向法^[8,9]、迭代法^[10]和滤波法^[11]等.一幅影像的细节主要体现在高频区域,高频区域附近存在较大的灰度突变,因此在Bayer插值重建时容易产生误差,导致影像信息流失和失真.但是,高频区域的明显灰度突变情况一般发生在一个方向上(水平、垂直或对角线),而与灰度突变方向相垂直方向的灰度变化是平滑的(低通),沿着该方向进行线性插值能够取得高精度的插值结果.边缘导向插值法利用插值像素与邻域、相邻波段的多尺度相关性特性,准确获取影像边缘方向,并沿着边缘方向进行插值,一般具有最好的插值效果和精度,但往往耗时较多^[12,13].滤波法主要利用Bayer影像的频率信息,通过带通滤波分离高、低频信号,或采用滤波器重建全彩色的亮度、色度信号^[14],进而完成Bayer影像插值重建.滤波法主要针对影像频率域的处理,而非像素级,因此具有非常快的运行速度.经典的亮度色度多路分解重建滤波算法(least-squares luma-chroma demultiplexing,LSLCD)^[15]利用最小二乘法训练全彩色的标准影像集得到通用的高、低频带通滤波器,然后采用滤波重建彩色信号,该方法效果好且速度快.但训练出的带通滤波器无法适应所有频率情况,且影像都具有一定程度的频谱混淆,在滤波时无法完全区分和提取高、低频信号.尤其针对噪声多的卫星视频影像,容易在边缘附近的低频区域产生拉链和颗粒现象.此外,经典的三步优化插值法(three step demosaicing,TSD)^[16]采用带有权值的二阶拉普拉斯算子计算梯度,同时利用梯度差区分高、低频区域和边缘方向进行边缘导向插值,最后采用色差域的中值滤波优化重建结果.该方法能有效提升优化整体插值效果,但高频边缘区域仍不清晰、拉链和伪彩色现象有所残留. ...

卫星视频处理与应用进展

2016

2017

结合运动平滑约束与灰度特征的卫星视频点目标跟踪

2017

结合运动平滑约束与灰度特征的卫星视频点目标跟踪

2017

遥感视频卫星应用展望

2018

遥感视频卫星应用展望

2018

Linear interpolation revitalized

2004

低复杂度Bayer图像色彩重建算法

2016

低复杂度Bayer图像色彩重建算法

2016

Demosaicked image post-pro-cessing using local color ratios

2004

基于色差空间的低复杂度Bayer图像插值算法

2016

基于色差空间的低复杂度Bayer图像插值算法

2016

Self-similarity and spectral correlation adaptive algorithm for color demosaicking

2014

Color plane interpolation using alternating projections

2002

Camera processing with chromatic aberration

2014

Multiscale gradients-based color filter array interpolation

2013

Image interpolation based on multi scale gradients

2016

Frequency-domain methods for demosaicking of Bayer-sampled color image

2005

Demosaicking of noisy Bayer-sampled color images with least-squares luma-chroma demultiplexing and noise level estimation

2013

Low-complexity hybrid demosaicing for color filter arrays

2008

... 在初始处理中,利用影像的高频色度信息进行重建,信号串扰的影响不能完全避免,导致边缘附近的低频区域容易产生拉链效应.一种推荐的优化方法是TSD方法中的色差空间中值滤波法^[16].由于色差空间的平滑性,该方法可以很好地保留边缘信息、优化插值灰度值,并能去除噪点; 但也由于色差空间的平滑性,对低频区域的精化效果有限.本文在TSD方法的基础上,在绿色更新时,首先通过梯度判断区分高、低频区域,在低频区域采用边缘方向插值,在高频区域采用色差空间中值滤波; 红色(蓝色)更新时,在绿色空间更新优化的基础上,在新的色差空间中结合滤波和方向插值法做进一步优化处理,完成插值重建. ...

贝尔图像插值与无损编码研究

2010

... 全彩色影像可以被分解为亮度和色度信号,而亮度可表示为各分量与其加权系数的加权和^[17],公式为 ...

贝尔图像插值与无损编码研究

2010

... 全彩色影像可以被分解为亮度和色度信号,而亮度可表示为各分量与其加权系数的加权和^[17],公式为 ...

Filter design for adaptive frequency-domain Bayer demosaicking

2006

... 式中:

X \in (1,2 a, 2 b)

; C_X表示对应的色度信号.若已知一张全彩色影像,即可得到对应的C_X和I_CFA,进而根据式(11)可求得对应的3个滤波器h₁,h₂_a和h₂_b.为提高滤波器的准确度和普适性,将24张标准柯达影像作为参考进行训练,建立24个方程,从而利用最小二乘方法对滤波器进行平差优化.在平差计算时,滤波尺寸为11×11的结果最好^[18].求得滤波所对应的频率响应如图2所示. ...

No-reference image quality assessment using blur and noise

2009

... 由于卫星视频的Bayer影像难以获取地面真值影像作为参考,本文采用了一种无参考的影像质量定量评价方法^[19].模糊和噪声是影像质量退化的最重要因子,通过计算影像的模糊比和噪声比能够实现影像的质量评价,同时与主观差异平均判定(difference mean opinion score,DMOS)高度相关^[20].模糊比

Blu r_{ratio}

和噪声比

Nois e_{ratio}

可分别表示为 ...

... 式中:

Blu r_{cnt}

和

Nois e_{cnt}

分别表示模糊点和噪声点的总数;

Edg e_{ent}

表示边缘点的总数; M和N分别表示影像的行列数.模糊点、噪声点和边缘点的计算可参见文献[19],这里不再赘述. ...

Comparing geometric and radiometric information from GeoEye-1 and WorldView-2 multispectral imagery

2014

Blu r_{ratio}

和噪声比

Nois e_{ratio}

可分别表示为 ...

〈

〉