卫星视频影像通常在距地表几百km的上空获取(如SkySat-1和Jilin-1视频卫星分别运行在450 km和650 km的太阳同步轨道上), 所以单帧影像的成像幅宽比普通视频大得多, 能够俯视拍摄地球表面更多的地物信息。而普通视频拍摄的场景范围非常有限(如校园某一角、人物和车辆等), 拍摄内容简单, 目标数目不多; 卫星视频的内容通常同时包括居民地建筑、河流和森林等。普通视频影像序列间的位移主要来自相机的运动, 这种运动与相机拍摄时的方式(如支点固定转动或整体移动等)有关; 卫星视频则与卫星系统稳定性和成像方式有关, 影像序列的运动情况具有一般性。与一般遥感卫星影像相比, 卫星视频影像的最大优势是具有时间特性, 能够拍摄地面运动物体(如图1(b)红框区域), 即静态、运动物体(如大面积的地表建筑与行驶的汽车、飞行的飞机)均能记录。虽然普通视频中也有静态和动态物体共存的现象, 但在整个成像幅宽内动、静态物体的比例会有很大不同, 这些不同使卫星视频影像比传统的静止影像更具备监测运动目标的应用潜力, 能够对环境进行持续监测。图1示出卫星视频与普通视频和遥感影像的对比, 表1列出3种影像的参数对比。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 卫星视频与普通视频和遥感影像的对比Fig.1 Comparison between satellite video and common video as well as remote sensing image

表1

Tab.1

表1(Tab.1)

表1 卫星视频与遥感影像和普通视频影像的区别 Tab.1 Difference between satellite video and common video as well as remote sensing image 参数 影像类型 普通视频影像 卫星遥感影像 卫星视频影像 拍摄时长 自定义 瞬间拍摄 单次拍摄90 s 影像幅宽 地面视频, 范围小 范围大, 几km 范围大, 几km 轨道形式 地面拍摄 太阳同步或 地球同步 太阳同步 轨道高度/km 地面一定高 度范围内 > 600 > 450 轨道倾角 自定义 与卫星相关 与卫星相关 重访周期 自定义 与轨道相关 与轨道相关 空间分辨率 变化灵活 较高 较高 帧数/fps 15~30 — 25或30

表1 卫星视频与遥感影像和普通视频影像的区别 Tab.1 Difference between satellite video and common video as well as remote sensing image

影像的超分重建是影像获取的逆过程, 是通过融合同一场景的多帧低空间分辨率(low resolution, LR)影像的互补信息进而生成高空间分辨率(high resolution, HR)影像或序列的过程^[4]。假定一个连续的动态场景在某个摄像时刻t, 由于拍摄场景和相机之间的相对运动在相机镜头中发生了扭曲形变, 同时在大气湍流H_atm(x, y)和相机镜头连续点扩散函数H_cam(x, y)的作用下变得模糊, 最后再经由CCD传感器将原始的连续场景离散化; 上述过程中因量化噪声等原因, 会使实际拍摄场景的影像信号进一步退化, 最终形成含有噪声的观测影像。上述过程可表达为

Y¯k=DkHkFkX¯+V¯k(k=1, ……, N), (1)

式中 : “ _” 代表矩阵的堆叠形式; 假设观测到的LR影像在成像过程中水平和垂直方向的降采样因子均为r, 那么Y_k则是第k帧低LR影像; X为HR影像; F_k为形变(平移、旋转等)矩阵; H_k为总体模糊矩阵; D_k为欠采样矩阵; V_k为加性噪声。理论上, 影像重建需要在去除V_k的基础上, 估计出H_k, D_k和F_k进行求解^[10]。本文主要讨论影像重建中的运动估计方法和重建方法。运动估计对超分重建结果影响较大, 一般来说, 运动估计结果是否精确, 决定了重建过程中LR影像的像元值在HR影像中的对应关系是否正确。同时, 目前的重建方法对卫星视频庞大数据的适应性都非常有限, 存在计算复杂度高、耗时长的问题, 因此寻找计算复杂度低、效率高、效果好的重建方法也是非常必要的。

视频影像通常由背景和前景构成, 背景是指在视频中静止的且具有摄像机运动特性的地物部分, 其运动是由摄像机运动造成的; 前景是指同时具有摄像机运动和自身运动特性的物体部分, 其运动是指相对于背景的运动。摄像机的运动是一种全局运动, 因此造成的影像变化是一种全局变化, 并且影像内各物体的变化是一致的; 而前景运动是摄像机和物体本身运动的综合体现, 亦称局部运动。图2说明了全局运动与局部运动的关系。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 全局运动与局部运动的关系Fig.2 Relationship between global motion and local motion

从视频影像来看, 既有静止物体又有运动物体, 就需要进行估计全局运动和局部运动。如何选择合适的运动估计方法是影像重建中的重要问题。由于在同时含有静止物体(如农田)和运动物体(如车辆)的卫星视频中, 一般在道路区域才有运动的车辆(如图1(b)中的红框区域), 而且车辆在整帧影像中的比例相对于静止物体也非常小。因此, 本文选择利用全局运动估计方法进行运动估计。但这样会使影像中运动物体的运动估计结果存在误差, 最终导致影像重建效果不佳。运动物体对全局运动估计结果的影响和方法的实用性是本节讨论的重点。在全局运动估计方法中, 是否能够达到亚像元位移的估计精度非常重要, 它决定了帧间非冗余信息融合程度的好坏。其中, Vandewalle方法和金字塔LK光流法是较为经典的亚像元运动估计方法。Vandewalle方法是一种频率域全局运动估计方法, 该方法利用傅里叶变换平移特性, 通过求解等式方程得到2帧影像间的平移参数; 而且即使是影像包含了混叠现象, 该方法利用影像的低频信息、通过相位差仍然可以计算出平移量。LK运动估计方法是空间域基于光流场的运动估计方法。若将空间运动物体在观测成像面上像元运动的瞬时速度称为光流, 则影像灰度模式的表观运动就是光流场。金字塔LK光流法实际上是在传统光流的基础上加入了分层计算的思想, 使该方法既能满足局部运动估计的准确性, 又能更好地适应影像帧与帧之间的大运动。本节主要讨论这2种方法如何进行卫星视频序列帧间平移参数的求解。但在理论上, 运动物体会对全局运动估计产生干扰, 降低其准确性。因此, 分别对影像序列中含有运动物体区域和静止区域进行运动估计, 以探讨上述方法对卫星视频超分重建的适用性。

本实验讨论卫星视频影像中包含运动车辆时, 运动目标对全局运动估计的影响。选取SkySat-1卫星含有不同运动目标的20帧视频影像为实验数据, 每帧影像大小为350像元× 150像元(图3)。在影像中选取了静止的建筑物区域(红色矩形区域, 160像元× 120像元)和运动车辆密集区域(黄色矩形区域, 140像元× 100像元)进行局部运动估计, 将其估计结果与全局运动估计结果进行对比。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 SkySat-1卫星视频影像序列Fig.3 Video image sequence of SkySat-1

实验方法是首先对整景影像的全局运动进行估计, 然后分别对红框和黄框内的区域进行局部运动估计, 进而分析全局和局部运动估计的关系。表2给出了Vandewalle方法和金字塔LK光流法对整景影像的运动估计结果。为了验证实验前、后运动估计结果的准确性, 实验中以第1帧影像为参考帧, 对其他视频帧序列进行亚像素位移的运动模拟, 以此模拟值作为参考真值(见表2中的“ 真值” 项)。

表2

Tab.2

表2(Tab.2)

表2 Vandewalle方法和金字塔LK光流法全局运动估计结果 Tab.2 Global motion estimation results of Vandewalle and LK optical flow methods(像元) 帧号 真值 Vandewalle方法 金字塔LK光流法 x y 估计值 均方根误差 估计值 均方根误差 x' y' x' y' 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 2 -0.21 -0.34 -0.30 -0.37 0.06 -0.20 -0.31 0.02 3 0.34 -0.15 0.34 -0.17 0.01 0.31 -0.14 0.02 4 0.48 -0.46 0.48 -0.47 0.01 0.45 -0.43 0.03 5 0.04 -0.61 0.04 -0.62 0.01 0.04 -0.55 0.04 6 -0.30 0.64 -0.31 0.63 0.01 -0.28 0.60 0.04 7 -0.70 -0.14 -0.70 -0.14 0.00 -0.64 -0.14 0.04 8 0.17 0.78 0.17 0.78 0.00 0.17 0.70 0.05 9 -0.48 -0.22 -0.48 -0.22 0.00 -0.44 -0.22 0.02 10 -0.91 0.54 -0.92 0.54 0.01 -0.85 0.52 0.04 11 0.51 -0.21 0.51 -0.20 0.01 0.46 -0.20 0.03 12 -0.51 0.62 -0.52 0.63 0.01 -0.48 0.58 0.04 13 -0.12 0.51 -0.12 0.52 0.01 -0.11 0.47 0.03 14 0.38 -0.25 0.38 -0.24 0.01 0.35 -0.24 0.02 15 -0.28 -0.57 -0.28 -0.56 0.01 -0.26 -0.54 0.03 16 0.47 0.58 0.49 0.61 0.02 0.48 0.53 0.04 17 -0.21 0.90 -0.19 0.93 0.03 -0.18 0.85 0.04 18 0.37 -0.34 0.39 -0.31 0.03 0.36 -0.32 0.02 19 0.41 0.34 0.45 0.39 0.05 0.44 0.33 0.03 20 -0.12 -0.12 -0.07 -0.08 0.05 -0.02 -0.08 0.08

表2 Vandewalle方法和金字塔LK光流法全局运动估计结果 Tab.2 Global motion estimation results of Vandewalle and LK optical flow methods(像元)

从表2可以看出, 2种方法的全局运动估计结果与真实值非常接近, 绝对误差最大值和均方根误差均不超过0.1个像元。可见对于上述2种方法, 密集的运动车辆对全局运动估计结果几乎没有影响, 说明当卫星视频序列影像包含少部分运动车辆时, 运动车辆对全局运动估计的干扰可以忽略。

表3为分别对建筑物区域和车辆密集区域进行运动估计的结果, 其中真值与表2中的相同。

表3

Tab.3

表3(Tab.3)

表3 建筑物区域和车辆密集区域运动估计结果 Tab.3 Motion estimation results of buildings region and dense vehicle region(像元) 帧号 建筑物区域运动参数 车辆密集区域运动参数 Vandewalle方法 金字塔LK光流法 Vandewalle方法 金字塔LK光流法 估计值 均方根 误差 估计值 均方根 误差 估计值 均方根 误差 估计值 均方根 误差 x' y' x' y' x' y' x' y' 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 2 -0.19 -0.32 0.02 -0.21 -0.33 0.01 -0.20 -0.33 0.01 -0.20 -0.30 0.02 3 0.29 -0.16 0.04 0.32 -0.15 0.02 0.29 -0.17 0.04 0.32 -0.14 0.02 4 0.40 -0.46 0.06 0.47 -0.45 0.01 0.42 -0.46 0.04 0.46 -0.43 0.03 5 0.03 -0.59 0.02 0.04 -0.58 0.02 0.04 -0.57 0.03 0.04 -0.55 0.04 6 -0.27 0.62 0.03 -0.30 0.61 0.03 -0.32 0.61 0.02 -0.30 0.60 0.03 7 -0.63 -0.14 0.05 -0.66 -0.16 0.03 -0.65 -0.10 0.04 -0.64 -0.13 0.04 8 0.15 0.74 0.03 0.18 0.70 0.06 0.09 0.64 0.11 0.17 0.70 0.05 9 -0.43 -0.22 0.03 -0.46 -0.24 0.02 -0.42 -0.14 0.07 -0.44 -0.21 0.02 10 -0.83 0.50 0.07 -0.87 0.54 0.03 -0.72 0.55 0.14 -0.87 0.50 0.04 11 0.43 -0.23 0.06 0.47 -0.20 0.03 0.37 -0.23 0.10 0.47 -0.20 0.03 12 -0.45 0.58 0.05 -0.48 0.60 0.02 -0.40 0.57 0.09 -0.50 0.57 0.04 13 -0.09 0.47 0.03 -0.11 0.46 0.03 -0.10 0.44 0.05 -0.11 0.46 0.04 14 0.32 -0.25 0.04 0.35 -0.24 0.02 0.28 -0.21 0.07 0.35 -0.24 0.02 15 -0.25 -0.56 0.02 -0.28 -0.55 0.01 -0.16 -0.38 0.16 -0.26 -0.53 0.03 16 0.42 0.53 0.05 0.43 0.59 0.03 0.24 0.37 0.22 0.49 0.53 0.04 17 -0.14 0.85 0.06 -0.19 0.88 0.02 -0.21 0.74 0.11 -0.18 0.84 0.04 18 0.33 -0.35 0.03 0.36 -0.31 0.02 0.27 -0.28 0.08 0.37 -0.32 0.02 19 0.39 0.32 0.02 0.39 0.37 0.03 0.22 0.25 0.15 0.46 0.32 0.04 20 -0.02 -0.08 0.07 0.07 -0.06 0.14 -0.09 -0.04 0.06 -0.01 -0.06 0.08

表3 建筑物区域和车辆密集区域运动估计结果 Tab.3 Motion estimation results of buildings region and dense vehicle region(像元)

由表3可知, 在车辆密集区域, Vandewalle方法估计精度不高, 估计值的绝对误差最大为第16帧的x方向, 估计值为0.24, 真值为0.47, 偏差-0.23个像元, 运动估计的均方根误差最大为0.16个像元, 可见在这一区域Vandewalle方法的估计精度受车辆的影响尤为明显。通过分析可知, 运动目标在影像中所占的比例是影响Vandewalle方法估计精度的一个主要因素, 本实验中车辆密集区域的车辆在影像中表现为高频信息, 对该区域而言, 低频信息仍然不足, 因此估计精度下降。相比之下, 金字塔LK光流法在这一区域的绝对误差最大为第20帧的x方向, 估计值为-0.01, 真值为-0.12, 偏差0.11个像元, 运动估计的均方根误差最大为0.08个像元, 可见比Vandewalle方法受车辆干扰小。在建筑物区域, 2种方法获得的估计值都与真值相近, 估计值的绝对误差最大为金字塔LK光流法的第20帧的x方向, 估计值为0.07, 真值为-0.12, 偏差-0.19个像元, 均方根误差均不超过0.14个像元, 都高于车辆密集区域的估计精度。但与整帧影像的运动估计结果相比, Vandewalle方法的估计精度有所下降。这说明影像尺寸对Vandewalle方法的估计精度有影响, 影像尺寸小相当于影像包含的信息少, 从而影响了运动估计精度。因此, 从Vandewalle方法本质上分析, 该方法的估计精度取决于参与运动估计的低频信息量的多少, 当低频信息足够时, Vandewalle方法精度较高; 低频信息不足时, 则估计精度较低。

图4给出了整帧影像、建筑物区域和车辆密集区域的运动估计值均方根误差。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同运动估计值均方根误差比较Fig.4 Comparison of RMS errors of different motion estimations

从图4可以看出, 对整帧影像而言, Vandewalle方法和金字塔LK光流法的全局运动估计精度都非常高, 估计值几乎未受到运动车辆的干扰, 其中Vandewalle方法的精度更高。在建筑物区域, 2种运动估计方法也能保证精度, 但金字塔LK光流法的估计精度超过了Vandewalle方法。在车辆密集区域, 金字塔LK光流法几乎不受车辆运动影响, 能够得到满足一定精度的估计值; 而Vandewalle方法受车辆干扰严重, 无法保证估计精度。

总结实验结果, 可得到以下结论:

1)全局运动估计对卫星视频超分重建具有普遍适用性。当视频影像包含运动汽车时, 其对全局运动估计的影响可以忽略; 即对于卫星视频影像而言, 少量运动目标对其全局运动估计的干扰可忽略不计。

2)当卫星视频影像包含运动目标时, Vandewalle方法需要足够的低频信息来保证估计精度; 当影像过小、低频信息不足时, Vandewalle方法无法保证精度; 但当低频信息充足时, 该方法在纯平移情况下精度非常高。

3)金字塔LK光流法估计精度稳定, 受限因素较少; 该方法的估计精度虽然有时不及Vandewalle方法, 但该方法不易受影像尺寸等因素的影响, 与Vandewalle方法相比更加稳定。

MSA方法是在SA方法基础上由Farsiu等^[9]提出的, p范数估计最小化准则的表达式为

X¯^=argminX¯∑k=1N‖DkHkFkX¯-Yk‖pp, (2)

式中1≤ p≤ 2。由文献[3]中的推导证明可知, p=1和p=2时实质上分别是LR影像经运动补偿和添零上采样后取各帧对应像元值的中值和均值的结果。当p接近1时, X ^的像元值是LR影像的像元加权均值, 但在中值附近的像元具有更大的权重系数; 当p接近2时, 权重的分配趋于均匀。该方法具有计算效率高、计算量小、鲁棒性好的优点。MSA方法根据影像重建的倍数建立HR影像格网, 按照各个LR影像在HR尺度下的整像元相对位移, 获取HR影像中各个位置的像元值。以重建倍数为2倍为例, 若用4帧LR影像重建1帧HR影像, 那么在像方坐标系下, 相当于1个像元变成了4个像元, 增加的3个像元值由其他LR影像提供。假设第1— 4帧影像的每帧第一个像元分别依次为A, B, C和D, 其相对位移关系如图5所示, 那么HR影像的第一个2像元× 2像元区域内的像元值可由这4个像元获得。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 MSA方法像元级分析示意图Fig.5 sketch map for MSA method with pixel level

MSA方法的基本过程如下: ①对LR影像进行运动估计, 得到运动参数MP_LR; ②根据重建倍数r建立HR影像格网; ③将LR尺度下的运动参数M_LR乘以重建倍数r、再四舍五入至整像元, 得到HR尺度下的运动参数MP_HR; ④将全部LR影像进行添零上采样(即按运动估计参数值, 将各帧LR影像像元值映射到HR影像格网, HR格网中没有LR影像对应像元的位置用0补充), 得到与HR同尺度的LR_UP; ⑤将LR_UP根据MP_HR在HR影像中对齐; ⑥对齐后, 对HR格网上每个位置上的像元值取中值, 作为该点的像元值。但当MSA方法要求LR影像序列满足一定平移关系, 而帧间平移关系不理想或估计不准确时, 会出现LR影像间互补信息缺失严重的情况, 得到的新影像部分位置的像元值为0, 在影像中会出现边缘信息不清晰、不连续的现象。

针对MSA方法存在的问题, 本文提出了NMSA算法。通过分析MSA方法的原理和实现过程可以看出, 该方法是从像方角度考虑增加像元数量来达到提高空间分辨率的目的。但从另一个角度来看, 由于同一场景成像区域相同, 因此像方像元数量的增加实质上就是物方像元尺寸的减小。如果直接从物方考虑, 分别建立LR影像坐标系xoy和HR影像坐标系XOY, 将2个坐标系的原点重合, 则能够根据重建倍数得到LR像元坐标与HR像元坐标之间的关系, 从而求解HR像元值。现假设重建倍数为r, 若利用n帧LR影像重建1帧HR影像, 那么以第1帧LR影像坐标系xoy的o点为原点, 按照LR影像帧间亚像元位移将其他(n-1)帧LR影像的像元复制在坐标系xoy下后, 建立HR影像坐标系XOY并与xoy重合; 通过将全部LR影像的像元坐标换算至HR坐标系XOY下, 即可根据寻找相同像元坐标来解得HR影像的各个像元值。

建立重建后的高空间分辨率格网后, 用容许误差和参估点计算重建像元值, 即

Nl(u, v)={fk(i, j):(X-Xj)2+(Y-Yj)2≤δ2}, (3)

式中: δ 为容许误差, 0< δ < 1; f_k(i, j)为第k帧LR影像中的第i行、第j列位置上的像元值; N_l(u, v)为选出的l个参估点; (X_i , Y_i)为HR影像待求点的像元坐标; (X, Y)为在容许误差范围内的全部像元点坐标。(X_i , Y_i)位置的像元值最终取l个参估点的中值。

图6为δ 范围内参估点选择示意图。以待求的HR格网点为中心, 蓝色圆圈半径为δ , 在圆内的LR像元点均为参估点。HR影像待求点的像元值取所有参估点像元值的中值。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 NMSA方法原理Fig.6 Schematic diagram of NMSA method

本组实验数据截取自Jilin-1卫星采集的彩色视频序列影像, 该序列影像的成像时间为2015年11月, 拍摄地点为墨西哥杜兰戈。

图7示出该视频序列影像中的第1、第5和第15帧影像。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 Jilin-1卫星原始视频影像序列Fig.7 Original video image sequence of Jilin-1 satellite

在影像重建中利用5帧重建1帧, 重建倍数为2, 容许误差为0.75, 采用金字塔LK光流法估计运动参数。

分别采用双线性插值、MSA和NMSA方法进行对比, 各方法的影像重建结果见图8和图9。

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 超分重建结果Fig.8 Results of super-resolution reconstruction

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 超分重建结果细节对比Fig.9 Comparison on details of super-resolution reconstruction results

对比图8和图9可以看出, 双线性插值、MSA方法和本文采用的NMSA方法在整体上都增加了影像的信息(图8(a)―(c))。但在细节上双线性插值法得到的边缘信息模糊, MSA方法得到的边缘信息比原始LR影像好, 但像元信息过渡不自然, 没有本文方法得到的边缘细节清晰(图9)。在对影像中地物的整体处理效果方面, 双线性插值结果改善不明显; MSA和本文方法在建筑物和车辆等局部信息上改善明显, 而本文方法得到的局部信息更清晰、改善效果更明显(图8(d)―(f))。

同时, 采用信息熵和信噪比(signal noise ratio, SNR)评价指标进行定量评价。信息熵是评价影像信息丰富程度的指标, 该值大小表示影像所包含的平均信息量的含量多少。信息熵值越大, 表明影像的信息量越丰富; 反之, 信息熵值越小, 表明影像信息较少, 损失了较多的细节信息。SNR是衡量影像质量高低的一个重要指标, 通过比较原始LR影像和重建后影像的SNR, 能够分析出重建后影像的质量是否有所提升。对比结果如表4所示。

表4

Tab.4

表4(Tab.4)

表4 超分重建影像客观指标评价 Tab.4 Objective evaluation indexs of super-resolution reconstruction images 评价指标 LR原影像 重建方法 双线性插值 MSA NMSA 信息熵 7.130 7.128 7.137 7.251 SNR 9.851 11.307 11.311 15.206

表4 超分重建影像客观指标评价 Tab.4 Objective evaluation indexs of super-resolution reconstruction images

从表4可以看出, 本文方法和MSA方法超分重建影像的信息熵和SNR值都有所提升, 但本文方法的提升幅度较大, 说明本文方法对原影像改善较明显, 影像质量得到了提高。