面向海岛海岸带区域的高分遥感影像智能化色彩增强方法
An intelligent color enhancement method for high-resolution remote sensing images of the coastal zone of an island
通讯作者: 王子珂(1994-),男,硕士,助理工程师,研究方向为岛礁遥感、水色遥感。Email:kzwhisky@foxmail.com。
责任编辑: 陈昊旻
收稿日期: 2023-01-16 修回日期: 2023-05-15
基金资助: |
|
Received: 2023-01-16 Revised: 2023-05-15
作者简介 About authors
赵彬如(1993-),女,硕士,助理工程师,研究方向为海岸带岛礁遥感、极地遥感。Email:
原始高空间分辨率海岛海岸带遥感影像往往存在影像灰暗、偏色、地物信息较难辨识的现象。为及时获取清晰、信息丰富、反差适中、亮度均匀的海岛礁遥感影像,满足日益强烈的海岛海岸带地理信息保障需求,针对海岛海岸带高空间分辨率遥感影像,该文提出一种深度学习结合改进直方图匹配的智能化调色方法。首先,进行数据重采样与自适应分块获取抽稀影像; 其次,应用MBLLEN网络对抽稀影像进行真彩色增强; 最后,采用改进直方图匹配的方法对原始影像进行色彩映射,最终得到符合人眼视觉、色彩一致、细节丰富的遥感影像。采用主客观相结合的方式综合评价调色效果,结果表明: 相较于Retinex,HE和MASK等常用调色方法,该文算法结果更符合人眼视觉、色彩一致、细节丰富,可有效改善海岛海岸带高空间分辨率遥感影像视觉效果,较好地保留原始地物的细节信息,大幅提升调色效率。
关键词:
The original high-spatial-resolution remote sensing images of coastal zones of islands often exhibit a gray tone, color cast, and indistinguishable surface feature information. In response to the increasing demand for geographic information security of coastal zones of islands, this study aims to obtain timely clear remote sensing images with rich information, moderate contrast, and uniform brightness for island reefs. Hence, it proposed an intelligent color enhancement method by combining deep learning with improved histogram matching for high-spatial-resolution remote sensing images of coastal zones of islands. First, data resampling and adaptive chunking were performed to obtain thinned images. Then, the MBLLEN network was applied to enhance the thinned images with true color. Finally, an improved histogram matching method was employed for color mapping of original images, obtaining remote sensing images with consistent colors and rich details conforming to human vision. The color-matching effects of these obtained remote sensing images were evaluated using both subjective and objective methods. The results show that compared to other commonly used color-matching methods like Retinex, HE, and MASK, the method proposed in this study yielded more satisfactory results characterized by consistent colors and rich details conforming to human vision. Therefore, the proposed method can effectively improve the visual effects of high-spatial-resolution remote sensing images of coastal zones of islands, effectively retain the details of original surface features, and significantly enhance color-matching efficiency.
Keywords:
本文引用格式
赵彬如, 牛思文, 王力彦, 杨晓彤, 焦红波, 王子珂.
ZHAO Binru, NIU Siwen, WANG Liyan, YANG Xiaotong, JIAO Hongbo, WANG Zike.
0 引言
随着经济全球化、一带一路、发展海洋经济等重大战略实施,我国海洋事业发展对海洋地理信息的服务保障需求从近岸向深远海、国内向全球转变,不但要求更广的数据覆盖空间,而且要求更快的数据获取与处理速度和更强的数据分析能力。海岛海岸带作为陆海交汇地带,是陆海经济区的核心和外海通道,具有重要的生态功能和资源价值[1]。因此,在经济全球化的新形势下,不论是面向自然资源管理,还是全球化发展战略需求,都对海岛海岸带地理信息数据的服务保障提出更高要求。遥感作为远距离观测技术,具有空间覆盖广、时间一致性好、获取周期短等诸多优点,是监测变化速度快且空间范围广的海岸带和可到达性差的海岛礁等目标的重要手段,也是获取高精度空间地理信息的基础。然而,原始遥感影像直方图分布区域往往较窄,影像灰暗,甚至有个别影像存在偏色现象,地物信息较难辨识,且国内外遥感数据源多,因传感器不同、时相不同以及地物光谱存在差异等因素,导致影像成果色彩差异大[2-3],影响影像判读准确性和影像图件产品质量[4]。因此,如何快速响应海岛海岸带空间地理信息需求,及时获取影像清晰、信息丰富、反差适中、亮度均匀的遥感影像,对于海岛海岸带监测具有重要意义[5]。
遥感影像的色彩增强技术主要解决由光学透镜成像的不均匀性、光照条件和大气条件等造成的影像内部亮度和反差不均匀的问题[6]。传统的色彩增强方法包括基于直方图均衡化方法[7]、基于Retinex理论对光照估计区域增强的方法[8]、MASK算法[9]、Wallis算法[10]、Retinex方法和同态滤波方法等。其中,基于直方图均衡化方法主要包括直方图均衡化(histogram equalization,HE),动态灰度直方图均衡(dynamic histogram equalization,DHE),不同区域/块的直方图均衡(block-based or bandwidth preserving DHE,BPDHE)等,该类方法通过对单个像素进行优化达到整体亮度和对比度提升,但是会忽略区域像素之间的关联导致细节信息被破坏; 基于Retinex理论对光照估计区域增强的方法主要包括单尺度(single scole Retinex,SSR),多尺度Retinex(multi scale Retinex,MSR),单幅图像反射与光照估计(single image reflection and illumination estimation,SRIE),局部可解释模型(local interpretoble madel-agnostic explorations,LIME)和中值滤波(median filter,MF)等,该类方法通过从图像光照信息中恢复图像亮度和颜色信息,考虑了图像区域特征的关联性,但对于不均匀光照会造成颜色失真伪影现象; MASK算法[9,11]、Wallis算法[10]和小波变换等方法则无法同时对影像进行亮度、对比度的增强和伪影去除、降噪等多种处理,想要得到更加符合人眼视觉特性的调色效果往往需要多种方法的组合重构,算法复杂度高,鲁棒性低。王密等[12]提出的MASK匀光算法取得了较好的效果,但是只适用于单张航空影像的调色; 袁修孝等[9]采用扩张吞噬算法改进MASK算法,以减小灰度变化剧烈区域的灰度失真问题; 李德仁等[11]利用Wallis滤波的方法使影像不同区域的亮度一致,但该方法可能会破坏影像的层次感; Orsini等[13]和Lam等[14]采用Retinex方法处理影像亮度反差不一致的问题,但该方法对于反差分布不均匀的影像处理效果并不理想; Seow等[15]采用同态滤波的方法削弱影像低频信息增强影像高频信息,但该方法对于彩色影像处理效果欠佳。值得注意的是,上述遥感影像色彩增强技术解决的都是单独影像内部色差问题,没有考虑相邻影像地物色彩的对应关系,导致影像间可能会存在色彩差异,对影像后续处理产生干扰[16-17]。
目前,海岛海岸带监测常用的高空间分辨率遥感影像数据包括WorldView系列、ZY系列和GF系列等,这些数据具有单景覆盖区域大、海域分布广、地物相对简单等特点,多数影像存在亮度低、色彩不均衡、时相差异显著等问题[18]。常用的调色方法主要借助PS等专业图像处理软件,由作业员根据个人经验和先验知识,采用拉伸处理、曲线调整等方法人工完成色彩调整[17],调整后的影像虽然色彩层次分明、目视效果佳,但是往往会造成色彩细节损失,且费工费时、劳动强度大,存在一定的主观性[7]。随着遥感影像空间分辨率提高和动态监测需求增强,遥感影像数据量呈几何级数增加,给传统的人工处理方法带来巨大挑战。深度学习具有端到端训练优势,可以整体处理影像的低照度、低对比度、噪声、伪影等问题,不需要分步处理,且能够保持多幅影像增强后的色彩统一,可以大幅提升遥感影像调色效率,使高空间分辨率遥感影像自动化批量调色成为可能。目前基于深度学习的色彩增强模型主要有LLNet,LLCNN,Retinex-Net,MBLLEN,DRBN和RRDNet等。
本文针对海岛海岸带高空间分辨率遥感影像,提出了一种深度学习结合改进直方图匹配的智能化调色方法。该方法首先通过数据重采样与自适应分块获取抽稀影像; 然后应用MBLLEN网络对抽稀影像进行真彩色增强; 最后采用改进直方图匹配的方法对原始影像进行色彩映射; 最终得到符合人眼视觉、色彩一致、细节丰富的遥感影像产品。
1 研究区概况及数据源
1.1 研究区概况
研究区选择琉球群岛冲绳群岛中的大型岛屿久米岛(图1)。久米岛位于西太平洋的第一岛链,四周环海,西北距中国大陆直线距离约571 km2,西距中国赤尾屿直线距离约217 km,西南距中国台湾岛直线距离约为498 km,是日本极具战略意义的岛屿之一。岛屿总面积约59.11 km2,周长约53.31 km,岛上分布有居民地、耕地、沙滩、植被、岩石、道路,地物类型十分丰富,具有鲜明的海岛海岸带区域地理特征。
图1
1.2 数据源及其预处理
研究数据选择WorldView-2卫星遥感影像数据,其中包括1.85 m空间分辨率的多光谱影像和0.46 m空间分辨率的全色影像。多光谱影像包含Red,Green,Blue,NIR1,RedEdge,Coastal Blue,Yellow,NIR2共8个波段。选定的研究区范围包含相邻4幅WorldView-2数据,以其作为实验数据来进行调色对比实验。为保证实验效果,调色处理前对影像统一执行辐射校正、FLAASH大气校正和几何纠正等预处理。
2 研究方法
针对海岛海岸带高空间分辨率遥感影像数据特点,研究方法主要分为3个步骤: 首先,基于大幅宽、大数据量的遥感影像特性,对原始影像进行下采样和自适应分块,获得抽稀影像,以降低影像数据量; 然后,应用MBLLEN网络对抽稀影像进行真彩色增强与拼合,获得增强后的抽稀影像; 最后,采用混合直方图匹配对原始影像进行色彩映射,并对色彩增强后的抽稀影像进行上采样复原,结合复原后的影像对混合直方图匹配后的影像进行色阶补偿,得到符合人眼视觉、色彩一致的高空间分辨率遥感影像。具体流程如图2所示。
图2
2.1 影像下采样与自适应分块
由于高空间分辨率遥感影像的幅宽广、数据量大、地物分布不均匀,工程化应用过程中直接对原始数据进行色彩增强处理不仅耗时耗力,而且对计算机性能要求极高。为此,针对海岛海岸带遥感影像进行一定比例的下采样抽稀处理,并根据重采样比例进行影像的自适应分块(图3)。该方法可以在压缩数据量的同时保留原始色彩信息,提高影像调色效率。
图3
影像下采样比例的确定以处理后影像中最小感兴趣地物单元存在且可辨为原则,分块数量则依下采样比例确定。具体做法是: 首先,采集原始影像上的n个微小地物作为样本(样本为矩形),取每个矩形样本的行列数最小值求得样本面积,计算n个样本面积与影像上可辨的最小地物尺寸
式中
2.2 基于MBLLEN的抽稀影像真彩色增强
图4
MBLLEN舍弃MSE和MAE损失函数,采用新的损失函数,相对常用的MSE和MAE能够更丰富的表达图像的特征,损失函数Loss具体公式为:
式中: LS为结构损失,可以改善影像的模糊、伪影和畸变等;
由于经过正射校正后影像有效区域为不规则四边形,背景值会干扰影像整体色彩,因此需要设置背景值不参与损失计算,即
式中G(i,j)为图像在(i,j)处的坐标值,当(i,j)属于背景区域
由于输入MBLLEN影像经过切分处理,且经过MBLLEN增强后会丢失影像的地理信息,所以需要对输出结果进行地理信息的恢复和拼接。
2.3 改进直方图匹配的原始影像色彩映射
经过前面2个步骤实现了抽稀影像的真彩色增强,接下来的关键是如何将该结果映射到原始遥感影像上,以间接实现对高空间分辨率遥感影像的调色。传统的直方图匹配方法可以将原始影像灰度值范围映射到指定的灰度直方图上,使原图的直方图变成指定形状的直方图以实现色彩映射[20-21]。然而,由于色彩突变问题的存在,直方图匹配后的影像容易出现颜色分块失真和过曝问题[22],尤其是对于影像上存在大范围海水的海岸带海岛礁遥感影像,失真色块和噪点现象更为突出。本文采用混合直方图匹配[23]结合色阶补偿的方法进行色彩映射,可以有效弥补直方图匹配过程中造成的色彩损失,实现抽稀影像增强色彩在高分辨率影像上的高度复现。具体过程如下:
1)计算原始影像It的直方图Ht和经过真彩色增强后的抽稀影像(以下简称“参考影像”)Is的直方图Hs,并计算各自的累积直方图Ft和Fs,对于参考影像的任意灰度is∈[0,255],在原始影像中确定一个与其对应的灰度it∈[0,255],得到直方图匹配的映射曲线M,即
2)对原始影像直方图的0~255个灰度值按照对应的灰度值个数进行重排序,使其满足:
计算重排序后的直方图
3)对排序后的灰度值,筛选出像素个数小于总像素比例为T的对应的灰度值,反推出相应位置的原始影像灰度值作为直方图噪声像素,并去除噪声像素,得到映射曲线TH,即
4)存在部分空缺区,针对映射曲线去噪产生的空缺区间,采用先直线连接再曲线平滑的方式得到优化后映射曲线Mb,利用Mb对原始影像和参考影像进行色彩映射,获得映射后影像IC。其任一位置(m,n)对应的灰度值IC(m,n)为:
5)对参考影像进行上采样,得到复原后参考影像IA,统计复原后参考影像与映射后影像IC在RGB3个波段上的直方图HC和HA,按照以公式利用IA对映射后影像IC进行色阶补偿,弥补混合直方图匹配后的色阶损失,得到色彩增强的高分辨率遥感影像。公式为:
2.4 定量评价指标
式中:
峰值信噪比PSNR计算方式为:
式中: M为调色后影像中灰度最大值; I'为原始影像灰度化后影像。
信息熵H计算方式为:
式中:
色彩丰富度C计算方式为:
式中: σrg,σyb和μrg,μyb分别为rg和yb的方差和均值。
3 结果与分析
3.1 实验结果
3.1.1 数据下采样与自适应分块
根据实验采用的硬件性能,确定模型最大输入尺寸为2 048像素。采集原始影像最小感兴趣地物色彩单元,类别主要包括建筑物、交通设施、土地等(图5),对地物色彩单元进行尺寸统计,根据公式求得实验数下采样比例为1/8,输入MBLLEN的尺寸为512像素×512像素。
图5
3.1.2 抽稀影像真彩色增强
基于PASCAL VOC数据集,对MBLLEN进行训练,训练时模拟弱光条件合成的影像作为标记影像。原始影像与合成的弱光照影像组成数据对,模拟弱光的条件分别为: Gamma矫正和Peak值为200的Poisson噪声,进行网络端到端的训练,得到训练后的模型。将重采样之后的影像导入训练好的MBLLEN模型中,得到真彩色增强后的结果,并对输出结果进行地理信息恢复,处理过程如图6所示。
图6
图6
抽稀影像真彩色增强效果对比
Fig.6
Contrast of true color enhancement effect of thinning image
从图6中可以看出,基于MBLLEN的弱光增强网络可以同时进行亮度、对比度增强,可以有效避免多种不同增强算法叠加的不稳定,减轻在参数选择中对经验值的依赖,具备更好的普适性,针对含有大片水域的海岸带岛礁影像,其水域色彩也能保持整体一致,偏色现象较少。
3.1.3 原始影像色彩映射
图7
图7
高分辨率影像调色前后结果对比
Fig.7
Comparison of results before and after high resolution image tinting
图8-1
图8-1
区域1色阶补偿前后影像及直方图
Fig.8-1
Images and histograms before and after color scale compensation in some areas
图8-2
图8-2
区域1色阶补偿前后影像及直方图
Fig.8-2
Images and histograms before and after color scale compensation in some areas
从图8中可以看出,利用传统直方图匹配方法获得的复原影像,房屋等部分地物出现色彩畸变,直方图累积频率曲线出现锯齿状,部分灰度被淹没,存在一定的色阶损失,而利用色阶补偿方法处理后的影像,其效果明显优于传统直方图匹配结果,在完成色彩映射的同时保留了影像的色彩细节信息。
3.2 影像色彩质量评价
3.2.1 主观目视评价
研究选用10名有经验的遥感影像调色专业人员对影像调色结果进行主观目视评价,主要观察: ①影像中的房屋、道路是否存在过饱和现象; ②海水、林地等是否存在严重的色彩畸变; ③裸露的岩石、土地等是否存在色调不一致、过度曝光现象。综合所有人员的评价结果得出以下结论: Retinex算法调色影像中海水存在严重色彩畸变,大片林地颜色过暗; HE算法调色影像中海水颜色过浅,房屋、道路出现过饱和现象; Mask算法调色影像过暗,亮度低,地物无法清晰辨别; 本文算法调色影像目视效果良好,拼合后的整体影像不存在拼合处色彩跳变和相同地物色彩不一致的现象,较之其他3种算法具有明显的优越性。
3.2.2 客观定量评价
采用2.4节的指标对各算法调色结果进行定量评价,各指标统计结果如表2所示。
表2 不同算法调色结果评价指标统计
Tab.2
影像名 | 方法 | 均值 | 标准差 | 色彩丰富度 | 变异系数 | 信息熵 | 峰值信噪比 |
---|---|---|---|---|---|---|---|
影像1 | 原始 | 31.921 | 27.800 | 5.000 | 87.100 | 6.017 | — |
Retinex | 74.010 | 44.540 | 13.411 | 60.193 | 7.331 | 16.241 | |
HE | 132.320 | 66.883 | 20.112 | 50.541 | 7.191 | 7.972 | |
Mask | 38.792 | 23.684 | 8.422 | 61.042 | 5.773 | 24.013 | |
本文算法 | 88.050 | 56.421 | 25.615 | 64.086 | 7.434 | 12.993 | |
影像2 | 原始 | 27.700 | 27.429 | 5.212 | 99.038 | 5.611 | — |
Retinex | 60.122 | 42.781 | 10.313 | 71.152 | 7.722 | 18.822 | |
HE | 121.603 | 61.734 | 19.153 | 50.763 | 7.321 | 8.650 | |
Mask | 22.592 | 19.681 | 6.930 | 87.114 | 6.171 | 25.530 | |
本文算法 | 82.638 | 62.723 | 26.338 | 75.900 | 7.827 | 13.830 | |
影像3 | 原始 | 30.262 | 22.010 | 1.700 | 72.720 | 5.770 | — |
Retinex | 61.795 | 41.362 | 11.202 | 66.932 | 7.520 | 16.330 | |
HE | 122.326 | 60.911 | 20.411 | 49.792 | 7.190 | 8.011 | |
Mask | 23.202 | 15.646 | 6.353 | 67.411 | 5.382 | 25.582 | |
本文算法 | 85.531 | 58.442 | 23.370 | 68.333 | 7.400 | 12.892 | |
影像4 | 原始 | 34.710 | 28.105 | 11.511 | 80.963 | 6.143 | — |
Retinex | 77.172 | 45.872 | 14.882 | 59.444 | 7.331 | 18.420 | |
HE | 142.331 | 68.830 | 23.122 | 48.362 | 7.691 | 7.990 | |
Mask | 41.162 | 23.090 | 8.821 | 56.102 | 5.653 | 26.612 | |
本文算法 | 90.351 | 63.892 | 27.270 | 70.713 | 7.773 | 12.671 | |
拼合后影像 | 原始 | 30.216 | 26.383 | 6.881 | 79.665 | 5.897 | — |
Retinex | 68.673 | 43.009 | 12.177 | 65.110 | 7.430 | 17.071 | |
HE | 136.377 | 64.113 | 20.091 | 49.989 | 7.200 | 8.003 | |
Mask | 35.535 | 20.587 | 7.689 | 72.213 | 5.962 | 25.451 | |
本文算法 | 86.721 | 60.080 | 25.556 | 68.839 | 7.509 | 13.156 |
通过分析各指标数据,可以看出: 影像亮度方面,HE算法均值较高,较原始影像提高了4倍以上,峰值信噪较低,偏高,表现为影像上海水、林地等大片地物出现过度曝光情况; Mask算法和Retinex算法均值偏低,峰值信噪比偏高,表现为与原始影像最相似,整幅影像偏暗,地物无法清晰辨别; 本文算法均值和峰值信噪比适中,在提升影像亮度的同时尽量保持了与原始影像的一致性。影像色彩方面,Mask和Retinex算法标准差和色彩丰富度较低,表现为影像色彩较为集中,对比度较低,颜色不够丰富; HE算法标准差较之本文算法较高,反差对比更加明显,但是色彩丰富度不及本文算法。影像细节方面,本文算法变异系数和信息熵明显高于其他3种算法,说明本文算法信息更丰富,细节损失更少。
4 结论
面向自然资源管理和全球化发展战略的地理信息保障需求,针对海岛海岸带高空间分辨率遥感影像,提出了一种基于深度学习结合改进直方图匹配的智能化调色方法,并采用主客观相结合的方式综合评价其调色效果。主要结论如下:
1)针对不同业务需求,基于最小感兴趣地物单元确定影像下采样比例,通过对抽稀影像的真彩色增强,间接获取原始高分辨率调色结果,大大缩减了影像调色时间。
2)采用混合直方图匹配将增强后的抽稀影像与原始影像进行色彩映射,通过去噪和映射曲线优化来消除传统直方图匹配存在的过度曝光和色块问题,并通过复原影像进行色阶补偿,使原始影像经过映射后色彩更真实细腻。
3)与Retinex,HE和MASK等传统调色方法相比,本文算法不仅有效提高了影像亮度和对比度,而且较好地保留了原始地物的细节信息,显著提高了影像的色彩质量。
下一步,将基于本文算法继续开展优化设计,并探索将其在高空间分辨率航空影像或其他地物类型区域的适用性。
参考文献
粤西海岛海岸带典型地类SPOT-5影像解译标志
[J].
Interpretation marks of SPOT-5 image on typical target types of islands and coastal zone in western Guangdong
[J].
基于链接突触计算网络的遥感图像对比度增强算法
[J].
Contrast enhancement algorithm of remote sensing images based on linking synaptic computation network
[J].
基于色彩恒常理论的多光谱图像真彩色复原技术
[J].
True color restoration of multispectral image based on color constancy
[J].
面向大规模02C卫星影像的色彩处理技术
[J].
Color consistency processing technology of large-scale 02C satellite images
[J].
基于直方图匹配的多源遥感影像匀色研究
[J].
Research on color uniforming for multi-source remote sensing images based on histogram matching method
[J].
From Retinex to automatic color equalization:Issues in developing a new algorithm for unsupervised color equalization
[J].
改进的航摄影像Mask匀光算法
[J].
Improved Mask dodging algorithm for aerial imagery
[J].
用于单幅影像匀光的Wallis算法
[J].
Wallis algorithm for single image dodging
[J].
光学遥感影像的自动匀光处理及应用
[J].
Auto-dodging processing and its application for optical RS images
[J].
一种数字航空影像的匀光方法
[J].
A method of removing the uneven illumination for digital aerial image
[J].
A modified retinex for image contrast enhancement and dynamics control
[C]//
Combining gray world and retinex theory for automatic white balance in digital photography
[C]//
Ratio rule and homomorphic filter for enhancement of digital colour image
[J].
A cost-effective line-based light-balancing technique using adaptive processing
[J].
Review of remotely sensed geoenvironmental monitoring of coastal zones
[J].
MBLLEN:Low-light image/video enhancement using CNNs
[C]//
多视点视频中基于局部直方图匹配的亮度和色差校正
[J].
Luminance and chrominance correction for multi-view video using overlapped local histogram matching
[J].
基于非下采样Contourlet变换系数直方图匹配的自适应图像增强
[J].
Adaptive image enhancement based on NSCT coefficient histogram matching
[J].
基于高斯平滑直方图匹配的图像间匀光算法
[J].
Uniform light between images based on Gaussian smooth histogram matching
[J].
Measuring colorfulness in natural images
[J].
/
〈 |
|
〉 |
