第一作者: 马国锐(1979-),男,研究员,主要从事遥感应用、信息提取处理方面的研究。Email:mgr@whu.edu.cn。
提出了一种结合颜色直方图特征和LBP纹理特征的高分辨率遥感影像分割方法。首先对梯度图像进行双阈值联合的自适应标记,进而通过快速分水岭变换来获得初始分割结果,然后以一种结合颜色直方图特征和LBP纹理特征的区域相似性度为指标对初始分割区域进行合并获得最终的分割结果。通过在高分辨率遥感影像上的分割对比实验,证明了该方法能充分利用遥感影像的光谱和纹理信息,分割效果良好。
A novel segmentation method combining color histogram with LBP textural features for segmentation of high-resolution remote sensing images is presented. This method starts with an adaptive marker-based watershed algorithm to obtain an initial segmentation result, and the markers are constructed by dual-threshold joint segmentation of the gradient image. And then a regional similarity indicator combining color histogram with LBP textural features is adopted to guide regional merging procedure and obtain the final result. Comparative experiments on high-resolution remote sensing images have proved the effectiveness of the method.
图像分割是将影像分割为若干个互不重叠的区域, 这些区域内的像素在某种意义上具有共同的属性。它是由图像处理到图像分析的关键步骤, 合理的图像分割有助于更好地进行图像识别和理解[1]。基于数学形态学的分水岭算法是新发展起来的一种图像分割方法, 它来自于测地学上的测线重构, Beucher等最早将其应用于图像分割[2]。对于遥感影像而言, 分水岭分割具有特别的吸引力, 因为它可以以全局形式产生一个明确且闭合的区域, 并提供一个框架, 在该框架下, 针对特定的遥感应用, 用关于影像的先验知识来改善分割结果[3]。分水岭一般是在梯度影像上进行变换, 受原始影像中非规则灰度扰动和噪声的影响, 会造成对象的轮廓偏移, 并产生过多的伪局部最小值区域, 从而出现过分割现象[4]。特别是IKONOS和QuickBird等高分辨率遥感影像, 由于地物种类多、纹理丰富及存在大量噪声, 在利用分水岭方法分割时更容易出现过分割[5]。
针对传统分水岭分割所存在的过分割问题目前主要有以下3种改进方法: ①滤波, 如文献[6]利用小波多尺度分析的方法, 在低分辨率图像中进行分水岭变换, 从而在一定程度上抑制图像噪声和分水岭的过分割; ②标记分水岭分割, 如文献[7]将高斯低通滤波和概率统计相结合, 对梯度影像进行区域自适应阈值分割提取前景标记, 再进行标记分水岭分割, 缓解遥感影像的过分割; ③区域合并, 如文献[8]对分水岭分割获取的初始区域分别就区域面积和Fisher距离分两步进行区域合并, 以解决分水岭过分割问题。
本文提出一种结合颜色直方图和LBP纹理特征的分割法, 主要创新点在于分水岭变换时充分利用影像梯度的全局信息和局部信息来自适应地标记影像, 以缓解影像上的纹理显著区域如植被区域的过分割现象, 在后续的区域合并中, 通过度量区域纹理的显著水平, 结合颜色直方图和LBP纹理特征的区域相似性来指导初始分割区域的合并, 最后用高分影像的分割对比实验验证该方法的有效性。
本文方法的主要流程为: 首先在低通滤波处理后的影像上计算梯度, 并对获得的梯度图像进行自适应的标记, 通过快速分水岭变换获得初始分割结果, 然后将结合颜色直方图特征和LBP纹理特征的区域相似度作为指标对初始分割区域进行合并, 从而获得最终的分割结果。其整体流程如图1所示。
由于高分影像中一般存在大量噪声, 在影像分割之前都要进行平滑去噪预处理。鉴于高斯低通滤波器具有良好的滤波效果, 本文采用高斯低通滤波。
高分影像一般包含红、绿、蓝及近红外波段。就本文分割方法而言, 分水岭分割及后续区域合并中的LBP纹理特征计算都只需要影像的灰度信息, 而在颜色直方图特征统计中, 出于算法效率的考虑, 只利用了3个波段的信息。故这里只利用遥感影像的红、绿、蓝波段。又考虑到这3个波段之间的相关性较强, 且RGB颜色空间中的颜色差异不均衡, 难以通过距离来度量颜色的相似性[9]。而HSI在光照不匀的场景下, 可以有效区分不同颜色的物体[10]。因此, 本文分割方法均是在HSI色彩空间下进行。
采用基于梯度和标记相结合的分水岭分割, 首先采用Sobel算子在HSI色彩空间的I通道上进行梯度计算, 后对梯度影像进行标记获得标记影像。标记是影像上连通像素的集合, 标记的质量可直接影响到影像的分割效果。考虑到高分影像的特点, 采用一般的标记提取方法通常不能得到理想的标记影像, 对于某些地物如植被具有丰富的纹理, 其对象内部梯度值可能大于其他地物边缘处的梯度值, 若采用单一阈值来标记影像, 在纹理显著区域显然会产生严重的过分割现象。本文结合概率统计方法, 以梯度的统计信息来获得全局阈值和局部阈值来联合产生标记, 其标记算法定义为
Marker(i, j)=
h(i, j)=
式中: Marker=1表示前景点, 否则为背景点; g(i, j)为像素(i, j)处梯度值; h(i, j)为由全局阈值hglobal和局部阈值hlocal(i, j)联合确定的阈值; 全局阈值hglobal是影像梯度直方图的α 分位数, 每一个α 对应唯一的hglobal, 且α 值越大则hglobal越大, α 太小会造成hglobal太小, 从而造成过分割, 但若α 太大则hglobal也会过大, 遥感影像上的弱边缘或低对比度处将得不到分割, 造成欠分割。由此, 可以在α 偏大的欠分割影像上计算其每个区域内梯度直方图glocal的α 分位数, 从而获得每个区域内的局部阈值hlocal。对比遥感影像上不同地物区域可以看出, 地物细碎或内部纹理显著的区域如植被区域, 其梯度一般较高, 且梯度变化比较剧烈, 这时全局阈值hglobal必小于局部阈值hlocal, 标记选用hlocal在一定程度上缓解纹理区域的过分割; 而在地物内部光谱一致性较高的区域如水体区域, 其梯度相对较低, 且地物内部梯度变化平缓, 这时局部阈值hlocal可能会小于全局阈值hglobal, 标记将使用hglobal, 为了防止产生欠分割现象, 生成全局阈值hglobal的α 不能太大, 以确保弱边缘或低对比度处的准确分割。
获得标记影像后, 采用Meyer标记分水岭分割方法对影像进行标记分割, 但初始分水岭分割所得到的区域中存在若干小区域, 这些小区域一般是由噪声像素引起, 没有语义意义, 一般通过设定区域的面积的阈值来实现去除这样的小区域, 从而降低区域合并代价。
为顾及弱边缘或低对比度的地物, 标记时设定的阈值一般偏低, 因此初始分水岭分割结果中还存在过分割现象, 在后续处理中还需进行区域合并。而在遥感影像中, 既有纹理占优的图像区域, 也有亮度一致性程度较高的区域, 若采用单一特征进行分割具有较大的局限性, 探求一种能同时适应上述两类区域的特征表达方法显得特别重要[11]。本文定义了一种结合颜色直方图特征和LBP纹理特征的区域相似性度作为指标对初始分割区域进行合并。
1.4.1 颜色直方图特征
基于区域合并的图像分割方法中, 颜色直方图作为一种高效的区域颜色特征的描述子, 考虑到初始分割区域在大小和形状上差异较大, 但隶属同一个对象的区域颜色仍将保持较高的相似度, 具有更好的健壮性[12, 13]。采用颜色直方图特征来描述区域的颜色特征。考虑到影像庞大的颜色范围、算法的效率和统计特点, 这里将HSI每个颜色通道都量化为8个颜色等级, 那么每个区域仅包含个颜色特征, 这大大降低了存储和计算开销。用Histi表示区域Ri归一化的直方图特征, 选用Bhattacharyya相关系数来定义区域Ri和区域Rj之间的直方图相似性, 即
ρ (Ri, Rj)=
式中, His
1.4.2 局部二值模式纹理特征
LBP是一种计算局部窗口内像素的局部结构与灰度反差并采用统计的方法来描述纹理的算子[14]。该算子计算简单且纹理描述能力强, 在图像纹理分析中应用广泛[15]。LBP算子描述像素的局部结构信息, 以中心像素灰度为阈值, 对邻域像素二值分割为亮像元与暗像元, 并与等大小的权重模板卷积得到结构信息, 即
LBPP, R=
sP=s(gP-gC)=
式中: P为半径为R时邻域点的个数; gC和gP分别为中心点和邻域点灰度值。
原始LBP算法邻域像素权重值和位置固定对于纹理的方向较为敏感, 不断旋转邻域而得到一组LBP值, 并取其最小值作为最终的LBP值, 即具有了旋转不变性[14]。在HSI空间的各通道内分别计算LBP值得到LBP影像, 并统计区域的纹理特征, 将其量化并用Bhattacharyya相关系数来衡量区域之间的相似性.
1.4.3 特征融合
采用上述方法后会出现多特征问题。考虑到在遥感影像中, 对于纹理占优的图像区域如植被区域, 在衡量其区域相似性时, LBP纹理特征应该获得较大权重; 而在亮度一致性程度较高的区域如水域, 较大比重的颜色直方图特征可以更好地度量区域的相似性。为此, 需要对区域的纹理显著性强弱通过统计区域信息来自适应判断。在纹理占优区域内经常存在比较显著的不同方向和尺度的梯度响应, 而在亮度一致性程度较高的区域, 其内部梯度响应一般比较稀疏[16]。本文将归一化后的区域梯度向量的稀疏度作为判断区域的纹理显著性强弱的指标ω , 根据参考文献[17]中对向量的稀疏度的定义, 得出区域Ri的指标ω i为
ω i(g)=
式中: n为区域Ri梯度向量g的维度。若向量中有且仅有一个非零元素此时稀疏度最大, ω 为1; 若向量中所有的元素都非零且相等则ω =0; 其余情况下, ω 在0~1之间。可以看出, 区域纹理越显著则区域梯度向量的稀疏度越低, 即ω 越低。当计算区域Ri和区域Rj之间的相似度S(Ri, Rj)时, ω 取ω i和ω j中的大值, 即当一个纹理较显著区域和一个纹理较弱区域合并时, 取纹理较弱区域的ω 指标, 颜色直方图特征将获得较大的比重, 由此定义区域的相似度为
S(Ri, Rj)=ω · ρ C(Ri, Rj)+(1-ω )· ρ T(Ri, Rj) , (7)
式中, ρ C(Ri, Rj)和ρ T(Ri, Rj)分别为区域Ri和Rj之间的颜色直方图特征及LBP纹理特征的相关系数。可以得出, 区域Ri和Rj的相似度S(Ri, Rj)大小范围在(0, 1)区间, 区域之间颜色和纹理越相似, 其值越高。
1.4.4 区域合并准则
在获得区域对的相似度后, 采用双向最优的合并准则来指导区域合并。当所有的相邻区域对的相似度均小于阈值时, 则终止区域合并。考虑到分水岭初始分割结果中存在较多面积较小的区域, 将面积小于阈值的区域合并到与其颜色相关性最强的相邻区域中。
采用3幅遥感影像验证本分割方法的有效性, 其具体参数如表1所示。
| 表1 影像参数表 Tab.1 Parameter table of images |
实验影像在分割前均进行了高斯平滑预处理和色彩空间变换。各影像覆盖范围内的地物类型较为丰富, 包括植被、水体、建筑物和道路等, 可以充分地验证本分割方法对高分辨率遥感影像的效果。
实验包含3部分: 实验一是验证本文采用的全局阈值与局部阈值联合标记分水岭和只采用全局阈值标记的分水岭分割效果, 实验二是分析分水岭分割和区域合并时设置的阈值对分割结果的影响, 实验三是本文方法与商业遥感软件eCognition采用的多尺度分割方法的比较。
分别对3幅遥感影像进行双阈值联合标记分水岭与单阈值标记分水岭分割。实验中, 双阈值联合标记的欠分割区域是由梯度直方图的0.5分位数标记产生, 并去除区域面积在300个像元以内的小区域, 双阈值联合标记的局部阈值和单阈值标记的阈值均设定为梯度直方图的0.4分位数, 并去除区域面积在15个像素内的伪标记区域。图2展示了甲、乙、丙3幅影像在单阈值与双阈值联合标记下的分水岭分割不同结果, 2种标记方法分割结果的差异较大处用黄色椭圆标出。
| 图2 双阈值联合标记分水岭与单阈值标记分水岭分割结果比较Fig.2 Comparison between dual-threshold joint and single-threshold marker-based watershed segmentation results |
首先从分水岭分割获得的区域数目来看, 双阈值联合标记分水岭有更理想的表现, 其分割区域数目明显少于单阈值标记的分割区域数目, 仅就这3幅影像而言, 其区域数目相对减少了15%~22%, 缓解了分水岭分割的过分割现象, 降低了后续区域合并代价。其次, 从图2的黄色椭圆标记处可以看出, 双阈值联合标记分水岭相较单阈值标记分水岭区域数目的减少主要体现在遥感影像上相对而言梯度较高、且梯度变化比较剧烈的纹理显著区域, 如植被区域, 在该区域其局部阈值通常大于全局阈值, 在纹理显著区域, 双阈值联合标记效果更好。在梯度分布较低且比较平缓的区域, 其局部阈值可能低于全局阈值, 其标记是有全局阈值产生, 这2种标记方法标记的结果是一样的, 也说明双阈值联合标记并不会影响遥感影像中的弱边缘或低对比度处的分割质量。阈值联合标记分水岭相对于单阈值标记分水岭在一定程度上缓解了过分割问题, 在纹理占优区域上有效减少过分割。
分割的过程中主要涉及3个阈值: 分水岭分割时的欠分割分位数α 0 、分水岭分位数α 和区域合并时的区域相似度阈值s的设定, 合理的阈值应该既能有效地消减过分割区域, 又不影响影像弱边缘或低对比度处的分割。图3为不同α 0及α 分位数下的乙图分割结果, 图上椭圆处标出了部分差异较大的分割结果。
分析实验分割结果, 图3(a)中大部分地物都分割地比较破碎, 如图中(a)标记处的道路、(b)标记处的建筑物, 都产生了大量的过分割区域。图3(b)和图3(c)所示的分割结果相对图3(a)来说, 其建筑物和道路区域都分割得较为完整, 更接近地物的真实边缘, 但是在植被覆盖区域仍存在一些过分割的现象。而图3(d)中过分割现象大为减少, 但无法分割出少数弱边缘或与背景对比度低的地物, 如图中(c), (d)标记处的人工地物。
在α 0不变的情况下, α 越大, 标记影像的梯度阈值越小, 分割区域也相应变少。α 的取值太小, 会造成影像严重的过分割, 而取值太大, 会出现弱边缘或对比度较低的地物欠分割。仅就本图来说, α 取0.4是比较合理的选择。相对来说, α 0影像分割的影响不如α 强, α 0仅提供一个欠分割结果作为第二次分水岭分割时统计局部信息的基元。α 0的大小对应基元划分的精细程度, 若α 0太小, 则基元划分将过于精细, 将增加后续的计算量, 若α 0太大, 则基元划分过于粗糙, 使联合阈值标记发挥不了效果。
除了分水岭分割时的α 0和α 阈值外, 在后续的区域合并中需设定区域相似度阈值s, 图4为乙图在不同的相似度阈值s下的区域合并结果, 部分欠分割或过分割区域已用椭圆标出。
合理的相似度阈值能以较少的区域来准确地描述地物的边缘, 从实验结果看, 图4(a), (b), (c)中均存在个别的欠分割区域和过分割区域; 相对地, 图4(d)只存在轻微的过分割现象, 其合并效果更为理想。实验结果表明相似阈值s越小, 区域合并的效果就越好, 由于区域合并时除了极少部分小面积区域外均采用双向最优合并准则, 这一准则充分考虑区域的局部环境, 若两最相似的相邻区域的相似度大于阈值s则合并, 从这一点又从全局出发, 避免了区域的过度合并。但大部分满足双向最优的区域的相似度都较高, 故相似度阈值s并没有对区域合并结果造成很大的影响。
eCognition是德国Definiens Imaging 公司开发的, 首次将面向对象的思想应用于遥感分类中。其所用的多尺度分割方法除采用光谱特征外, 还将区域形状特征纳入到分割方案, 但在实现过程中并没有考虑纹理特征。这里为了更直观地体现本文方法的分割效果, 采用eCognition 8.0进行实验, 将eCognition的多尺度分割结果与本文方法的分割结果进行对比。这两种方法的分割结果如图5所示, 且这两种方法分割结果的部分过分割或欠分割处在图中已经用黄色椭圆标出。
| 图5 eCognition多尺度方法(左侧)与本文多尺度分割方法结果(右侧)的比较Fig.5 Comparison between the presented segmentation algorithm and multi-scale segmentation |
由对比图可知, 多尺度分割的尺度参数局限了影像的分割区域大小, 当遥感影像所覆盖的地物大小差别很大时, 为兼顾小面积地物的分割, 分割尺度一般对于大面积地物而言偏小, 便造成大面积区域的过分割, 如第一幅遥感影像的草地与建筑物的尺度差异很大, 草地出现了过分割, 如图5(a)所示; 而本文方法相对而言表现比较理想, 完整地将草地分割出来, 更为贴近实际边缘。对于纹理显著区域如植被, 多尺度分割更容易出现过分割现象, 而本文方法对于道路等平滑地物分割比较完整, 如图5(b)和5(f)所示。
从对比中可以看出, eCognition受尺度限制, 当影像覆盖范围内的地物尺寸差异不明显时凸显其优势, 但当地物大小差异明显时效果较差。在实验中发现eCognition容易对植被区域、道路等地物出现过分割。本文分割算法对于遥感影像上的大部分的地物如植被、水体、建筑物和道路等都能取得准确的分割结果。
1)本文提出的双阈值联合标记分水岭方法, 实现了根据全局和局部统计信息自适应地选择阈值来标记影像, 可有效缓解分水岭的过分割问题, 改善分割效果, 在遥感影像的纹理显著区域有较大的优势, 在区域合并时引入相似度概念来度量区域的纹理显著性水平, 根据区域统计信息实现了颜色直方图特征和LBP纹理特征的自适应组合。
2)实验结果显示该方法能充分利用遥感影像的颜色特征和纹理特征, 对于大部分的地物如植被、道路、建筑物和水体等都取得了较准确的分割结果。
3)本文的不足之处表现为分割结果仍然存在未能合并的小部分零碎纹理区域, 纹理区域分割合并还不十分完整, 可以考虑在本文方法的基础上引入形状、边缘等区域特征以进一步改善影像分割效果, 提高遥感影像的分割质量。
The authors have declared that no competing interests exist.
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|
| [17] |
|
| [18] |
|

