结合随机擦除和YOLOv4的高空间分辨率遥感影像桥梁自动检测

doi:10.6046/zrzyyg.2021130

结合随机擦除和YOLOv4的高空间分辨率遥感影像桥梁自动检测

孙宇^,¹, 黄亮^,¹^,², 赵俊三¹^,³^,⁴, 常军⁵, 陈朋弟¹, 成飞飞¹

1.昆明理工大学国土资源工程学院,昆明 650093

2.云南省高校高原山区空间信息测绘技术应用工程研究中心,昆明 650093

3.智慧矿山地理空间信息集成创新重点实验室,昆明 650093

4.云南省高校自然资源空间信息集成与应用科技创新团队,昆明 650211

5.自然资源部第一大地测量队,西安 710054

High spatial resolution automatic detection of bridges with high spatial resolution remote sensing images based on random erasure and YOLOv4

SUN Yu^,¹, HUANG Liang^,¹^,², ZHAO Junsan¹^,³^,⁴, CHANG Jun⁵, CHEN Pengdi¹, CHENG Feifei¹

1. Faculty of Land Resource Engineering, Kunming University of Science and Technology, Kunming 650093, China

2. Surveying and Mapping Geo-Informatics Technology Research Center on Plateau Mountains of Yunnan Higher Education, Kunming 650093, China

3. Key Laboratory of Geospatial Information Integration Innovation for Smart Mines, Kunming 650093, China

4. Spatial Information Integration Technology of Natural Resources in Universities of Yunnan Province, Kunming 650211, China

5. The First Geodetic Surveying Brigade of Ministry of Natural Resources, Xi’an 710054, China

通讯作者: 黄亮(1985-),男,副教授,硕士生导师,主要研究方向为遥感影像变化检测、影像分割及农作物精细提取。Email:kmhuangliang@163.com。

责任编辑: 李瑜

收稿日期: 2020-11-30 修回日期: 2020-11-30

基金资助:

国家自然科学基金项目“南方山地城镇建设用地与变化的坡度梯度效应研究”(41961039)
云南省应用基础研究计划面上项目“基于全卷积神经网络的多源遥感影像变化检测”(2018FB078)

云南省高校工程中心建设计划共同资助

Received: 2020-11-30 Revised: 2020-11-30

作者简介 About authors

孙宇(1996-),女,硕士研究生,主要研究方向为遥感影像目标检测。Email: sunyu_kust@163.com。

摘要

桥梁作为典型且重要的地面目标,是交通运输线路的咽喉,对桥梁进行自动检测具有十分重要的社会和经济意义。深度学习已成为桥梁检测新方式,但对云雾遮挡的桥梁检测精度较低。针对该问题,提出了一种结合随机擦除(random erase, RE)数据增强和YOLOv4模型的桥梁目标自动检测方法,首先统计数据集中目标的尺度范围,利用k-means聚类获得锚框尺寸; 然后通过RE与Mosaic数据增强相结合的方法模拟云雾遮挡的情况; 接着采用YOLOv4网络对经增强后的数据集进行训练; 最后采用平均精度(mean average precision, mAP)评估实验结果。实验结果表明,提出方法的mAP为97.06%,比YOLOv4提高了2.99%,其中被云雾遮挡的桥梁平均检测准确度提高了12%,验证了提出方法的有效性及实用性。

关键词： 深度学习; 目标检测; 高分影像; 桥梁检测; YOLOv4网络

Abstract

As a typical and important ground target, the bridge is the vital passage between transportation lines, so automatic detection of a bridge is of great social and economic significance. Deep learning has become a new way of bridge detection, but the detection accuracy for bridges obscured by cloud and mist is low. In order to solve this problem, an automatic bridge target detection method combining Random erase (RE) data enhancement and the YOLOv4 model is proposed: firstly, the scale range of the target in the data set is determined, and the candidate frame size is obtained by K-means clustering; secondly, the cloud obscuration is simulated by a combination of RE and mosaic data enhancement; thirdly, the enhanced data set is trained by YOLOv4 network; and finally, the mean Average Precision (mAP) is used to evaluate the experimental results. The experimental results show that the detection accuracy obtained by mAP is 97.06%, which is 2.99% higher than that of traditional YOLOv4, and the average detection accuracy of bridges obscured by a cloud is improved by 12%, which verifies the effectiveness and practicability of the proposed method.

Keywords： deep learning; object detection; high spatial resolution remote sensing image; bridge detection; YOLOv4 network

PDF (7326KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

孙宇, 黄亮, 赵俊三, 常军, 陈朋弟, 成飞飞. 结合随机擦除和YOLOv4的高空间分辨率遥感影像桥梁自动检测[J]. 自然资源遥感, 2022, 34(2): 97-104 doi:10.6046/zrzyyg.2021130

SUN Yu, HUANG Liang, ZHAO Junsan, CHANG Jun, CHEN Pengdi, CHENG Feifei. High spatial resolution automatic detection of bridges with high spatial resolution remote sensing images based on random erasure and YOLOv4[J]. Remote Sensing for Land & Resources, 2022, 34(2): 97-104 doi:10.6046/zrzyyg.2021130

0 引言

桥梁因其地理位置的特殊性和功能的不可替代性在军事和民事上都有着重要的地位,因此对桥梁进行自动检测有着重要的社会价值^[1]。高空间分辨率遥感影像已成为目标检测重要技术手段,但例如采用基于彩色特征的桥梁识别方法^[2]、基于先验知识的桥梁检测方法^[3]等传统检测方法鲁棒性差,难以适用于高空间分辨率遥感影像桥梁检测任务。基于深度学习的目标检测方法在船舶^[4]、飞机^[5]、路面交通标志^[6]和桥梁^[7]等目标检测中的优越性能已得到有效验证,但需要大量训练样本,且对于光学遥感影像中云雾遮挡的桥梁检测有一定局限性。因此,对小样本数据集下云雾遮挡桥梁检测具有重大研究意义。

目前对于高空间分辨率遥感影像桥梁检测的方法主要分为两类。一类是基于图像处理的传统方法。Lomenie N等^[8]结合空间关系准则检测高分影像中的桥梁,该方法错检率低,但漏检率较高; 杨浩等^[9]结合遥感图像的成像特点识别桥梁目标,但是此算法只针对水域上的桥梁,对于陆地上桥梁的检测不能达到很好的效果; 陈爱军^[10]提出了一种基于极化圆周SAR图像的路上桥梁检测方法,解决了传统桥梁检测方法需要基于河流提取结果才能实现桥梁检测的问题。第二类是基于深度学习的目标检测方法。Chen L等^[7]提出了基于平衡和注意力机制的SAR图像桥梁自动检测网络,极大提高了检测精度。但是利用深度学习对光学遥感影像的桥梁进行检测的相关报道较少。针对传统方法泛化能力差、鲁棒性低的问题,基于深度学习^[11]的目标检测算法逐渐兴起,其主要分为两类: 一类是将目标检测过程分为特征提取和目标定位两部分的两阶段目标检测算法,如R-CNN^[12],Fast R-CNN^[13],Faster R-CNN^[14]等; 第二类是将特征提取和定位一体化处理的单阶段目标检测算法,如SSD^[15],YOLO系列^[16⇓-18]等。YOLOv4^[19]将分类和回归在同一深度卷积网络中实现,训练过程简单、占用物理空间小,与其他算法相比具有更高的检测精度。

上述算法仍存在一些未能解决的问题: ①传统桥梁检测方法大多针对河流水体设计特征,对于陆地上桥梁或干涸水域上的桥梁检测效果差; ②YOLOv4方法预设的锚框尺寸根据自然图像公开数据集中的目标聚类得到,由于遥感影像与自然图像存在较大差异,其尺寸较大,背景复杂,且待测目标尺度分布范围广,因此预设锚框的尺寸并不完全适用于遥感影像目标检测任务; ③利用深度学习的桥梁检测方法需要大量的训练样本,对于小样本数据集的训练和检测具有一定难度。④遥感影像成像条件各异,存在目标被云雾遮挡的现象,以往的目标检测方法没有充分考虑到这种情况,导致检测结果不理想。

针对以上问题,本文提出结合随机擦除和YOLOv4的高空间分辨率遥感影像桥梁自动检测方法: 首先,采用YOLOv4目标检测方法对桥梁数据集进行训练并检测,以解决传统方法的人工设计特征难以适用于多场景下桥梁检测任务的问题; 然后采用k-means聚类方法,统计高空间分辨率遥感影像梁数据集中所有目标的尺寸,并进行聚类分析,得到适合于遥感影像桥梁目标检测的锚框; 再引入随机擦除(random erase, RE)数据增强方法,在遥感影像上随机选择矩形区域并擦除; 最后,对擦除后的影像进行训练,这样既能扩充数据集,又能解决云雾遮挡桥梁检测精度低的问题,以此提高检测精度。

1 研究方法

为了解决训练数据较少,且传统方法对于被云雾遮挡目标检测精度低的问题,本文首先统计数据集中目标的尺度分布范围,利用k-means聚类方法匹配合适的锚框尺寸; 然后用RE与Mosaic数据增强方法相结合对训练数据集进行预处理; 再利用YOLOv4网络训练处理后的数据集; 最后对检测结果进行精度评价。具体技术路线如图1所示。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 技术路线图

Fig.1 Flow chart of proposed method

1.1 数据集及尺度统计

1.1.1 数据集介绍

本文数据集采用第四届“中科星图杯”高分遥感图像解译软件大赛提供的高分辨率可见光图像中桥梁目标自动识别数据集^[20]。该数据集中共包含2 000张由高分2号所拍摄的遥感影像,影像大小分为668像素×668像素及1 001像素×1 001像素2种,分辨率为1~4 m,每幅图像包含至少一个桥梁目标,其中涵盖铁路桥、公路桥、公铁两用桥、人行桥、运水桥等类型的桥梁。数据集样本示例如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 数据集样本示例

Fig.2 Sample data set

1.1.2 尺度统计

高空间分辨率遥感卫星成像过程因受环境条件的影响,生成的影像内容复杂,不同时段的影像辐射差异大,且目标尺度分布不均匀。因此同一尺寸的预定义锚框难以满足不同尺度桥梁检测的需求。YOLOv4预设了9个锚框,大小为Anchor box=(12,16; 19,36; 40,28; 36,75; 76,55; 72,146; 142,110; 192,243; 459,401)分别针对76×76,38×38以及19×19这3个不同的尺度进行检测。以上锚框尺寸是根据VOC数据集目标框聚类得到的,但是并不适用于所有类型的目标检测任务。

为了充分统计桥梁数据集中目标的尺度范围,本文使用k-means聚类方法,对数据集中的2 000张高空间分辨率遥感影像进行统计。将所有桥梁的尺度分为9个类,首先随机选择数据中心的9个点作为质心; 然后将与之靠近的点进行分类; 不断迭代更新这9个点的值,直到这9个点的值不再变化为止; 最后分别设置为预定义锚框的大小。表1为k-means聚类所得的预测框尺度。

表1 k-means聚类结果

Tab.1 The results of k-means

序号	1	2	3	4	5	6	7	8	9
x	19	24	28	36	55	64	108	116	200
y	16	76	34	173	25	56	382	37	129

新窗口打开| 下载CSV

1.2 数据增强

当模型中参数相对于训练样本过多时,就会发生过拟合现象,从而降低模型的泛化能力。遮挡是影响模型泛化能力的关键因素。现用于桥梁检测模型的训练数据集较小,且部分影像中含有被云雾遮挡的桥梁。因此实现不同层次的遮挡不变性是解决这一问题的有效方法。为了使桥梁的某些部分被云雾遮挡时,模型仍然能够从整体结构中将其正确检测出来,本文引入了RE数据增强,与YOLOv4本身的Mosaic数据增强相结合以扩充原有数据集并模拟桥梁被云雾遮挡的情况。RE数据增强^[21]随机选取影像上的一个矩形区域,只遮挡部分对象,能够维护对象的整体结构,且将被擦除区域的像素值重新赋值为随机值,亦可看作给图像添加了块噪声。该方法能够有效加大训练难度,防止过拟合,在一定程度上提高泛化能力。利用RE数据增强方式主要是模拟遮挡场景,应用在桥梁检测中即可模拟桥梁被云雾遮挡的情况,与YOLOv4本身的Mosaic数据增强相结合,使网络具有更好的鲁棒性。

图3为RE数据增强流程图。影像中随机选择一个矩形区域 $I_{e}$ ,并用随机值擦除其内部像素。假设训练影像大小为 $w \times h$ ,影像面积 $s = w \times h$ 。其过程如下: ①初始化 $I_{e}$ ,设其面积为 $s_{e}$ ,其中 $\frac{s_{e}}{s}$ 在最小值 $s_{1}$ 和最大值 $s_{2}$ 之间随机初始化,即 $\frac{s_{e}}{s} \in (s_{1}, s_{2})$ ; ② $I_{e}$ 宽高比 $r_{e}$ 在最小值 $r_{1}$ 和最大值 $r_{2}$ 之间随机初始化,即 $r_{e} \in (r_{1}, r_{2})$ ; ③ $I_{e}$ 的宽高分别为 $w_{e} = \sqrt{s_{e} / r_{e}}$ , $h_{e} = \sqrt{s_{e} \times r_{e}}$ ;④在影像上随机选取一点 $P (x_{e}, y_{e})$ ,在该点展开 $I_{e}$ ,如果 $w \geq w_{e} + x_{e}$ 且 $h \geq h_{e} + y_{e}$ ,那就设定 $I_{e} = (x_{e}, y_{e}, x_{e} + w_{e}, y_{e} + h_{e})$ 作为选定的矩形区域; ⑤否则重复上述过程,直至取到合适的矩形区域 $I_{e}$ 。对于选定的矩形区域 $I_{e}$ ,其内部的像素是[0,255]内的随机值。其中,w为影像的宽; h为影像的高; s为影像的面积; $I_{e}$ 为随机擦除矩形; $w_{e}$ 为擦除矩形的宽; $h_{e}$ 为擦除矩形的高; $s_{e}$ 为擦除矩形的面积; $s_{1}$ 和 $s_{2}$ 分别为 $\frac{s_{e}}{s}$ 的最小值和最大值; $r_{1}$ 和 $r_{2}$ 分别为 $\frac{w_{e}}{h_{e}}$ 的最小值和最大值; $x_{e}$ 和 $y_{e}$ 分别为影像上随机点P的横坐标和纵坐标。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 随机擦除数据增强流程图

Fig.3 The flow chart of random erase data augmentation

随机擦除的优势可以概括为以下几点:

1)随机擦除过程是在一个连续的矩形区域上操作、没有舍弃任何像素值,不会引起信息丢失,目的是使模型对噪声和遮挡具有更好的鲁棒性。

2)随机擦除可以在不改变原有学习策略的情况下应用于基于卷积神经网络的目标检测任务。

3)可以作为现有数据增强方法的补充,与其他数据增强方法相结合,能进一步提高目标检测性能。

1.3 YOlOv4网络结构

YOLOv4^[19]是由Bochkovskiy等于2020年提出的单阶段目标检测网络,该网络的主干为CSPDarknet53,由5个CSPnet^[22]模块组成,每个CSPnet模块前面都是大小为3×3,步长为2的卷积核,可以起到下采样的作用,因此大小为608像素×608像素的输入图像被逐步下采样为19×19的特征图。CSPDarknet53解决了因梯度信息重复导致的推理计算过高的问题,增强了CNN的学习能力,使得网络在轻量化的同时保持准确性,且能有效的降低内存成本及计算瓶颈。SPP模块使用不同尺寸的滑动窗口对上一个卷积层获得的特征图进行采样,分别合并得到的结果,就会得到固定长度的输出; FPN层自顶向下传达强语义特征,而包含2个PAN结构的特征金字塔则自底向上传达强定位特征,两者结合,从不同的主干层对不同的检测层进行特征聚合,进一步提高特征提取的能力。

1.4 CIoU_Loss模型

遥感影像中的桥梁存在着多桥密集并行的现象,并行桥梁之间的锚框会有所重叠,非极大抑制过程会剔除部分锚框导致漏检,采用CIoU能够有效解决这一问题。寻常的IoU_Loss无法直接优化预测框和真实框没有重叠的部分,CIoU将目标与锚框之间的重叠区域、中心距离、宽高比都考虑进去,使得目标回归更加稳定,不会出现训练过程中发散等问题。如图4所示,c为预测框b与真实框b^gt的最小外接矩形的对角线距离; d为预测框与真实框中心点之间的距离。IoU为预测框和真实框面积交集与面积并集的比值。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 CIoU示意图

Fig.4 Schematic diagram of CIoU

CIoU公式如下:

(1)

C I o U = I o U - \frac{ρ^{2} (b, b^{g t})}{c^{2}} - α v

式中, $ρ^{2} (b, b^{g t})$ 为预测框和真实框中心点的欧氏距离; α为权重参数; v用来度量长宽比的相似性。α和v分别表示为:

(2)

α = \frac{v}{1 - I o U + v}

(3)

v = \frac{4}{π^{2}} {(a r c t a n \frac{w^{g t}}{h^{g t}} - a r c t a n \frac{w}{h})}^{2}

。

所以CIoU_Loss为:

(4)

C I o U_L o s s = 1 - I o U + \frac{ρ^{2} (b, b^{g t})}{c^{2}} + α v

式中: b为预测框; b^gt为真实框; ρ²(b,b^gt)为预测框和真实框之间的欧氏距离; c为能够同时包含预测框和真实框的最小闭包区域对角线长度; w和h分别为预测框的宽和高; w^gt和h^gt分别为真实框的宽和高。

2 实验结果与分析

本文方法使用GPU进行训练,计算机配置为Windows10,Intel(R)i7-9700k CPU,NVIDIA GeForce GTX1070 Ti显卡,8 GB显存,平台为pytorch。训练的初始学习率设置为0.001,权重衰减系数设置为0.000 5,训练动量为0.9,置信度设置为0.5,IoU阈值设置为0.5,训练300个Epoch,迭代次数4 000次。用随机数法将数据集按照8∶2的比例分配为训练集、验证集,抽取典型桥梁影像作为测试集。

为了验证本文方法的有效性,利用目标的平均检测精度(mAP)以及平均检测准确度(average detection accuracy,Ada)作为模型定量的评估指标,来衡量模型的准确性,其定义为:

(5)

m A P = \frac{\sum (\frac{\sum P r e c i s i o n_{C}}{N_{C}})}{N}

(6)

P r e c i s i o n = \frac{T P}{T P + F P}

式中: Precision为精确率,指实际正样本占被预测为正样本的比例; TP为被正确分类的正样本,即被正确检测的桥梁数量; FP为被错误分类的负样本,即被检测为桥梁的其他目标的数量; Precision_C为C类目标的精确率; N_C为含有C类目标的图片的数量; N为数据集中图片的总数。

平均检测准确度(Ada)为检测样本的总准确度(detection accuracy,DA)与正确检测样本数之商,总准确度为单幅图像中所有被正确检测目标的准确度之和,计算公式如下:

(7)

A d a = \frac{\sum D A}{T P}

。

为了验证所提方法的有效性,本文主要对近几年几种典型的目标检测网络进行了对比实验,分别利用SSD,mobilenet-SSD,Centernet,Efficiendet,Retinanet,YOLOv3和YOLOv4对桥梁数据集进行训练,并分别计算其mAP; 再将本文算法应用到以上7个目标检测模型中,并分别计算其mAP值。各模型进行桥梁检测的mAP值如表2所示。表2中第二列“+RE”表示原始网络结合RE方法计算所得mAP值,第三列“本身涨点”为原始网络结合RE方法的mAP值与原始网络相比的涨点,第四列“本文涨点”为本文方法与各原始网络相比的涨点。表中加粗字体为本文算法检测结果。

表2 不同模型的检测结果

Tab.2 The detection results of different models

模型	网络	+RE	涨点	本文涨点
SSD	61.09	66.82	5.73	35.97
Mobilenet-SSD	66.56	70.23	3.67	30.50
Centernet	82.07	84.28	2.21	14.99
Efficientdet	76.67	76.44	1.77	20.39
Retinanet	78.23	80.12	1.89	18.83
YOLOv3	93.82	95.66	1.84	3.24
YOLOv4	94.07	97.06	2.99	2.99

新窗口打开| 下载CSV

由表2可知,①在引入了RE方法之后,各网络mAP涨点从1.77%到5.73%不等,说明RE数据增强可以与不同目标检测方法相结合,并有效提升检测精度; ②本文方法与其他6种方法相比,mAP都有较大程度的提高,验证了本文选取YOLOv4作为原始网络的可行性; ③其中RE数据增强(本文所提算法)能够选择影像上的随机区域进行擦除,有效模拟了桥梁目标被云雾遮挡的情况,提升了整体的检测精度。由此可知,对场景较单一、且数据量小的数据集进行数据增强对提高模型检测的精度有一定积极作用。

图5、图6、图7为利用YOLOv3、YOLOv4以及本文方法进行对比实验的检测结果,从数据集中选取具有代表性的5类桥梁影像进行检测,分别为常规桥梁、复杂场景下的桥梁、多尺度桥梁、并行桥梁以及云雾遮挡下的桥梁。经统计,用于检测的数据抽样中常规桥梁共5个,复杂场景下的桥梁共3个,多尺度桥梁共19个,并行桥梁共6个,云雾遮挡下的桥梁共8个。其中云雾遮挡桥梁包括部分遮挡、完全遮挡2种情况,云雾包含厚云、薄云2种效果,影像中桥梁分为部分可见可完全可见2种类型。具体检测结果如表3所示,表中加粗字体为各项最优结果。

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 YOLOv3检测结果图

Fig.5 The detection results of YOLOv3

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 YOLOv4检测结果图

Fig.6 The detection results of YOLOv4

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 本文方法的检测结果

Fig.7 The detection results of proposed method

表3 样例检测结果

Tab.3 Sample test results

模型		常规	复杂背景	多尺度	并行	云雾遮挡
共含桥梁/个		5	3	19	6	8
正确检出/个	YOLOv3	4	1	18	4	3
	YOLOv4	5	2	18	5	4
	本文方法	5	3	19	5	8
平均检测准确度/%	YOLOv3	98.25	89.00	95.81	98.00	93.33
	YOLOv4	94.20	88.00	99.70	97.40	88.00
	本文方法	99.80	99.50	99.59	100.00	100.00

新窗口打开| 下载CSV

由表3可知,相比于YOLOv3和YOLOv4,本文方法对于不同场景下桥梁的正确检测个数均有提高,说明本文方法具有较好的桥梁检测能力; 其次,本文方法对于云雾遮挡桥梁的检测效果明显优于其他2种方法,YOLOv3和YOLOv4仅能检测出薄云覆盖和部分遮挡桥梁,对于完全遮挡和厚云覆盖等桥梁检测效果较差,而本文方法能能够以较高准确度检测出部分遮挡、完全遮挡、厚云覆盖及薄云覆盖等多种条件下的桥梁,有效提高了对于云雾遮挡桥梁检测的鲁棒性; 最后,本文方法在绝大多数场景下的平均检测准确度高于YOLOv3和YOLOv4,说明本文方法在保证检测效果的前提下适用于多种场景的桥梁检测。

3 结论与展望

针对传统目标检测网络识别被云雾遮挡桥梁能力差的问题,提出结合RE和YOLOv4桥梁自动检测方法。本文方法的mAP达到了97.06%,较YOLOv4网络提高了2.99百分点。对于被云雾遮挡桥梁的平均检测准确度提高了12百分点。试验结果验证了本文方法对于识别复杂场景下的桥梁、多尺度的桥梁、并行桥梁尤其是被云雾遮挡的桥梁有很大的优势。但本文方法也存在不足之处,RE产生的像素值与真实云雾有一定差异,使得检测效果提升有一定局限性,后期将对遮挡桥梁设计更有针对性的方法,进一步提高检测性能。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

崔东顺.

可见光航拍图像水上桥梁检测算法研究[D]. 北京: 北京理工大学, 2015.