随着我国经济的增长和城镇化水平的提升,我国垃圾年产量呈上升趋势。根据我国统计年鉴记载,2005—2015年期间我国垃圾产生量由13.44亿t增长到32.71亿t,平均每年增长14.33%。部分中小城市没有固定场地来堆放垃圾,形成大量的非正规垃圾堆。非正规垃圾堆露天堆放,不仅侵占了大量的土地,还严重污染了大气、水体和城市的生活环境,影响了人们的正常生活和身体健康^[1,2]。因此,有效检测非正规垃圾堆,有利于城市垃圾的全面治理、维护城市环境安全。

目前人工实地调查是常用的非正规垃圾堆检测方法,但这类方法耗时费力、效率低下,且并不适合于分布广泛、堆放点易变的非正规垃圾堆。而高分辨率遥感技术的发展,为非正规垃圾堆的宏观检测和高效管理提供了一个发展方向。如今已有研究学者尝试利用高分辨率遥感影像进行非正规垃圾堆的识别研究。Bagheri等^[2]利用航空遥感影像目视解译出美国新泽西洲伯灵顿市部分危险垃圾堆放点; Silverstri等^[3]利用IKONOS影像上垃圾堆放点的颜色、形状等特征,采用监督分类方法获取了意大利非法填埋区分布情况; Cadau等^[4]综合光学影像及合成孔径雷达获取的数据,提出了垃圾堆监测指数(dump detection index,DDI); Yan等^[5]利用Landsat影像反演垃圾堆表面温度,得出垃圾堆表面温度高于周边植被温度的结论; 刘亚岚等^[6]利用颜色、形状、纹理和地理位置等特征建立了判读标志以识别非正规垃圾场; 张方利等^[7]基于高分辨率遥感影像的光谱、纹理和尺度特征,采用决策树分类的方法提取了北京城市固体废弃物堆放点; 秦海春^[8]利用垃圾堆的光谱影像特征,采用决策树分类并计算土壤调节植被指数的方法从高分二号影像上提取了垃圾堆放点; 王晨等^[9]利用目视解译方法从2015年高分辨率卫星遥感影像中提取了京津冀地区非正规垃圾堆放场地的分布情况。

梳理已有研究发现,现有基于遥感数据的非正规垃圾堆识别研究中,所依赖的特征表达均是通过人工设计的,不仅非常耗时,而且很难获得高效的分类器以充分挖掘深层特征,检测精度有限。因此需要寻求一种能够自动学习并获取有效特征的方法,通过相对复杂的网络结构,充分挖掘数据间的关联关系,并建立强大的分类器。近年来发展的卷积神经网络为目标特征的自动提取提供了一个有效的框架。基于卷积神经网络的目标检测方法目前可分为基于候选区域的目标检测方法(如区域卷积神经网络(region-based convolutional neural network,R-CNN)^[10]和快速区域卷积神经网络(faster R-CNN,Faster R-CNN)^[11]等)与基于回归的目标检测方法(如YOLO (you only look once)^[12]和SSD (single shot multibox detector)^[13])。前者将生成稀疏候选目标框和目标框的分类回归分成了2个阶段; 后者则通过对位置、尺度和长宽比进行规则和密集采样来检测目标。与前者相比,后者计算效率高,但由于其提取过程容易产生大量负样本,导致在训练时正负样本类别失衡,模型检测精度落后于前者。2018年Lin等^[14]提出的RetinaNet利用Focal Loss函数成功控制正负样本及难分易分样本产生的损失值,有效提升了基于回归的目标检测方法的检测精度。

基于此,本文选择RetinaNet模型作为基本结构,结合文献[15]提出的样本更新方法,提出一种基于RetinaNet和样本更新的高分辨率遥感影像非正规垃圾堆检测框架(sample updated-RetinaNet,SU-RetinaNet),以完成对非正规垃圾堆的有效检测。此外本文比较了可变形部件模型(deformable parts model,DPM)、R-CNN、Faster R-CNN、RetinaNet和SU-RetinaNet 5种目标检测算法的检测精度和效率,以验证本文提出的SU-RetinaNet在固体废弃物垃圾检测中的可行性。

本文以RetinaNet模型为基本结构,采用样本更新方法对非正规垃圾堆进行检测。具体检测流程如图1所示。首先,利用初始训练集训练RetinaNet模型,根据模型在验证集中的检测效果,人工调整超参数,以使精度达到最佳; 其次,将训练好的模型用于测试集中得到初始非正规垃圾堆检测结果; 然后,在初始检测结果中以错检目标为中心,裁剪500像素×500像素大小的图像作为背景图像,选择漏检目标作为正样本并随机放置在背景图像中生成合成样本; 最后,用合成后的样本更新初始训练集,进行新一轮的模型训练,并输出最终的非正规垃圾堆检测结果。

RetinaNet模型由4个模块构成,其网络结构如图2所示。图2中①表示特征提取网络,本文使用深度残差网络ResNet^[16]来完成对输入图像的卷积特征提取; ②为特征金字塔网络(feature pyramid networks,FPN)^[17],考虑到卷积神经网络提取图像特征时,低层特征的语义信息少,目标位置准确,高层特征的语义信息多,目标位置粗略的特点,本文将ResNet网络第3—5组卷积阶段输出的特征图(C3—C5),通过上采样和横向连接操作产生特征融合后的特征图(P3—P5),并在C5的基础上通过卷积操作得到P6和P7这2组特征图,从而对①中产生的特征图进行重新组合,从单一分辨率的输入图像中有效提取出丰富的、多尺度的特征金字塔; ③为基准小窗口机制,用于得到候选框; 在通过FPN网络和基准小窗口机制获得特征图集合和候选框后,连接了本质为全卷积网络(fully convolutional networks,FCN)^[18]、参数独立的分类子网和位置回归子网,如图2中④所示,用于对候选框进行分类和定位。与传统区域候选网络(region proposal network,RPN)所用的1×1×18分类子网不同,本文使用了更深的分类子网络。在本文的分类子网中,先使用了4个3×3×256的卷积层,然后利用一个通道数为A(A为候选框数)的3×3的卷积层预测W×H范围内每个候选框属于非正规垃圾堆的概率(W和H为特征图的宽和高)。位置回归子网和分类子网的设计基本相同,唯一不同的是最后一层通道数为4A,即对每一个候选框,回归一个(dx,dy,dw,dh)4维向量,表示候选框到关联的地面真值之间的偏移。

本文借鉴了RPN中的基准小窗口机制,为了实现密集覆盖,设置了倍频范围{2⁰,2^1/3,2^2/3},从而让FPN网络P3—P7的每一层特征图分别产生3种不同尺寸的基准小窗口。针对每种尺寸的基准小窗口再设置不同长宽比{1:2,1:1,2:1},这样每一层有9种基准小窗口,不同层可以覆盖的基准小窗口的面积范围为32~813。根据1.2节中RetinaNet模型的网络结构可知,基准小窗口机制产生的每一个候选框,最终都对应一个one-hot向量和4维的位置回归向量。具体来说,如果一个候选框与某个地面真值的交并比(intersection over union,IOU)大于0.5,就认定为正样本,如果IOU在[0,0.4)之间,认定为背景。每个候选框至多检测一个地面真值,如果一个候选框与地面真值的IOU在[0.4,0.5)之间,那么在训练时将忽略这个候选框。

本文使用模型的训练损失为边框回归损失和分类损失之和。对于边框回归损失,采用相对缓和的绝对损失函数(smooth L1损失)。对于分类损失,采用改进后的交叉熵损失进行计算。二分类的交叉熵(cross-entropy,CE)损失公式为:

式中: y∈{±1},用于指定真值类别; p∈[0,1],表示模型预测标签y=1的概率。交叉熵损失常被扩展用于多分类任务中,但当面对基于回归的深度学习目标检测方法产生的类别极端不平衡问题时,交叉熵损失暴露出其不适用性。即当大量的简单样本叠加到一起时,即使每个样本产生的损失是很小的量级,也会淹没难分样本。因此本文采用改进后的交叉熵损失α——Balance Focal Loss(FL),即

式中 :αt∈[0,1],为平衡正负样本的权重因子; α为标签y=1时给定的权重值; (1-pt)γ为调节因子,γ∈[0,+∞)为可调聚焦参数。当一个样本预测错误时,调节因子趋近于1,对于错误分类样本的惩罚不变; 当一个样本预测正确时,调节因子趋近于0,对于正确分类样本的惩罚缩小。因此该损失函数可有效降低简单样本的权重,将训练过程集中于难分类的样本。

本文实验在Ubuntu16.0.4操作系统中进行,采用图形处理器( graphics processing unit,GPU) 版Tensorflow作为深度学习框架编程实现,GPU 型号为GTX TITAN Xp(12 GB显存)。

Google Earth影像按照空间分辨率进行分级,级别越高对应空间分辨率越高,目前国内Google Earth影像可达20级。本实验采用19级的Google Earth影像制作样本,对应空间分辨率为0.23 m,包含红光、绿光、蓝光3个波段。根据文献[6]和人工目视解译本文建立了非正规垃圾堆在Google Earth影像上的判读标志: 首先,非正规垃圾堆形状一般呈不规则堆积状分布; 其次,非正规垃圾堆表面粗糙、凹凸不平,具有明显纹理结构; 同时由于非正规垃圾堆内垃圾种类繁多、堆放时间过长,从Google Earth影像上看其表面呈现高亮白和灰色相间的颜色; 除形状、纹理和颜色特征外,生活垃圾堆放点一般出现在河边、近郊的公路边和居民区旁的空地上,而工业固体废弃物堆放点则常出现在工厂和施工工地周围。根据以上判读标志,从全国各地区、不同时段采集了平均尺寸约500像素×500像素的503张非正规垃圾堆影像作为初始样本集,并将样本进行了划分,得到初始训练集、验证集和测试集。其中初始训练集数据240张、验证集数据109张、测试集数据154张。部分非正规垃圾堆训练数据如图3(a)—(c)所示。根据初始检测结果,进行了样本合成,并将合成样本(图3(d)—(f))补充进初始训练集中,最终得到更新后的训练集数据338张,验证集和测试集数据保持不变。

非正规垃圾堆检测实验流程如图4所示。首先采集含非正规垃圾堆的Google Earth影像,进行数据预处理。将平均尺寸约为500像素×500像素的240张初始训练集数据输入到RetinaNet模型中进行训练,利用ResNet作为模型的特征提取网络,微调权重因子和调节因子等参数,利用验证集选择效果最佳的模型,并对测试集进行检测。为提高检测速度,本文设置检测器置信度为0.05并用阈值为0.5的非极大抑制(non maximum suppression,NMS)消除冗余框生成检测结果。通过人工识别判断初始检测结果中存在的错检和漏检目标,将部分错检和漏检目标人工合成为新样本,更新初始训练集。利用更新后的338张训练集数据进行新一轮的模型训练,利用训练好的模型再次检测测试集中的非正规垃圾堆,并计算评价指标。

为了定量评价模型的检测效果,本文使用平均精度(average precision,AP)和平均检测时间定量评价不同模型在样本测试数据集上的性能。AP为准确率-召回率曲线与x轴构成的面积,AP越高代表模型性能越好,反之亦然。故而AP的计算涉及对准确率P和召回率R的计算。准确率P指正确检测的正样本数占所有被检测目标数的比例; 召回率R指正确检测的正样本数占所有正样本目标数的比例,具体公式分别为:

式中: TP为被正确检测的正样本数; FP为被错误检测为正样本的负样本数; FN为被错误检测为负样本的正样本数。

首先,使用2.1节中的初始样本集测验了不同参数设置对平均精度的影响。根据文献[15]可知,RetinaNet模型特征提取网络的深度、权重因子中权重值 α和可调聚焦参数γ的大小对检测精度有较大的影响。因此本文设置初始学习率为0.000 10,权值衰减为0.000 1,学习动量为0.9,输入影像尺寸为500。通过改变特征提取网络深度、权重值和可调聚焦参数大小,使用随机梯度下降方法进行了多组对比实验确定最优参数配置。表1中阶段1展示了在未进行样本更新情况下不同参数配置对RetinaNet模型精度的影响。

从表1中可知,当 α和γ取值固定时,增加特征提取网络的深度,RetinaNet模型在验证集上的平均精度并没有明显增加,反而可能降低。这是由于本文使用的训练集较小,过于复杂的模型容易过度拟合,符合少量训练数据的特征,对验证集预测结果差。当使用ResNet50网络提取特征,α=0.5,γ=5时,训练出的模型在验证集上AP值最高。利用该模型在测试集上进行测试,测试集中共含267个非正规垃圾堆目标,模型检测出353个检测结果,准确率为70.22%,召回率为91.67%。部分测试效果如图5所示。通过分析初始检测结果发现,虽然一部分非正规垃圾堆被成功检测出来,但仍然存在大量的错检和漏检,主要的错检对象包括建筑物屋顶、裸土和聚集车辆,这是由于这3类地物在影像上的光谱特征与非正规垃圾堆较为接近。根据初始检测结果,将部分错检和漏检目标人工合成为新样本,得到样本更新后的训练集,并再次测验了不同参数设置对平均精度的影响,结果如表1中阶段2所示。由表1阶段2数据可知,特征提取网络深度的增加依旧没有使模型精度提升。当使用ResNet50网络提取特征, α=0.75,γ=2时,训练出的模型在验证集上AP值最高。对比2个阶段使模型精度达到最高时的参数配置,可以看出 α和γ的取值均发生了变化。α从0.5变为0.75,γ从5变为了2,即在增加了错分漏分的训练数据的情况下,增加正样本损失权重,同时减小正确与错误分类样本惩罚的差距可以提升模型的检测精度。

除了考虑特征提取网络深度、权重因子和调节因子,本文还考虑了学习率对模型精度的影响。学习率是训练过程中梯度下降方向移动的距离,在固定上述参数基础上,以学习率0.000 50为基准,以更新后的训练集为输入,逐次减少学习率得到新模型并在验证集中检测非正规垃圾堆,得到对应的AP值,如表2所示。

从表2中可知,随着学习率的减小,AP值先逐渐增大,在学习率为0.000 10时AP值达到最大值87.25%,随后又逐渐减小。这是由于当学习率过大,损失函数将在最小值附近来回震荡而不能收敛; 当学习率过小,网络的参数更新变化慢,导致网络迭代成本增加而难以达到收敛。根据不同参数设置在验证集上得到的AP值大小,最终选择ResNet50为特征提取网络, α为0.75,γ为2,学习率为0.000 10作为最优参数配置,并再次对测试集进行了测试。模型最终检测出288个非正规垃圾堆,准确率为86%,召回率为92.8%,部分测试检测结果如图6所示,可以看到利用SU-RetinaNet方法可以将易混淆的建筑物屋顶、裸地等样本有效分开。

本文对比分析了DPM,R-CNN,Faster R-CNN,RetinaNet和SU-RetinaNet这5种方法在相同测试集上的检测效果,5种方法对应的AP值和平均检测时间如表3所示。

从表3中可以看出,在检测精度上,SU-RetinaNet模型的AP值明显高于其他4种方法; 在检测效率上,由于DPM采用滑动窗口方法生成大量重复的候选区域,因此在测试集上的平均检测时间较长,为30.348 s; R-CNN虽然采用选择性搜索方法减少了候选框的数目,但此方法在CPU上运行,检测效率低,平均检测时间为8.636 s; Faster R-CNN网络虽采用端到端的形式,但由于其存在先得到区域建议,然后再对区域建议进行精分类和边框回归2阶段过程,所以检测效率仍有待提升,在GPU上运行时平均检测时间需要0.108 s; 而SU-RetinaNet采用了基于回归的目标检测方法思想,检测效率要高于2阶段目标检测方法,在GPU上运行时平均检测时间仅需0.097 s。

1)采用特征提取网络能够有效提取非正规垃圾堆特征,克服了人工提取特征的不确定性,并且可以通过部分特征完成对目标物体的检测。

2)经过训练的SU-RetinaNet模型能够成功检测非正规垃圾堆目标,在当前实验条件下,使用ResNet50网络的SU-RetinaNet模型取得了最好的检测效果,在测试集上平均精度达85.92%,同时采用基于回归的目标检测思想,提高了检测效率,为实时目标检测提供了保证,平均每张样本检测时间为0.097 s,解决了传统方法中精度和效率无法权衡的难题。

但是,对于非正规垃圾堆样本未进行更为精细的类别划分,因此模型无法对垃圾堆类别进行细分类。在今后的研究中,应考虑构建更精细的非正规垃圾堆样本数据库以满足城市环境治理更高的需求。