自然资源遥感, 2023, 35(1): 90-98 doi: 10.6046/zrzyyg.2022018

技术方法

基于改进YOLOv4-tiny的无人机影像枯死树木检测算法

金远航,, 徐茂林,, 郑佳媛

辽宁科技大学土木工程学院,鞍山 114051

A dead tree detection algorithm based on improved YOLOv4-tiny for UAV images

JIN Yuanhang,, XU Maolin,, ZHENG Jiayuan

School of Civil Engineering, Liaoning University of Science and Technology, Anshan 114051, China

通讯作者: 徐茂林(1964-),男,硕士,教授,主要研究方向为摄影测量与遥感。Email:xml1964@163.com

责任编辑: 李瑜

收稿日期: 2022-01-12   修回日期: 2022-05-19  

基金资助: 国家重点研发计划项目“金属非金属矿山重大灾害治灾机理及防控技术研究”(2016YFC0801600)

Received: 2022-01-12   Revised: 2022-05-19  

作者简介 About authors

金远航(1997-),男,硕士研究生,主要研究方向为深度学习、图像处理、摄影测量与遥感。Email: yhjin2@126.com

摘要

针对目前枯死树木检测主要依赖人工实地勘察,容易受到森林地形限制、勘察效率低、易发生危险等问题,提出一种引进注意力机制及空间金字塔池化的YOLOv4-tiny枯死树木检测算法。首先,该方法在模型的Backbone部分后引入空间金字塔池化(spatial pyramid pooling,SPP)结构,融合局部和全局特征,丰富模型的特征表达能力; 其次,使用ELU替换模型中原激活函数LeakyReLU,使得激活函数单侧饱和,能够更好地收敛,提升模型鲁棒性; 最后,将注意力机制ECANet引入模型中,加强网络对图像中重要信息的学习,提升网络的性能。实验利用无人机采集辽南某风景区山林的树木影像,并使用不同模型对其中枯死树木进行检测。通过实验结果表明,改进算法检测精度达到93.25%,相比于YOLOv4-tiny,YOLOv4,SSD和文献[8]算法,精度分别提升9.58%,12.57%,10.54%和4.87%,能够较好地实现对于枯死树木的检测。

关键词: 枯死树木; YOLOv4-tiny; 注意力机制; SPP; ELU激活函数

Abstract

The current dead tree detection primarily relies on manual field surveys and, thus, is limited by forest topography, suffers a low detection efficiency, and is dangerous. Given these problems, this study proposed a YOLOv4-tiny dead tree detection algorithm based on the attention mechanism and spatial pyramid pooling (SPP) and improved the original detection model. First, the SPP structure was introduced after the Backbone part of the model to combine local and global features and enrich the feature representation capability of the model. Then, the original activation function LeakyReLU in the model was replaced with ELU, which made the activation function saturate unilaterally, thus improving the convergence and robustness of the model. Finally, the attention mechanism ECANet was introduced into the model to enhance the capacity of the network to learn important information in images, thus improving the performance of the network. The images of trees in a mountain forest of a scenic area in southern Liaoning were collected using an unmanned aerial vehicle (UAV). Then, dead trees in these images were detected using different models. The detection results show that the improved algorithm had a detection accuracy of 93.25%, which was improved by 9.58%, 12.57%, 10.54%, and 4.87% than that of the YOLOv4-tiny, YOLOv4, and SSD algorithms and an algorithm stated in literature [8], respectively, and achieved the effective detection of dead trees.

Keywords: dead tree; YOLOv4-tiny; attention mechanism; SPP; ELU activation function

PDF (10609KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

金远航, 徐茂林, 郑佳媛. 基于改进YOLOv4-tiny的无人机影像枯死树木检测算法[J]. 自然资源遥感, 2023, 35(1): 90-98 doi:10.6046/zrzyyg.2022018

JIN Yuanhang, XU Maolin, ZHENG Jiayuan. A dead tree detection algorithm based on improved YOLOv4-tiny for UAV images[J]. Remote Sensing for Land & Resources, 2023, 35(1): 90-98 doi:10.6046/zrzyyg.2022018

0 引言

枯死树木对于林业生产和生态环境具有较大程度的影响,对森林的可持续发展造成了制约。如果发生外来有害物种入侵等问题,便可能会出现森林植物大量死亡的情况,对环境经济造成损失,因此,对枯死树木的检测是十分必要的[1]。但是目前枯死树木检测主要依赖人工实地勘察,由于森林中地形的多样性,实地勘察会受到各种各样的限制,同时还易发生危险,导致勘察效率低,因此,传统的人工检测手段已远不能满足日益严峻的枯死树木检测的需要。

近年来,随着机器学习技术的突飞猛进[2],森林树木的自动化检测方面有了一定的进展,使得机器学习手段代替人工勘察逐渐成为可能[3]。研究者们利用随机森林、支持向量机等方法结合遥感技术对树木检测进行了诸多尝试。Kamińska等[4]使用ALS和彩色红外图像,结合ALS数据中的强度和结构变量以及来自航空影像的光谱信息,采用随机森林方法进行枯死树木分类。Manandhar等[5]利用线性支持向量机对特征进行标准化和降维,并利用标准化特征空间分布的局部最大检测算法对棕榈树进行检测。宋以宁等[6]基于枯死树木的颜色特征,提取可能为枯死树木的超像素区域,利用支持向量机对提取的超像素进行分类,从而检测出图像中的枯死树,其检测结果与人工检测结果的交并比均值大于58%。尽管此类基于对象的树木检测方法能较好地体现树木整体特性,并通过融入机器学习算法提高树木检测准确率。但是,基于机器学习的方法对于影像中不同的场景需要事先人为指定要提取的特征以及限定对应的参数,在没有相关先验知识的条件下很难进行单棵树木的准确检测。

在其中的深度学习方面,大量以卷积神经网络为基础的目标检测算法被应用于树木检测当中。Culman等[7]使用卷积神经网络检测加那利群岛的凤凰树,目标区域人工标注的树木中86%的样本能被正确检测; 王新彦等[8]通过通道多尺度变化和多分辨率融合模块对YOLOv4-tiny网络进行优化,并对草坪树木进行检测,平均精度均值达到80.59%。但上述实验中所使用网络较为简单,特征提取不够充分导致检测结果不是十分理想。Yu等[9]使用YOLOv4对感染松材线虫病的树木进行早期检测,检测准确率达到57.07%~63.55%。上述网络虽然检测效果较好,但检测速度较慢,同时容易出现误检的情况。

针对上述方法中的需要先验知识、检测精度低、检测速度慢等问题,结合模型结构特征,本文提出一种引入注意力机制及空间金字塔池化的YOLOv4-tiny枯死树木检测方法,在保证检测速度的前提下提升了检测精度。

1 技术方法

本文的枯死树木检测流程见图1

图1

图1   枯死树木检测技术流程图

Fig.1   Flow chart of dead tree detection technology


1.1 YOLOv4-tiny算法

YOLOv4-tiny[10]网络是在YOLOv4[11]网络基础上设计的,其使用CSPDarknet53-tiny网络作为主干特征提取网络替代YOLOv4模型中的CSPDarknet-53网络,网络参数少,具有更快的检测速度。CSPDarknet53-tiny网络使用了跨级网络中的CSPBlock模块,将特征映射分为2部分,并通过跨级残差边缘将2部分合并,使得梯度流能够在2个不同的网络路径上传播,增强了梯度信息的相关性差异,提高卷积网络的学习能力。在特征加强部分,YOLOv4-tiny模型只采用了1个特征金字塔结构[12],并未像YOLOv4模型中进行下采样。尽管这样能够提升目标检测的速度,但会使特征信息提取不足,从而导致检测准确率下降。最后,YOLOv4-tiny分别使用2种不同比例的特征图预测检测结果。

1.2 SPP模块

空间金字塔池化(spatial pyramid pooling,SPP)[13]能够把局部特征和全局特征进行融合,以达到丰富特征表达能力的目的。SPP结构有3个重要特点: ①SPP结构能对任意尺寸的输入产生指定大小的输出; ②相比于普通池化层仅有一个窗口尺度,SPP结构能对输入图像在多个尺度上进行池化,对物体的扭曲有较好的鲁棒性; ③SPP结构输入灵活,能够对任意尺度提取的特征图进行池化,其结构如图2所示。本文将SPP结构加入到YOLOv4-tiny模型中,从主干网络CSPDarknet53-Tiny输出以后加入SPP结构,再经过3×3卷积层。

图2

图2   固定尺寸输出的SPP结构

Fig.2   SPP structure with fixed size output


1.3 ELU激活函数

在多层神经网络中,上层节点的输出与下层节点的输入间存在一个非线性函数关系,该函数称为激活函数。YOLOv4-tiny网络中采用LeakyReLU作为激活函数,其函数表达如下:

LeakyReLU(x)=x  x0ax 

式中: x为输入图像的特征; a为一个很小的常数。从式中能够看出,当x≥0时,LeakyReLU的导数为常数1,即在该范围内梯度不衰减,能够有效缓解梯度消失问题,但是当x<0时,有了负数的输出,导致其非线性程度减弱。

因此,本文选用更优的ELU[14]激活函数代替YOLOv4-tiny网络中的LeakyReLU函数,其函数表达式如下:

ELU(x)=x    x>0α(ex-1) x0

式中: x为输入图像的特征; α为可调参数,其控制ELU负值部分何时饱和。由式(2)能够看出,ELU在x≤0时是指数函数,其为单侧饱和,能够更好的收敛。图3为激活函数LeakyReLU与ELU的对比图,从图中能够看出,在负区间,ELU与LeakyReLU相比对噪声更加鲁棒,收敛速度更快。

图3

图3   激活函数LeakyReLU与ELU对比

Fig.3   Comparison between activation function LeakyReLU and ELU


1.4 注意力机制ECA

卷积神经网络中的注意力机制是一种提升网络性能的网络资源分配方法,其主要通过将更多的算力集中在更重要的问题处理上,以减少网络训练对于算力的需要。随着网络层数的加深和参数量的增多,网络的表达能力会变好,但同时会造成网络信息过载的问题。因此,在不改变网络深度和信息量的情况下,添加注意力机制能够让网络更加关注重要信息,减少无用信息的影响,以提高网络的性能。因此,本文在2次特征输出及上采样后加入注意力机制模块,进而加强网络对重要信息的学习,获得更好的检测效果。

ECANet[15]是在SENet[16]基础上进行修改,其具体结构如图4所示,在不降低维度的情况下输入特征图 进行全部通道全局平均池化后,ECA通过一个能够权值共享的一维卷积进行学习,并在学习过程中考虑每个通道与其k个近邻来捕获跨通道交互。k代表一维卷积的内核大小,通过跨通道信息交互作用的覆盖范围与通道维数C的正比关系,获得公式(3),自适应确定k的取值,公式为:

k=ψ(C)=log2C+bγodd

式中: γ=2,b=1; C为通道维数[17];  odd为离k最近的奇数,若k为偶数则选k+1。

图4

图4   ECA注意力模块结构图

Fig.4   ECA attention module structure


改进后的模型结构如图5所示。

图5

图5   改进后YOLOv4-tiny结构

Fig.5   Improved YOLOv4 tiny structure


2 实验与分析

2.1 数据采集及预处理

本文使用大疆PHANTOM4 RTK四旋翼无人机,采集辽南某风景区山林的枯死树木RGB影像信息。无人机飞行高度为80~120 m,影像采集时间段为下午3: 00—5: 00,无人机飞行时镜头呈90°拍摄,航向重叠与旁向重叠均设为80%。由于无人机获取的原始影像较大且不是每张影像中均含有枯死树木,不能直接输入网络进行训练,因此需要将影像进行筛选及裁剪处理,选取裁剪后包含枯死树木的影像,影像分辨率为913×913,影像大小为96 dpi,图6为裁剪后部分影像数据集。

图6

图6   部分影像数据集

Fig.6   Partial dataset image


将选取后的影像使用LabelImg软件标注其中枯死树木目标,并使用PASCAL VOC[18]格式的XML文件注释。但由于本文实验条件有限,不能直接获取大量的影像数据,为了避免数据过少造成模型稳定性差或过拟合等问题,对影像进行翻转及对数变换进行数据增强,将处理后的影像加入数据集中。处理后的影像如图7所示。本文实验共获得10 000张枯死树木影像作为数据集,其中8 000张影像作为训练集和验证集,2 000张影像作为测试集。

图7

图7   数据增强

Fig.7   Data enhancement


2.2 实验环境与评价指标

本文实验使用TensorFlow框架,Python版本为3.7,NVIDIA RTX 3080(10 GB)显卡,内存32 G。训练模型的初始学习率为0.000 1,模拟余弦退火衰减策略调整网络学习率,Epoch设置为600。

本文实验使用平均精度(average precision,AP)和每秒检测影像的数量(frames per second,FPS)作为评价指标; AP指标通常在单目标检测中衡量某一类目标检测的精度,其指的是准确率-召回率曲线(Precision-Recall,P-R)上精准度的均值,计算公式如下[19]:

Precision=Num(TP)Num(TP)+Num(FP)
AP=PrecisonNum(TotalObjects)

式中: TP为实际正类预测为正类的数量; FP为实际负类预测为正类的数量; TotalObjects为图片总数。

2.3 实验结果分析

2.3.1 不同注意力机制对模型性能的影响

为了比较不同注意力机制对模型检测性能的影响,本实验分别在YOLOv4-tiny模型中加入3种注意力机制,即SENet,CBAM和ECANet,并利用3种网络对数据集进行训练,训练完成后利用所获权值对测试集进行检测和对比,实验结果如表1所示。

表1   不同注意力机制检测结果

Tab.1  Results of different attention mechanisms

模型AP/%FPS
YOLOv4-tiny(SENet)87.69187.77
YOLOv4-tiny(CBAM)88.04176.84
YOLOv4-tiny(ECANet)88.65200.94

新窗口打开| 下载CSV


从表中能够看出,加入ECA注意力机制的YOLOv4-tiny网络模型的AP值高于另2种注意力机制模型,高于YOLOv4-tiny(SENet)模型0.96%,高于YOLOv4-tiny(CBAM)模型0.61%,达到88.65%,在3种加入注意力机制的模型中检测效果最佳。此外,加入ECA注意力机制的模型得到了3种模型中最高的检测速度,达到200.94 FPS。

为了验证改进算法对枯死树木的检测效果,可视化地对比3种模型的检测效果,使用3种模型分别对测试集图片进行检测。测试的部分结果如图8所示,从图8(a)—(c)能够看出,基于SENet和CBAM的YOLOv4-tiny算法会出现漏检某些背景较为复杂的目标的情况; 从图8(d)—(f)能够看出,CBAM算法会对小目标枯死树木造成漏检; 从图8(g)—(i)能够看出,SENet算法算法会对图片中颜色和枯死树木相近的物体或区域进行错检,而加入ECANet的YOLOv4-tiny算法不论是在背景复杂、颜色相近或是图片中包含小目标的情况下均有着良好的检测效果。

图8

图8   部分检测结果对比

Fig.8   Comparison of partial detection results


2.3.2 不同激活函数对模型性能的影响

为了显示ELU激活函数在训练过程中能够使模型更具鲁棒性,从而获得更佳的训练效果,本实验分别在模型中使用LeakyReLU和ELU两种激活函数进行训练,再对同一测试集进行预测,2种激活函数的对比如表2所示。

表2   不同激活函数对比

Tab.2  Comparison of different activation functions

激活函数AP/%FPS
LeakyReLU88.65200.94
ELU90.87188.12

新窗口打开| 下载CSV


从表中能够得知,使用ELU激活函数的AP值为90.87%,相比使用LeakyReLU作为激活函数的网络模型提升2.22%。结果表明ELU激活函数相比LeakyReLU对于噪声具有更强的鲁棒性,收敛速度更快,能够提升模型的训练效率,获得较好的检测效果。使用ELU作为激活函数的模型,FPS略低于使用LeakyReLU作为激活函数的模型。

2.3.3 加入SPP结构对模型性能的影像

为了研究加入SPP结构是否能够对模型的检测进行优化,本实验分别使用加入SPP结构和未加入SPP结构的模型进行训练,并对测试集进行检测,检测结果如表3所示。

表3   2种模型检测结果对比

Tab.3  Comparison of test results of 2 models

模型AP/%FPS
YOLOv4-tiny90.87188.12
YOLOv4-tiny(SPP)93.25182.63

新窗口打开| 下载CSV


从表中能够看出,加入SPP结构的模型取得较好的检测结果,AP值优于未加入SPP结构的模型,AP值达到了93.25%,高于原始模型2.38%。结果表明,加入SPP结构能够在训练时加强模型的鲁棒性,对模型检测进行优化。

2.3.4 检测模型影像适应性实验

为了证实本实验模型是否能够在不同条件下的影像中均获得较好的检测效果,本实验通过对影像进行筛选及图像增强的方法分别获得600张明亮和黑暗状态的枯死树木影像,如图9所示。

图9

图9   不同状态部分影像

Fig.9   Different state partial images


为了验证本实验算法对不同亮度影像检测的适应性,本实验分别使用改进的YOLOv4-tiny,YOLOv4,SSD和YOLOv4-tiny算法分别对上述2种状态影像进行检测,实验结果如表4所示。

表4   4种模型对不同影像检测结果对比

Tab.4  Comparison of four models for different image detection results(%)

状态YOLOv4SSDYOLOv4-tiny本文算法
明亮85.5086.5683.5593.16
黑暗88.8095.9186.2394.32

新窗口打开| 下载CSV


从表中能够看出,在影像明亮的状态下,本文算法获得了较好的检测效果,准确率达到93.16%,相比YOLOv4和SSD分别高出7.66%及6.6%,同时相比原始YOLOv4-tiny算法高出9.61%。在影像黑暗状态下,本文算法同样取得较好的检测效果,准确率高于YOLOv4及YOLOv4-tiny算法,分别高出5.52%及8.09%; 但是低于SSD算法1.59%。因此能够看出,本文作为轻量级模型对于不同影像的检测适应性较好,在不同环境的条件下对枯死树木均有不错的检测效果。

2.3.5 不同检测模型对比实验

为了验证本文算法可靠性,使用相同的实验数据分别在YOLOv4,SSD,YOLOv4-tiny、文献[8]算法及本文算法中进行训练。5种模型在训练时Loss的变化趋势如图10所示。

图10

图10   模型训练时Loss变化趋势

Fig.10   The change trend of Loss in model training


从图中能够看出,YOLOv4及文献[8]算法Loss值始终高于另3种算法,本文算法Loss值略高于YOLOv4-tiny及SSD算法。本文算法在迭代时,Loss在0~100个Epoch之间下降最快,当Epoch到达200时,Loss曲线逐渐趋于平缓。

为验证本实验算法的性能,选择上述5种算法在测试集上进行检测,结果如表5所示。

表5   4种模型对测试集检测结果对比

Tab.5  The results of the 4 models were compared

模型AP/%FPS
YOLOv482.7147.45
SSD80.68110.37
YOLOv4-tiny83.67196.22
文献[8]88.38179.54
本文算法93.25182.63

新窗口打开| 下载CSV


从表中能够看出,本文算法的AP值高于YOLOv4模型10.54%,高于SSD模型12.57%,高于YOLOv4-tiny模型9.58%,高于文献[8]模型4.87%。结果表明,本文算法相比其他检测模型,在检测枯死树木方面能够取得较好的效果。在FPS方面,本文算法高于YOLOv4和SSD模型,但是由于加入注意力机制和SPP模块以及更改了激活函数,FPS略低于原始YOLOv4-tiny模型。

2.3.6 不同参数对模型精度的影响

1)不同Batch Size对模型精度影响。由于在训练时不同的Batch Size会影响模型的泛化性能,因此为了验证不同Batch Size在训练时对模型检测精度的影响,本文分别将Batch Size设为2,4,6,8,16,32和64进行训练,训练后检测结果如表6所示。

表6   不同Bactch Size对比

Tab.6  Comparison of different Batch Size

Batch SizeAP/%FPS
290.36170.23
492.65175.29
892.33177.46
1693.25182.63
3293.36174.38
6491.80178.73

新窗口打开| 下载CSV


从表中能够看出,当Batch Size为2时,训练效果较差,仅获得90.36%的AP值,可能是由于Batch Size设置过小会使模型收敛较慢,导致训练结果较差,而当Batch Size为64时,训练结果同样并不理想,AP值仅为91.80%,可能是由于Batch Size设置较大时导致模型泛化能力下降,同时还会造成内存不够。当Batch Size为4和8时,检测结果较为一般,AP值分别为92.65%和92.33%; 当Batch Size为16时,训练结果与最好的32相差无几,AP值能够达到93.25%; 当Batch Size为32时,得到的检测效果最好,AP值最高,达到93.36%,分别高出Batch Size为4,8和16时的0.71%,1.03%和0.11%。

2)不同数据集数量对模型精度的影响。为了验证不同参数量对模型检测精度的影响,本文数据集以1 000张影像为基础,每次增加1 000张影像作为一个新的数据集输入模型进行训练,共分8次进行实验,实验结果如表7所示。

表7   不同数量数据集对比

Tab.7  Comparison of different data sets

数量AP/%FPS
1 00075.65177.40
2 00078.08164.18
3 00082.60175.40
4 00084.42174.73
5 00086.59174.26
6 00089.21175.12
7 00091.98175.39
8 00093.36174.38

新窗口打开| 下载CSV


从表中能够看出,随着训练数据集的增加,模型检测的AP值逐步提升,每增加1 000张影像,AP值能够提升2%~4%,当数据集数量达到本文准备的最多的8 000张时,AP值达到最高,为93.36%。仅根据本实验能够看出,本文模型在一定范围内,随着数据集的增加,AP值逐渐提升。

3 结论

1)为解决目前枯死树木检测较为依赖人工实地踏勘的情况,本文将无人机与深度学习应用到枯死树木检测中,使用无人机航飞获取航拍影像并制作数据集,提出一种改进后的YOLOv4-tiny网络模型,在模型的Backbone后加入SPP模块,实现局部特征和全局特征的融合; 将原始网络中的激活函数替换为ELU,提升模型的训练效率; 将注意力机制ECA引入到网络模型当中,使网络能够自动地突出影像中的重要信息。

2)本文通过实验验证了本文算法在精度方面的提升,其AP值达到93.25%,相比原始的YOLOv4-tiny,YOLOv4和SSD算法分别提升9.58%,12.57%和10.54%,同时检测速度相比YOLOv4及SSD具有明显的提升,相比文献[8]算法AP值提升4.87%,有效避免了在检测过程中容易出现的错检、漏检等情况。

3)但是,本文还存在着数据集样本不足、检测精度有待提升等问题,后续研究将建立更加复杂、多元的枯死树木数据集用于研究,同时从数据预处理及模型结构等方面进行改进,从而提升模型的普适性,发挥研究算法的最大价值。

参考文献

Kamińska A, Lisiewicz M, Stereńczak K, et al.

Species-related single dead tree detection using multi-temporal ALS data and CIR imagery

[J]. Remote Sensing of Environment, 2018, 219:31-43.

DOI:10.1016/j.rse.2018.10.005      URL     [本文引用: 1]

毕凯, 李英成, 丁晓波, .

轻小型无人机航摄技术现状及发展趋势

[J]. 测绘通报, 2015(3):27-31,48.

[本文引用: 1]

Bi K, Li Y C, Ding X B, et al.

Aerial photogrammetric technology of light small UAV:Status and trend of development

[J]. Bulletin of Surveying and Mapping, 2015(3):27-31,48.

[本文引用: 1]

汪沛, 罗锡文, 周志艳, .

基于微小型无人机的遥感信息获取关键技术综述

[J]. 农业工程学报, 2014, 30(18):1-12.

[本文引用: 1]

Wang P, Luo X W, Zhou Z Y, et al.

Key technology for remote sensing information acquisition based on micro UAV

[J]. Transactions of the Chinese Society of Agricultural Engineering, 2014, 30(18):1-12.

[本文引用: 1]

Kamińska A, Lisiewicz M, K Stereńczak, et al.

Species-related single dead tree detection using multi-temporal ALS data and CIR imagery

[J]. Remote Sensing of Environment, 2018, 219:31-43.

DOI:10.1016/j.rse.2018.10.005      URL     [本文引用: 1]

Manandhar A, Hoegner L, Stilla U.

Palm tree detection using circular autocorrelation of polar shape matrix

[J]. ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences, 2016, 3:465-472.

[本文引用: 1]

宋以宁, 刘文萍, 骆有庆, .

基于线性谱聚类的林地图像中枯死树监测

[J]. 林业科学, 2019, 55(4):187-195.

[本文引用: 1]

Song Y N, Liu W P, Luo Y Q, et al.

Monitoring of dead trees in forest images based on linear spectral clustering

[J]. Scientia Silvae Sinicae, 2019, 55(4):187-195.

[本文引用: 1]

Culman M, Delalieux S, Van Tricht K.

Individual palm tree detection using deep learning on RGB imagery to support tree inventory

[J]. Remote Sensing, 2020, 12(21):3476.

DOI:10.3390/rs12213476      URL     [本文引用: 1]

Phoenix palms cover more than 1.3 million hectares in the Mediterranean, Middle East, and North Africa regions and they represent highly valued assets for economic, environmental, and cultural purposes. Despite their importance, information on the number of palm trees and the palm distribution across different scenes is difficult to obtain and, therefore, limited. In this work, we present the first region-wide spatial inventory of Phoenix dactylifera (date palm) and Phoenix canariensis (canary palm) trees, based on remote imagery from the Alicante province in Spain. A deep learning architecture that was based on convolutional neural networks (CNN) was implemented to generate a detection model able to locate and classify individual palms trees from aerial high-resolution RGB images. When considering that creating large labeled image datasets is a constraint in object detection applied to remote sensing data, as a strategy for pre-training detection models on a similar task, imagery and palm maps from the autonomous community of the Canary Islands were used. Subsequently, these models were transferred for re-training with imagery from Alicante. The best performing model was capable of mapping Phoenix palms in different scenes, with a changeable appearance, and with varied ages, achieving a mean average precision (mAP) value of 0.861. In total, 511,095 Phoenix palms with a probability score above 0.5 were detected over an area of 5816 km2. The detection model, which was obtained from an out-of-the-box object detector, RetinaNet, provides a fast and straightforward method to map isolated and densely distributed date and canary palms—and other Phoenix palms. The inventory of palm trees established here provides quantitative information on Phoenix palms distribution, which could be used as a baseline for long-term monitoring of palms’ conditions. In addition to boosting palm tree inventory across multiple landscapes at a large scale, the detection model demonstrates how image processing techniques that are based on deep learning leverage image understanding from remote sensing data.

王新彦, 吕峰, 易政洋.

基于深度学习的草坪树木检测方法研究

[J]. 中国农机化学报, 2021, 42(7):136-141.

DOI:10.13733/j.jcam.issn.2095-5553.2021.07.20      [本文引用: 5]

基于深度学习的草坪树木检测是割草机器人智能化的前提和关键。目前缺乏公共的草坪树木数据集且现有的目标检测算法轻量化程度低,为解决在算力有限的割草机器人上实现草坪树木目标检测的难题,提出基于优化Tiny YOLOV4算法的草坪树木检测算法。首先,利用手机的拍照功能在草坪环境实地拍摄、制作两种草坪树木数据集;其次,在原Tiny YOLOV4算法基础之上,通过通道多尺度变换设计增强模块与轻量模块,结合多分辨率融合的方法,提出优化Tiny YOLOV4算法;通过训练优化后的算法模型实现割草机器人草坪树木的检测。试验结果表明:该优化Tiny YOLOV4算法对草坪环境下的树木特征检测的平均精度均值为80.59%,比Tiny YOLOV3和Tiny YOLOV4分别提高6.18%和0.61%。其中,树干的检测精度分别提高2.33%和0.22%,球状树木的检测精度分别提高10.04%和1.00%。模型大小为16.19 MB,轻量化程度分别提高51.10%和27.85%。

Wang X Y, Lyu F, Yi Z Y.

Research on lawn tree detection method based on deep learning

[J]. Journal of Chinese Agricultural Mechanization, 2021, 42(7):136-141.

[本文引用: 5]

Yu R, Luo Y, Zhou Q, et al.

Early detection of pine wilt disease using deep learning algorithms and UAV-based multispectral imagery

[J]. Forest Ecology and Management, 2021, 497:119493.

DOI:10.1016/j.foreco.2021.119493      URL     [本文引用: 1]

李海滨, 孙远, 张文明, .

基于YOLOv4-tiny的溜筒卸料煤尘检测方法

[J]. 光电工程, 2021, 48(6):73-86.

[本文引用: 1]

Li H B, Sun Y, Zhang W M, et al.

The detection method for coal dust caused by chute discharge based on YOLOv4-tiny

[J]. Opto-Electronic Engineering, 2021, 48(6):73-86.

[本文引用: 1]

Bochkovskiy A, Wang C Y, Liao H Y M.

YOLOv4:Optimal speed and accuracy of object detection

[J]. Computer Vision and Pattern Recognition, 2020, 17(9):198-215.

[本文引用: 1]

Lin T Y, Dollár P, Girshick R, et al.

Feature pyramid networks for object detection

[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017:2117-2125.

[本文引用: 1]

He K, Zhang X, Ren S, et al.

Spatial pyramid pooling in deep convolutional networks for visual recognition

[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9):1904-1916.

DOI:10.1109/TPAMI.2015.2389824      PMID:26353135      [本文引用: 1]

Existing deep convolutional neural networks (CNNs) require a fixed-size (e.g., 224 × 224) input image. This requirement is "artificial" and may reduce the recognition accuracy for the images or sub-images of an arbitrary size/scale. In this work, we equip the networks with another pooling strategy, "spatial pyramid pooling", to eliminate the above requirement. The new network structure, called SPP-net, can generate a fixed-length representation regardless of image size/scale. Pyramid pooling is also robust to object deformations. With these advantages, SPP-net should in general improve all CNN-based image classification methods. On the ImageNet 2012 dataset, we demonstrate that SPP-net boosts the accuracy of a variety of CNN architectures despite their different designs. On the Pascal VOC 2007 and Caltech101 datasets, SPP-net achieves state-of-the-art classification results using a single full-image representation and no fine-tuning. The power of SPP-net is also significant in object detection. Using SPP-net, we compute the feature maps from the entire image only once, and then pool features in arbitrary regions (sub-images) to generate fixed-length representations for training the detectors. This method avoids repeatedly computing the convolutional features. In processing test images, our method is 24-102 × faster than the R-CNN method, while achieving better or comparable accuracy on Pascal VOC 2007. In ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2014, our methods rank #2 in object detection and #3 in image classification among all 38 teams. This manuscript also introduces the improvement made for this competition.

Clevert D A, Unterthiner T, Hochreiter S.

Fast and accurate deep network learning by exponential linear units (ELUS)

[C]// Proceedings of the 4th International Conference on Learning Representations.ICLR, 2015:375-387.

[本文引用: 1]

Wang Q, Wu B, Zhu P, et al.

ECA-Net:Efficient channel attention for deep convolutional neural networks

[C]// CVF Conference on Computer Vision and Pattern Recognition.Seattle.IEEE, 2020:11531-11539.

[本文引用: 1]

Hu J, Shen L, Sun G.

Squeeze-and-excitation networks

[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018:7132-7141.

[本文引用: 1]

赵杰伦, 张兴忠, 董红月.

基于尺度不变特征金字塔的输电线路缺陷检测

[J]. 计算机工程与应用, 2022, 58(8):289-296.

DOI:10.3778/j.issn.1002-8331.2010-0192      [本文引用: 1]

针对现有目标检测算法在高压电力复杂巡检场景下电力部件与巡检缺陷检测精度较低的问题,提出一种基于尺度不变特征金字塔的输电线路缺陷检测方法。将主流目标检测方法用于该场景,对比得出RepPoints v2网络模型的检测精度最高。针对RepPoints v2中FPN结构不能有效提取跨层次间语义信息及角点验证过程中忽略尺度归一化的问题,结合高效通道注意力模块(ECA)与尺度均衡金字塔卷积(SEPC)提出了一种尺度不变特征金字塔结构SI-FPN(scale-invariant feature pyramid networks)。其中ECA注意力模块对FPN的特征进行通道级别的增强,之后SEPC从FPN中提取尺度不变特征并对跨层次的金字塔特征进行融合。通过在自建的包含绝缘子、防震锤、悬垂线夹、绝缘子自爆、防震锤脱落与鸟巢六类对象的数据集上进行训练测试表明,该方法在RepPoints v2的基准上提升1.9个百分点,mAP达到96.3%,检测精度远超当前基准检测模型,且所设计的SI-FPN模块可作为一种独立的结构改善其他检测模型,具有一定的通用性。

Zhao J L, Zhang X Z, Dong H Y.

Defect detection in transmission line based on scale-invariant feature pyramid networks

[J]. Computer Engineering and Applications, 2022, 58(8):289-296.

DOI:10.3778/j.issn.1002-8331.2010-0192      [本文引用: 1]

As the existing object detection algorithms have the problem of low detection accuracy of power components and inspection defects in complex inspection scenarios of high-voltage power, defect detection in transmission line based on scale-invariant feature pyramid networks is proposed. Firstly, by applying current baseline detection methods to the problem in this article, the RepPoints v2 networks has the highest accuracy. Secondly, as FPN structure cannot effectively extract cross-level semantic information and ignoring the scale normalization in the corner point verification process of RepPoints v2, the scale-invariant feature pyramid networks(SI-FPN) structure is proposed by combining the efficient channel attention(ECA) mechanism and the scale-equalizing pyramid convolution(SEPC). In SI-FPN, the ECA attention module enhances the features of FPN at the channel level, and then SEPC extracts scale-invariant features from FPN and fuses cross-level pyramid features. Through training and testing on the self-built data set of six objects including insulator, shock hammer, suspension clamp, insulator self explosion, shock hammer falling off and bird’s nest, the proposed method improves 1.9 percentage points on the baseline of RepPoints v2, and the mAP reaches 96.3%. The detection accuracy is far beyond the current baseline detection models. Moreover, the SI-FPN module designed in this paper can be used as an independent structure to improve other detection models, which has certain universality.

Everingham M, Van Gool L, Williams C K I, et al.

The pascal visual object classes (voc) challenge

[J]. International Journal of Computer Vision, 2010, 88(2):303-338.

DOI:10.1007/s11263-009-0275-4      URL     [本文引用: 1]

郭晓征, 姚云军, 贾坤, .

基于U-Net深度学习方法火星沙丘提取研究

[J]. 自然资源遥感, 2021, 33(4):130-135.doi:10.6046/zrzyyg.2020397.

[本文引用: 1]

Guo X Z, Yao Y J, Jia K, et al.

Information extraction of Mars dunes based on U-Net

[J]. Remote Sensing for Natural Resources, 2021, 33(4):130-135.doi:10.6046/zrzyyg.2020397.

[本文引用: 1]

/

京ICP备05055290号-2
版权所有 © 2015 《自然资源遥感》编辑部
地址:北京学院路31号中国国土资源航空物探遥感中心 邮编:100083
电话:010-62060291/62060292 E-mail:zrzyyg@163.com
本系统由北京玛格泰克科技发展有限公司设计开发