基于系留无人机的应急测绘技术应用

doi:10.6046/gtzyyg.2020.01.01

基于系留无人机的应急测绘技术应用

王永全¹^,², 李清泉¹, 汪驰升^,¹^,²^,³, 朱家松¹^,², 王新雨¹^,²

1. 深圳大学城市空间信息工程广东省重点实验室,深圳 518060

2. 深圳大学海岸带地理环境监测自然资源部重点实验室,深圳 518060

3. 自然资源部城市土地资源监测与仿真重点实验室,深圳 518000

Tethered UAVs-based applications in emergency surveying and mapping

WANG Yongquan¹^,², LI Qingquan¹, WANG Chisheng^,¹^,²^,³, ZHU Jiasong¹^,², WANG Xinyu¹^,²

1. Guangdong Key Laboratory of Urban Informatics, School of Architecture & Urban Planning, Shenzhen University, Shenzhen 518060, China

2. Key Laboratory for Geo-Environmental Monitoring of Coastal Zone of the Ministry of Natural Resources, Shenzhen University, Shenzhen 518060, China

3. Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural and Resources, Shenzhen 518000, China

通讯作者: 汪驰升(1988-),男,博士,助理教授,主要从事雷达数据分析及应用方面的研究。Email:wangchisheng@163.com。

责任编辑: 张仙

收稿日期: 2019-01-25 修回日期: 2019-03-24 网络出版日期: 2020-03-15

基金资助:

自然资源部城市土地资源监测与仿真重点实验室开放基金资助课题项目“基于时序多基线InSAR的滑坡隐患监测方法”.  编号: KF-2018-03-004
深圳市科创委研究项目“基于InSAR卫星大地测量数据的地震精细目录标准化构建”.  编号: JCYJ20170302144002028
“面向SAR大数据的时序InSAR分析处理关键技术研究”.  编号: JCYJ20180305125101282
“基于卫星雷达测角及干涉技术的城市填埋场边坡稳定性监测研究”.  编号: KQJSCX20180328093453763
地震动力学国家重点实验室开放基金项目“贝叶斯框架下多源数据地震震源特征联合反演”.  编号: LED2016B03
深圳市未来产业发展专项资金项目“无人机多传感器集成专业应用示范”.  编号: 201607281039561400

Received: 2019-01-25 Revised: 2019-03-24 Online: 2020-03-15

作者简介 About authors

王永全(1994-),男,硕士研究生,主要从事系留无人机和遥感数据分析及应用方面的研究。Email:1058309323@qq.com。。

摘要

传统测绘比较注重“准”,而忽视了“快”。现代应急测绘需要“既快又准”。如果使用传统的测绘技术方法将会消耗大量的时间,会影响到应急救灾的及时性。系留无人机可以采集高质量的数据,并且能够进行实时的长时间视频监测。首先,介绍了系留无人机应急测绘的应用现状、特点优势和应用场景; 然后,提出一种利用系留无人机采集高质量的影像数据和视频数据生产测绘数据产品,并通过Darknet深度学习框架对视频目标进行识别的经验和方法; 最后,在不同场景下进行模拟实验和实际应用。实验结果表明,该方法能够为救灾抢险提供及时有效的测绘保障。

关键词： 系留无人机 ; 应急测绘 ; Agisoft PhotoScan ; Darknet

Abstract

Traditional surveying and mapping pay much attention to “accuracy”, but ignore the “speed”. Modern emergency mapping needs to be “speedy and accurate”. If traditional mapping techniques are used, it will consume a lot of time, which will affect the timeliness of emergency response. A tethered UAVs can collect high-quality data and realize real-time long-term video monitoring. This paper introduces the application status, characteristic advantages, and application scenarios of the tethered UAVs. And a kind of experience and method for using tethered UAVs to collect high quality image data and video data for producing surveying and mapping data products and identifying video targets through Darknet deep learning framework is proposed. Based on many simulation experiments and practical applications, the authors hold that this method is effective in providing timely and effective surveying and mapping guarantee for disaster relief and rescue.

Keywords： tethered UAVs ; emergency surveying and mapping ; Agisoft PhotoScan ; Darknet

PDF (2651KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

王永全, 李清泉, 汪驰升, 朱家松, 王新雨. 基于系留无人机的应急测绘技术应用. 国土资源遥感杂志[J], 2020, 32(1): 1-6 doi:10.6046/gtzyyg.2020.01.01

WANG Yongquan, LI Qingquan, WANG Chisheng, ZHU Jiasong, WANG Xinyu. Tethered UAVs-based applications in emergency surveying and mapping. REMOTE SENSING FOR LAND & RESOURCES[J], 2020, 32(1): 1-6 doi:10.6046/gtzyyg.2020.01.01

0 引言

目前世界范围内的防灾减灾形势严峻,各类灾害对人类经济、社会发展的影响不断加剧^[1]。应急保障,测绘先行。应急测绘需要“既快又准”,但是传统的测绘装备与方法主要以“准”为目标,其对数据采集、存储、处理、显示的要求都比较高,数据处理周期较长,难以满足应急测绘的要求^[2]。近几年来,测绘装备和技术的发展逐渐能够对突发灾害进行快速的响应,获得的测绘数据成果可以作为救灾减灾的重要参考依据。无人机在测绘领域的广泛应用,加快了数据采集的速度。目前市场上存在的无人机数据处理软件也层出不穷,也使得无人机数据的处理更加自动化,速度和精度都得到了大大的提高^[3,4]。无人机的发展虽然迅速但是也很快遇到了瓶颈,比如续航时间短、稳定性较差、操控复杂、需要非常专业的人员操作等。系留无人机的横空出世,弥补了普通无人机的不足。通过系留设备,无人机的续航问题得到解决,稳定性也更好,也更加容易操作。特别适合在应急测绘的场景下使用,能够很好地满足应急测绘在复杂环境下的多种要求。

本文针对应急救灾的场景,结合Agisoft PhotoScan软件,对灾害现场进行测绘,生成多种类型的测绘数据,使用Darknet深度学习框架对重大公共安全事故现场进行目标物的识别,最后总结出一套基于系留无人机的应急测绘数据处理的经验与方法。

1 系留无人机应急测绘应用的发展现状

随着系留无人机设备和技术的快速发展与日益成熟,为满足防灾救灾的迫切需要,系留无人机开始逐渐涉及到应急测绘领域。美国和以色列在系留无人机方面已经有了很成熟的技术。以色列航宇工业公司生产的HoverLite系留无人机可以可以在15 s内升至50 m高度并悬停,有效载荷达到6 kg; 美国CyPhy公司研制的PARC系留无人机可以在122 m的高度悬停,有效载荷为1.8 kg,可以进行移动目标的跟踪; Drone Aviation公司研制的Bolt系留无人机可以在250 m的高度悬停,并且能够实时传输高清视频和安全通信。应用领域方面,美国很早就用系留无人机进行建筑物垮塌现场的应急测绘^[5]; 法国也开始使用系留无人机进行海洋石油泄露的应急测绘^[6]。

在国内,也有很多研究单位和企业在积极探索系留无人机相关设备的研发与生产。例如北京卓翼智能科技有限公司研制的“天枢-100”可以一键起降并且自动跟随及悬停; 北京大工科技有限公司研制的大工科技系留无人机系统有效载荷可以达到15 kg,可以检测故障并自动降落。

除了系留无人机外,各类研究机构也开始研发系绳系统,比较有代表性的是法国ELISTAIR公司研发的盘绳系统,Drone Aviation和Drone Nerds合作为DJI(大疆)商用无人机推出的FUSE系绳系统等。

目前国内的系留无人机主要应用在应急通信领域和无线电监测领域^[7,8],在应急测绘方面的应用尚属空白。系留无人机系统的不断完善将在未来的应急测绘领域展现更强大的能力,为提升我国的防灾减灾能力提供强有力的保障。

2 系留无人机应急测绘应用的特点及优势

系留无人机在应急测绘的应用,主要以获取高空间分辨率的数字影像和视频为目标,以系留无人机为平台,搭载高清相机,通过3S及深度学习网络等技术对获取的原始数据进行处理,最终获得小区域、高精度、现势性强、大比例尺的数字高程模型(digital elevation model,DEM)和数字正射影像(digital orthophoto map,DOM)等测绘数据。还可以连接视频识别框架,用于公共全安事故中的人群和车辆等目标的识别。系留无人机能够很好地补充普通无人机和遥感卫星的空白,主要有以下优点:

1)滞空时间长,稳定性好,安全性高。系留无人机可以通过地面供电,滞空时间得到大大提高,可以24 h悬停,48 h不间断观测; 系留无人机具有更好的抗风能力,且有系留电缆连接,具有更高的稳定性和安全性。

2)有效载荷大,精度高。系留无人机解决了供电问题,有效载荷得到增加,可以搭载更多的传感器,传感器的姿态也更加稳定,可以获取的数据更多、精度更高。

3)成本低廉,部署时间短,覆盖灵活。目前系留无人机的模块集成化较高,普通无人机稍加改装即能使用,且部署的时间短,能够在大多数灾害现场部署,覆盖更加灵活。

4)运输便捷,环境适应能力高。系留无人机体积比较小,普通汽车就能运输,工作方式有地面固定、车载移动,船载移动等多种模式,能够适应各种危险复杂环境。

3 系留无人机应急测绘应用的数据处理方法

系留无人机采集的数据类型有很多种,根据搭载的传感器的不同,可以获取不同类型的所需数据。可以搭载的传感器包括可见光高清相机、微波雷达、红外相机等。系留无人机的数据处理方法和普通无人机的数据处理方法一样,所以系留无人机的适用性更强,也更容易入门。近年来,国内外的无人机数据处理软件都在快速发展,国外的软件有瑞士的Pix4D Mapper,俄罗斯的Agisoft PhotoScan,美国的UASMaster,德国的Inpho,法国的Pixel Factory等; 国内的软件有中国思维公司的JX4,中国测绘研究院的PixGrad,武汉大学的DPGrid等。这些软件基本上都实现了对无人机影像数据的自动化处理。

本文以地质灾害、社会公共安全和重大交通事故3个场景为例进行系留无人机应急测绘应用的数据处理。结合Agisoft PhotoScan软件对某垮塌现场进行三维建模和DOM生成; 使用Darknet深度学习框架对深圳大学2019年军训时的人群进行检测和对某交通事故现场的人车进行识别和统计。

3.1 基于Agisoft PhotoScan软件的测绘数据处理方法

Agisoft PhotoScan软件所使用的建模方法为运动信息中恢复三维场景结构(structure from motion,SfM)方法^[9]。本文通过系留无人机获取实验区域的视频,然后通过视频抽帧方法,获取一系列高重叠度的影像,然后将影像图片导入到Agisoft PhotoScan软件进行后处理^[10,11,12]。

Agisoft PhotoScan软件处理数据的常见问题及处理方法包括: ①遇到一些复杂场景或者发生故障的路段时,根据地面控制点进行划分测区处理,再进行图像拼接,可以提高图像的处理效率和准确性; ②对于一些质量比较差的照片可以剔除,软件会自动调整测区中的相关参数,从而避免不必要的冗余; ③选择地面控制点时,尽量精确到点且均匀分布,不选择接近影像边缘的点。

对于处理好的数据,用户可以根据需求导出想要的成果,可以导出的成果包括: 三维点云、DOM,DEM和Google KMZ文件。导出的三维模型有PDF和obj格式,PDF格式可以在Adobe Reader上查看,obj格式可以在3D Builder上查看。Google KMZ文件可以在Google Earth软件上打开,与Google Earth影像叠加,可以进行信息的挖掘。

3.2 基于Darknet框架的实时视频目标识别方法

Darknet是一个比较精简的开源深度学习框架,它完全基于C语言和CUDA进行编写,还可以结合OpenCV来使用。安装简单,易于移植,支持CPU和GPU 2种计算方式。不同于现在比较流行的Tensorflow以及Caffe框架,Darknet框架的应用的算法是YOLO(you only look once)算法^[12]。YOLO是基于卷积神经网络的算法,其优点在于: ①识别的速度非常快; ②基于图像的全局信息进行预测; ③泛理解化能力强; ④准确率高。表1是YOLO与其他算法的对比。

表1 YOLO与其他算法处理COCO数据集的对比^[14]

Tab.1 Comparison of YOLO and other algorithms for processing COCO data sets

算法	训练集	测试集	平均精度均值/%	FLOPS	FPS	Cfg	Weights
SSD300	COCO trainval	test-dev	41.2	-	46		link
Tiny YOLO	COCO trainval	test-dev	23.7	5.41 Bn	244	cfg	weights
DSSD321	COCO trainval	test-dev	46.1	-	12		link
R-FCN	COCO trainval	test-dev	51.9	-	12		link
SSD513	COCO trainval	test-dev	50.4	-	8		link
DSSD513	COCO trainval	test-dev	53.3	-	6		link
FPN FRCN	COCO trainval	test-dev	59.1	-	6		link
Retinanet-101-500	COCO trainval	test-dev	53.1	-	11		link
YOLOv3-320	COCO trainval	test-dev	51.5	38.97 Bn	45	cfg	weights
YOLOv3-tiny	COCO trainval	test-dev	33.1	5.56 Bn	220	cfg	weights
YOLOv3-spp	COCO trainval	test-dev	60.6	141.45 Bn	20	cfg	weights

新窗口打开| 下载CSV

深度学习模型要通过大量的样本训练来提高识别的精度,在进行视频识别之前,需要对大量的样本进行标定。本文使用YOLOv3训练一个小型的特定类别的目标检测器。训练过程步骤为:

1)准备数据集。对大概1 000张照片进行标注,分为训练集和测试集2部分。

2)准备Darknet。下载编译好Darknet,修改里面的代码使它适合于自己的数据集。

3)下载预训练的模型。使用ImageNet数据集上的预训练模型,这样可以使网络收敛得更快。

4)指定训练所需文件的路径和参数(如batch,momentum,decay和learning_rated等)的配置。

5)训练YOLOv3。当损失函数下降到一定阈值后停止训练,保存模型。

6)测试模型。调用object_detection_yolo.py测试模型。

7)目标识别。通过高清多媒体接口将无人机相机拍摄的视频实时传输到地面控制端的电脑上,地面电脑通过Darknet框架对视频内的目标进行检测识别。

4 系留无人机应急测绘的应用场景

系留无人机可以搭载高空间分辨率的相机,能达到专业测绘无人机的要求精度,且具有较长的滞空时间,更强的稳定性等特点,而且后期数据处理成本低、速度快,自动化程度高,能够承担受灾区域和危险区域的长时间、高精度的应急测绘,是目前甚至将来一段时间内,最有效、最经济的应对应急测绘难题的一种方法。以下将从塌方和泥石流等地质灾害、重大公共安全事故和重大交通事故等3个场景简述系留无人机的应急测绘应用。

4.1 地质灾害场景

在我国的南方地区很容易发生泥石流、滑坡等地质灾害,当这些地质灾害发生时很难对灾害进行精确的评估和认定。系留无人机可以快速地获取灾区的三维模型,并且进行定量的计算(例如计算塌方量、确定堰塞湖的大小等)。系留无人机能够为应急救援的决策者直观地展示灾害现场状况,并为灾害救援方案的制定提供数据支持。由于目前的灾害现场管理严格,非官方人员很难在第一时间获取灾害现场的航拍数据,故本文使用2015年12月21日深圳光明新区山体垮塌现场的航拍数据来模拟类似的地质灾害场景。图1为基于Agisoft Photoscan软件处理得到的深圳光明新区山体垮塌现场的DOM和实景三维模型。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 深圳光明新区山体垮塌区域DOM及实景三维模型

Fig.1 DOM and real-life 3D model of the collapsed area of the Guangming New District, Shenzhen

4.2 社会公共安全场景

2014年上海外滩的踩踏事件因应对处置不当等原因造成了严重安全事故。在这种大型的人群聚集区,需要系留无人机进行现场的安全保护。系留无人机可以解决普通无人机滞空时间短、稳定性差的问题,可以在大型活动的全部时间段进行监测。无人机获取的数据通过通信端口传输到地面终端,通过深度学习网络,对现场人员位置和流动情况进行监测。当发生危险情况时,可以给地面的管理人员实时地提供人员分布和流动情况。工作人员根据无人机数据制定合理的救援方案,很好地疏导人员,减少伤亡。本文所用的系留无人机系统是由大疆M600pro和系绳设备组成,搭载的传感器是大疆禅思Zenmuse X3高清相机(可以拍摄4K高清视频)。通过Darknet深度学习框架对军训的人群进行识别与检测。经过训练的模型的平均精度均值 (mean average precision,mAP)可以达到90.1%。由于一般的大型车站和广场管制比较严格,很难获取数据,故本文以深圳大学2019年军训的学生队列为例进行模拟实验。图2是系留无人机系统组成。图3是2019年深圳大学军训系留无人机人群识别检测。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 系留无人机系统组成

Fig.2 Tethered UAVs system

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 2019年深圳大学军训系留无人机人群识别检测

Fig.3 Crowd identification in Shenzhen University military training in 2019

4.3 重大交通事故场景

随着我国汽车保有量逐年增加,交通事故的发生频率也在增多。当道路发生交通事故时,如果不能及时快速地得到处理,很容易发生交通拥堵,甚至发生二次事故。快速获取交通事故现场的情况就非常的重要。通过系留无人机可以获取交通事故现场的实时视频信息,并且可以通过深度学习网络,识别道路上的车辆类型和人员,有利于疏导交通和制定具体的救援方案。由于重大交通事故发生后非救援人员很难进入事故现场,所以本文选择了2016年4月2日沪宁高速常州段发生的严重交通事故的航拍视频为模拟数据,来模拟类似的重大交通事故现场。图4是基于Darknet框架的视频目标识别系统在沪宁高速常州段交通事故现场的应用。

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 2016年沪宁高速常州段交通事故识别

Fig.4 Recognition in the traffic accident scene of Changzhou section of Shanghai-Nanjing Expressway in 2016

5 结语

1)本文论述了系留无人机系统的优势和系留无人机数据的处理方法以及在应急场景中的应用。

2)系留无人机具有续航时间长、稳定性好、易操作等特点,是承担突发灾害现场大比例尺测图任务、三维建模、目标识别的较为经济有效的技术手段。

3)系留无人机的测图和实时监测功能可以满足突发灾害现场提出的快速、精确、持续性的应急测绘任务,在应急测绘领域具有得天独厚的优势,在未来的智慧城市建设以及应急救灾中会提供更加有效的测绘支持。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

Schumacher

, Strobl

Economic development and losses due to natural disasters:The role of hazard exposure

[J]. Ecological Economics, 2011,72:97-105