基于BDANet的地震灾害建筑物损毁评估
BDANet-based assessment of building damage from earthquake disasters
责任编辑: 陈庆
收稿日期: 2023-06-6 修回日期: 2023-10-8
基金资助: |
|
Received: 2023-06-6 Revised: 2023-10-8
作者简介 About authors
赵金玲(1983-),男,高级工程师,主要从事油气田企业数字化转型、工业互联网平台、地理信息系统研究与应用工作。Email:
破坏性地震建筑物损毁快速评估是震后科学评估的决策依据与技术保障,对于人道主义救援和应急响应具有重要意义。鉴于现有遥感影像震后建筑物损毁大多基于灾前灾后图像分割来完成,对于震后建筑物数量难以快速统计,文章以U-Net深度卷积神经网络为主体模型,提出一种3阶段的BDANet(building damage assessment convolutional neural network)震后建筑物损毁信息评估与预测一体化网络框架。首先,利用U-Net的编码-解码网络结构提取建筑物位置信息; 其次,通过灾前灾后影像训练建筑物损毁评估部分,对建筑物分割结果进行损毁定位与等级评估; 最后,对不同等级的损毁建筑物数量进行预测,为灾后救援与灾后重建提供数据支撑。并以2017年墨西哥中部莫雷洛斯州发生的7.1级地震与2023年土耳其发生的7.8级地震为例展开研究,实验对震后建筑物损毁等级进行评估及统计,验证了该文方法的准确性与可靠性,相关实验结果可为灾后风险评估提供及时、准确的数据支撑和技术保障。
关键词:
The rapid assessment of building damage following destructive earthquakes serves as a critical foundation for decision-making and technical guarantee in post-earthquake scientific evaluations, holding great significance in humanitarian aid and emergency response. This study aims to overcome the challenge in rapidly quantifying the number of buildings affected. Considering that most existing post-earthquake building damage assessments based on remote sensing images rely on pre- and post-disaster image segmentation, this study, by using the U-Net deep convolutional neural network as the main model, introduced a three-stage convolutional neural network for building damage assessment (BDANet) framework that integrates assessment and prediction for post-earthquake building damage information. First, the encoder-decoder network structure of U-Net was used to extract building location information. Second, building damage was assessed using pre- and post-disaster images to localize and grade damage in the image segmentation results. Finally, the number of buildings damaged at various levels was predicted to support post-disaster rescue and reconstruction efforts. The study evaluated and quantified the levels of post-earthquake building damage in the M7.1 earthquake in Morelos State, central Mexico in 2017 and the M7.8 earthquake in Türkiye in 2023, confirming the accuracy and reliability of the proposed method. The experimental findings provide timely and precise data and technical support for post-disaster risk assessment.
Keywords:
本文引用格式
赵金玲, 黄健, 梁梓君, 赵学丹, 靳涛, 葛行行, 魏晓燕, 邵远征.
ZHAO Jinling, HUANG Jian, LIANG Zijun, ZHAO Xuedan, JIN Tao, GE Hanghang, WEI Xiaoyan, SHAO Yuanzheng.
0 引言
在全球极端气候频发、强发的背景下,突发自然灾害事件呈现多发趋势,造成了不同程度的人员伤亡、经济损失以及基础设施损毁,严重影响相关国家的经济和社会稳定。面对突发的自然灾害如何做出快速准确的应急响应,是精准救援、风险管理及灾后重建的重要支撑[1-2]。对于地震灾害而言,建筑物倒塌是造成人员伤亡、经济损失的主要因素,灾后建筑物损毁评估及不同损毁等级下损毁数量统计是受灾严重程度的重要指标之一[3-4]。准确评估地震灾后建筑物的损毁程度为灾害救援和政府决策提供重要依据[5-6]。随着国家民用空间基础设施规划中遥感卫星体系的稳步推进,以及商业遥感卫星的蓬勃发展,遥感数据获取能力与质量呈现齐升之势,卫星图像构成了遥感大数据的主体,目前已经广泛应用于灾害监测、防灾减灾、灾后重建及应急指挥等领域中[7⇓-9]。基于高分辨率对地观测数据构建突发自然灾害监测平台,能够实现大尺度灾后建筑物损毁信息的预测,充分发挥遥感技术“千里眼”的优势,实现广覆盖、高效率、高空分辨率的灾害监控效果,从技术层面上解决大尺度灾后损毁信息统计难题,为促进灾害治理及灾害风险防控提供有力保障。因此,构建灾害遥感影像数据用于自然灾害信息的快速统计及灾害损失评估将具有重要研究意义与应用价值。
遥感领域自然灾害损毁程度评估主要集中于承灾体方面,包括房屋、道路或桥梁等基础设施[10⇓⇓⇓-14]。承灾体损毁程度的评估通常依托高空间分辨率遥感影像,往往需要经过受灾区域分割、区域内基础设施检测分类以及待评估对象的识别分析等步骤[15-16]来获取承灾体损毁程度信息。在图像处理领域,损毁程度评估主要技术包括变化检测[17⇓⇓⇓-21]、地物分类[22-23]和目标识别[24-25]等方法。近年来,随着深度学习的快速发展掀起了图像处理研究的新浪潮,深度学习算法在图像处理领域取得了显著成果,基于深度卷积神经网络(convolutional neural network,CNN)在图像目标识别与变化检测方面已经取得了一定的研究进展。专家学者已经将机器学习或深度学习应用于地震灾害信息提取,证实了此类方法比传统方法更具优势[26-27]。Xu等[28]研究了CNN通过识别损毁和未损毁的建筑物来检测建筑物损毁的能力; Weber等[29]将建筑物损伤评估视为一种语义分割任务,将损伤级别分配给不同的类别标签; Hao等[30]将灾前和灾后图像的特征连接起来,并将其输入到基于CNN的框架中。现有的深度学习网络大多对震后建筑物损毁情况进行了识别,没有对多级损毁情况进行预测统计,不便于震后快速提供精准的数据支撑与决策依据。
基于此,本文提出了一种基于U-Net深度CNN的3阶段地震灾害建筑物损毁评估分析框架,使用一种3阶段CNN网络BDANet用于建筑物损毁评估与统计,通过端到端的网络实现地震灾后建筑物损毁评估与数量统计,为地震灾后大尺度建筑物震害情况评估的可行性进行初探,以期为地震灾害调查与应急提供基础信息支撑。
1 研究区概况及数据源
1.1 研究区概况
2017年9月19日13时14分(北京时间9月20日2时14分),在墨西哥中部的莫雷洛斯州发生7.1级地震,震中位于莫雷洛斯州阿克索恰潘市西南12 km处(18.58°N,98.47°E),震源深度57 km。墨西哥位于北美板块、太平洋板块和太平洋东部的科科斯板块交界处,属于环太平洋地震带,地震活动频发。2023年2月6日4时17分(北京时间2月6日9时17分),在土耳其发生7.8级地震,震源深度为20 km。震中位置为38.00°N,37.15°E。土耳其位于地中海—喜马拉雅地震带上,地形多为高原山地,周围被山脉环绕,地势东高西低,地貌错综复杂。本文以2017年墨西哥地震区与2023年土耳其地震区作为研究区域。
1.2 数据源
表1 地震影像数据源信息
Tab.1
数据名称 | 数据来源 | 波段数 | 空间分 辨率/m | 图像大 小/像素 |
---|---|---|---|---|
墨西哥灾前灾后影像 | xBD数据集 | 3 | 0.8 | 1 024×1 024 |
土耳其灾前灾后影像 | WorldView-2 | 3 | 0.3 | 17 408×17 408 |
1.3 数据预处理
图1
2 研究方法
2.1 3阶段BDANet地震灾害建筑物损毁评估网络模型
U-Net是一个较为经典的语义分割模型,具备以下特点: ①呈现左右对称的U型结构,通过编码-解码进行压缩影像和去除噪声,进而保存影像中的典型地物特征; ②通过跳跃连接层解决梯度消失的问题,并通过叠加替换原有的求和操作,从而保留被泛化的典型特征。本文以U-Net网络为基础,使用ResNet34作为特征提取网络构建地震建筑物损毁等级评估预测BDANet模型,模型包含3个阶段: 建筑物提取、建筑物损毁等级评估和不同损毁等级的建筑物数量统计,主要技术流程如图2所示。本文构建的BDANet模型是一个3阶段的CNN网络框架,在第一阶段使用U-Net网络架构提取建筑物位置; 在第二阶段协同第一阶段建筑物分割结果,采用双分支网络结构进行建筑物损毁情况评估; 在第三阶段通过CNN对分割结果进行边缘识别与统计。
图2
图2
建筑物损毁等级评估与预测网络结构
Fig.2
Network structure for evaluating and predicting building damage levels
2.1.1 建筑物提取模块
鉴于地震灾后遥感影像中存在不同程度的建筑物损毁,使得复杂背景下的遥感影像建筑物提取难度提升。为了进一步提高遥感影像建筑物提取精度,在建筑物提取阶段,使用灾前影像作为网络输入。在第一阶段,网络架构基于U-Net设计,跳跃连接层可以直接保留原图像特征,与深层特征融合,可有效地防止梯度爆炸等情况。在编码阶段,通过ResNet34作为骨干网络,对图像进行深层特征提取,利用跨步卷积,将输入的图像首先下采样到原始分辨率的一半,再通过多次深层卷积,提取出图像的高维特征。在解码部分,网络通过上采样操作,将特征图分辨率逐渐恢复到原始输入大小,接受跳跃连接层投射的低维特征,用于捕获提取高维特征时忽略的细节信息,并通过拼接的方式实现浅层特征与深层特征融合,最后输出建筑物提取结果。在第一阶段,通过sigmoid函数在每个通道上进行逐像素点预测,输出各类别预测概率,然后利用argmax函数求出各像素点最大分类概率的通道索引值,作为该像素点损失等级评估结果。以灾前二维影像作为建筑物提取模块的输入数据,输入网络后得到一个双通道的二维特征图,表示为Pb∈R2×W×H,其中H和W分别为该阶段输出图像的高和宽,经过argmax函数计算得到建筑物定位结果PB,计算公式为:
式中Pb∈{0,1}1×H×W,其中0代表背景,1代表建筑物。
第一个通道代表是背景的概率,第二个通道代表是建筑物的概率。与传统图像分割任务相似,该阶段使用交叉熵损失函数,其数学描述为:
式中: L为量化的实际值yi和预测值
2.1.2 建筑物损毁等级评估模块
由于灾后影像中有大量建筑物受损,在第二阶段,依据建筑物地震损毁等级划分为: 基本完好、轻微损毁、中等损毁、严重损毁、倒塌,而基于遥感视角将建筑物损毁情况分为4个等级: 一般、较重、严重和特别严重,其主要原因是在大尺度遥感影像下,震后建筑物轻微损毁与基本完好难以区分,需要辅助现场勘查或高空间分辨率无人机影像解译完成。因此,为实现大幅面快速确定震后损毁情况,将建筑物损毁等级标准定义如下: ①建筑物未受影响,无可见裂缝为一般损毁等级; ②建筑物部分损毁,屋顶元素缺失或存在可见裂缝为较重损毁等级; ③建筑物墙体或顶板部分坍塌为严重损毁等级; ④建筑物墙体或顶板完全坍塌为特别严重损毁等级。地震灾害前后图像与标注的样本可视化结构如图3所示。
图3
图3
地震灾害图像与标注的可视化
Fig.3
Visualization of earthquake disaster images and annotations
鉴于网络很难兼顾建筑物定位和损毁评估,因此通过第一阶段的权重协助第二阶段网络的结果输出。建筑物损毁等级评估阶段采用双分支Res34_Unet_Double网络,该阶段将灾前和灾后的影像同时输入到2个分支中,该网络可实现卷积核参数共享,其骨干网络与建筑物提取阶段基本一致。利用建筑物提取网络的权重参数进行预训练,使网络训练速度更快、精度更高。灾前和灾后影像提取的特征在解码器的最后部分连接,有效防止过拟合,可生成适用性更强的模型。
二维特征图作为损毁等级评估阶段的输入数据,输入网络后得到一个多通道的二维特征图,表示为Pd∈RC×H×W,将Pd与建筑物定位结果PB相乘,再经过argmax函数得到结果输出结果P,其公式为:
式中·为2个矩阵对应位置元素进行点乘积。
2.1.3 不同损毁等级建筑物统计模块
根据建筑物损毁等级预测结果进行建筑物损毁数量统计。通过边缘卷积检测核进行建筑物轮廓提取,计算建筑物损毁总数量。对提取到的损毁建筑物轮廓进行受灾等级判断,并计算该轮廓内各损毁等级像素点数量,像素点所占数量最多的损毁等级视为该建筑物损毁等级。与此同时,对各损毁等级建筑物数量进行求和,输出损毁建筑物总数及各损毁等级建筑物具体数量,为地震灾害调查与应急治理提供信息支撑。
2.2 模型网络参数
BDANet网络模型具体参数如表2所示,网络同时输入灾前灾后图像,输入维度为1 024×1 024×3,分别经过编码阶段5次下采样与解码阶段的5次上采样后,下采样用的是步长为2的卷积,上采样用的是最近邻插值法,最终输出的特征图尺寸为1 024×1 024×5,其中5代表通道数,分别对应建筑物的定位结果与4个损失分类等级,即为每个类别分别创建一个输出通道。
表2 模型参数
Tab.2
建筑物提取网络 | 损毁等级预测网络 | ||||||
---|---|---|---|---|---|---|---|
网络层 | 特征图尺寸 | 卷积核 | 网络层 | 特征图大小 | 网络层 | 特征图尺寸 | 卷积核 |
灾前图像输入 | 1 024×1 024×3 | - | 灾前图像输入 | 1 024×1 024×3 | 灾后图像输入 | 1 024×1 024×3 | - |
conv1-1 | 512×512×64 | 5×5 | conv2-1 | 512×512×64 | conv3-1 | 512×512×64 | 5×5 |
conv1-2 | 256×256×256 | 3×3 | conv2-2 | 256×256×256 | conv3-2 | 256×256×256 | 3×3 |
conv1-3 | 128×128×512 | 3×3 | conv2-3 | 128×128×512 | conv3-3 | 128×128×512 | 3×3 |
conv1-4 | 64×64×1 024 | 3×3 | conv2-4 | 64×64×1 024 | conv3-4 | 64×64×1 024 | 3×3 |
conv1-5 | 32×32×2 048 | 3×3 | conv2-5 | 32×32×2 048 | conv3-5 | 32×32×2 048 | 3×3 |
deconv1-1 | 64×64×1 024 | 3×3 | deconv2-1 | 64×64×1 024 | deconv3-1 | 64×64×1 024 | 3×3 |
deconv1-2 | 128×128×512 | 3×3 | deconv2-2 | 128×128×512 | deconv3-2 | 128×128×512 | 3×3 |
deconv1-3 | 256×256×192 | 3×3 | deconv2-3 | 256×256×192 | deconv3-3 | 256×256×192 | 3×3 |
deconv1-4 | 512×512×32 | 3×3 | deconv2-4 | 512×512×32 | deconv3-4 | 512×512×64 | 3×3 |
输出 | 1 024×1 024×1 | - | - | - | 输出 | 1 024×1 024×5 | - |
2.3 精度评价
式中: TP为被正确识别的正样本像素数量; FP为被错误识别的正样本像素数量; FN为被错误识别的负样本像素数量; i为损毁等级; F1i为建筑物损伤评估中各损毁等级的F1得分。
3 结果与分析
xBD与WorldView-2数据集共包含572张地震灾前灾后影像。实验利用数据集完成建筑物提取、损毁等级评估及建筑物损毁数量预测3项任务。
为了更加直观地展示BDANet网络模型对于建筑物损毁的检测与预测效果,实验通过验证数据集进行展示,分别选取了墨西哥(数据1和2)与土耳其(数据3和4)地区的灾前灾后影像进行验证,测试可视化结果如表3所示,实验统计结果如表4所示。从表3中可以看出,BDANet模型具有较好的房屋定位及轮廓提取效果,并且可对房屋损毁情况进行较为准确的评估,且其预测结果准确性与影像质量及影像空间分辨率有关。基于U-Net深度CNN的建筑物损毁评估预测模型准确率较高,但存在少量建筑物信息的漏检或误检现象。其主要原因为: ①由于地震灾害破坏力严重,遥感影像背景复杂,在大部分建筑物损毁倒塌的情况下,致使建筑物所携带信息与其周围地物相似,模型可能会将一些损毁的建筑物错误地分类为其他地物,导致漏检; ②地震灾害后,遥感影像的背景通常会变得复杂,可能存在废墟、残骸、临时搭建的结构等,这些复杂的背景可能会干扰建筑物的检测,使模型难以准确地定位和识别建筑物; ③影像存在云层、浓雾等因素干扰时,云层和浓雾可能会遮挡建筑物,使其在影像中难以辨认,对检测结果造成一定干扰; ④遥感影像的质量可能受到多种因素的影响,如影像分辨率、噪声、伪影等。低空间分辨率的影像可能使建筑物细节变得模糊,增加漏检和误检的可能性,同时,噪声和伪影可能会干扰模型的检测结果。
表4 实验结果统计
Tab.4
方法 | 等级 | 数据1 | 数据2 | 数据3 | 数据4 |
---|---|---|---|---|---|
U-Net | 一般损毁等级 | 147 | 35 | 50 | 43 |
较重损毁等级 | 0 | 0 | 0 | 0 | |
严重损毁等级 | 0 | 0 | 1 | 1 | |
特别严重损毁等级 | 0 | 0 | 2 | 2 | |
BDANet | 一般损毁等级 | 135 | 44 | 48 | 50 |
较重损毁等级 | 12 | 0 | 2 | 0 | |
严重损毁等级 | 1 | 0 | 3 | 3 | |
特别严重损毁等级 | 0 | 0 | 0 | 2 |
实验采用ResNet34网络结构替代传统的U-Net双卷积-池化下采样方式在进行建筑物损毁评估具有以下优势: ①解决梯度消失问题,ResNet34引入了残差连接,允许网络学习残差,从而解决了深层网络中常见的梯度消失问题,这使得可以训练更深的网络,从而提取更丰富的特征; ②具有更深的网络结构,ResNet34结构允许堆叠更多的层,有助于提取更抽象、高层次的特征,U-Net在下采样时虽然也会堆叠卷积和池化层,但ResNet34的深度可以进一步提高模型表达能力; ③模型具有更好的特征表征,ResNet34的残差块有助于学习更好的特征表示,提高了模型的泛化能力; ④信息传递和特征保留,ResNet34的跳跃连接有助于在网络中传递信息,从而保留了底层特征。这对于建筑物分割任务中需要将低层次的细节信息传递到高层次特征的情况非常有益; ⑤预训练权重,由于ResNet34在大规模数据集上预训练,可以使用预训练的权重来初始化网络,从而更快地收敛和学习数据集特定的特征。
为了进一步验证所提出网络模型对于地震灾害建筑物损毁评估与预测的精度,实验在样本数据集上进行精度测试,将样本数据集划分为训练集与验证集,划分比例为9:1,实验统计了BDANet模型在地震灾害数据验证集上的测试精度结果,BDANet模型的F1s分数可达到78.6%,比U-Net模型的76.8%提高了1.8个百分点。
建筑物作为人类活动范围的基础,基于大尺度卫星遥感影像的建筑物的损毁评估与预测,能够快速地为突发地震灾害提供参考数据,靶向性地指导灾后救援工作。实验使用3阶段的网络框架分别完成了建筑物定位、建筑物损毁评估以及整合损毁评估的建筑物数量预测。不仅提供了建筑物位置信息,而且客观地比较了灾难发生前后的建筑物信息。尽管目前建筑物损毁评估与预测的精度有待进一步优化,但可以为受灾地区提供一个大致的位置,以及地震灾害后建筑物损毁程度与数量,为应急救援提供受灾地区的客观情况。
4 讨论与结论
地震灾害建筑物损毁评估模型以灾前、灾后影像作为网络模型的输入,该模型主要基于U-Net语义分割网络,结合ResNet34作为特征提取网络构建BDANet网络结构,对地震建筑物损毁等级进行评估并对多等级损毁进行统计,实现对灾后建筑物损毁情况的整体快速评估。研究区地震引起的地震动具有极强破坏力,其震中附近地面运动强度远超中国规范最高设防水平的要求,即便按照中国规范8度设防设计的结构,也很可能会发生倒塌或发生远超规范限值的严重变形。研究区建筑物大多数为未经抗震设防的砌体房屋,抗震能力相对较差,造成了比较严重的建筑物损毁情况。
本文将卫星遥感影像与深度学习相结合,基于xBD数据集与Worldview-2影像融合来训练3阶段BDANet网络模型,用于地震灾后建筑物损毁评估与统计分析。基于该网络模型的地震建筑物损毁等级评估与预测精度为78.6%,验证了BDANet网络模型在地震灾后建筑物损毁评估与分析的可行性,节省了利用深度学习网络框架评估后再次统计损毁评估数量的时间。这种高效的统计对于突发破坏性地震的震后快速损失评估具有重要意义。然而,针对地震灾后建筑物的复杂情况,单一基于遥感影像的信息分析建筑物损毁情况可能受限,后续会综合多源影像数据来评估灾区的建筑物损毁情况,进一步提升评估与分析精度。
参考文献
MS4D-net:Multitask-based semi-supervised semantic segmentation framework with perturbed dual mean teachers for building damage assessment from high-resolution remote sensing imagery
[J].
BDANet:Multiscale convolutional neural network with cross-directional attention for building damage assessment from satellite images
[J].
遥感技术在震后建筑物损毁检测中的应用
[J].
Application of remote sensing technology in earthquake-induced building damage detection
[J].
Transferability of convolutional neural network models for identifying damaged buildings due to earthquake
[J].
基于高分影像纹理分维变化的灾害自动识别方法
[J].
Disaster auto-recognition method based on HSR-image’s texture fractal monotonous change
[J].
Near-real-time prompt assessment for regional earthquake-induced landslides using recorded ground motions
[J].
2018年国外对地观测卫星发展综述
[J].
Summary of the development of foreign earth observation satellites in 2018
[J].
The China ZY3-03 mission:Surveying and mapping technology for high-resolution remote sensing satellites
[J].
对遥感科学应用的一点看法
[J].
Towards more extensive and deeper application of remote sensing
[J].
Creating xBD:A dataset for assessing building damage from satellite imagery
[C]//
Application of GIS and remote sensing in disaster management:A critical review of flood management
[C]//
Integration of super-pixel segmentation and deep-learning methods for evaluating earthquake-da-maged buildings using single-phase remote sensing imagery
[J].
Damaged bridges over water:Using high-spatial-resolution remote-sensing images for recognition,detection,and assessment
[J].
Hurricane building damage assessment using post-disaster UAV data
[C]//
Building-damage detection using pre- and post-seismic high-resolution satellite stereo imagery:A case study of the May 2008 Wenchuan earthquake
[J].
Modeling and simulation for natural disaster contingency planning driven by high-resolution remote sensing images
[J].
A review of change detection in multitemporal hyperspectral images:Current techniques,applications,and challenges
[J].
Forest change detection in incomplete satellite images with deep neural networks
[J].
GETNET:A general end-to-end 2-D CNN framework for hyperspectral image change detection
[J].
Change detection based on deep Siamese convolutional network for optical aerial images
[J].
Automatic change detection in synthetic aperture radar images based on PCANet
[J].
Categorizing natural disaster damage assessment using satellite-based geospatial techniques
[J].
Improved CNN classification method for groups of buildings damaged by earthquake,based on high resolution remote sensing images
[J].
Building damage assessment from post-event polsar image based on opce and template matching
[C]//
Object-based classification of earthquake damage from high-resolution optical imagery using machine learning
[J].
Detection of urban damage using remote sensing and machine learning algorithms:Revisiting the 2010 Haiti earthquake
[J].
Research on post-earthquake landslide extraction algorithm based on improved U-Net model
[J].
Building damage detection in satellite imagery using convolutional neural networks
[J/OL].
Building disaster damage assessment in satellite imagery with multi-temporal fusion
[J/OL].
An attention-based system for damage assessment using satellite imagery
[C]//
xBD:A dataset for assessing building damage from satellite imagery
[J/OL].
CutMix:Regularization strategy to train strong classifiers with localizable features
[C]//
F1 score assesment of Gaussian mixture background subtraction algorithms using the MuHAVi dataset
[C]//
Correlation analysis of performance measures for multi-label classification
[J].
/
〈 |
|
〉 |
