基于多源遥感数据的CNN水稻提取研究

doi:10.6046/gtzyyg.2020.04.14

基于多源遥感数据的CNN水稻提取研究

蔡耀通^,¹^,²^,³^,⁴, 刘书彤⁴, 林辉¹^,²^,³^,⁴, 张猛^,¹^,²^,³^,⁴

1.中南林业科技大学林业遥感信息工程研究中心,长沙 410004

2.林业遥感大数据与生态安全湖南省重点实验室,长沙 410004

3.南方森林资源经营与监测国家林业局重点实验室,长沙 410004

4.中南林业科技大学林学院,长沙 410004

Extraction of paddy rice based on convolutional neural network using multi-source remote sensing data

CAI Yaotong^,¹^,²^,³^,⁴, LIU Shutong⁴, LIN Hui¹^,²^,³^,⁴, ZHANG Meng^,¹^,²^,³^,⁴

1. Research Center of Forestry Remote Sensing and Information Engineering, Central South University of Forestry and Technology, Changsha 410004, China

2. Key Laboratory of Forestry Remote Sensing Based Big Data and Ecological Security for Hunan Province, Changsha 410004, China

3. Key Laboratory of State Forestry Administration on Forest Resources Management and Monitoring in Southern Area, Changsha 410004, China

4. College of Forestry, Central South University of Forestry and Technology, Changsha 410004, China

通讯作者: 张猛(1988-),男,博士,讲师,研究方向为遥感与地理信息系统及其环境变化研究。Email:mengzhang@csuft.edu.cn。

责任编辑: 陈理

收稿日期: 2019-11-29 修回日期: 2020-03-26 网络出版日期: 2020-12-15

基金资助:

国家自然科学基金项目“洞庭湖湿地NPP反演模型优化及其时空变化驱动机制研究”. 41901385

Received: 2019-11-29 Revised: 2020-03-26 Online: 2020-12-15

作者简介 About authors

蔡耀通(1995-),男,硕士研究生,研究方向为资源环境遥感与地理信息系统。Email:yaotongcai@csuft.edu.cn。

摘要

水稻是中国种植面积最广泛的粮食作物之一,适时、准确的水稻识别与监测对于国家粮食安全和农用地空间格局演变具有重要意义。基于水稻物候关键期的多时相Sentinel-2A光谱数据、植被指数、植被丰度以及基于Landsat8反演得到的地表温度(land surface temperature,LST),采用卷积神经网络(convolutional neural network,CNN)、支持向量机(support vector machine,SVM)和随机森林(random forest,RF)算法对高异质化的长株潭核心区的水稻进行了提取,并得到了对应的水稻填图。研究结果显示,利用多时相多源遥感数据通过CNN算法能够有效提取高异质化程度区域的水稻信息,水稻分类总体精度(overall accuracy,OA)和Kappa系数分别达到了92%与0.90以上。该文提出的基于CNN的水稻信息识别方法,能够为改善与提高异质化程度较高区域水稻信息提取的精度提供行之有效的技术与途径。

关键词： 水稻 ; Sentinel-2A ; Landsat8 ; CNN ; 长株潭地区

Abstract

Rice is one of the most widely planted food crops in China. Therefore, timely and accurate rice identification and monitoring is of great significance to the national food security and the evolution of agricultural land spatial pattern. In this study, multi-temporal Sentinel-2A multispectral images, vegetation indices, vegetation abundance and Landsat 8 derived LST on the critical period of rice phenology were used. The CNN, SVM and RF classifiers were applied to extracting the paddy rice and finally the paddy rice map was obtained. The result shows that using multi-temporal and multi-source remote sensing data with the CNN algorithm can effectively extract rice information in high heterogeneity region. The overall accuracy of rice classification and Kappa coefficient are over 92% and 0.90 respectively. This study has demonstrated the potential of using moderate spatial resolution images combined with CNN to map the paddy rice in highly heterogeneous area.

Keywords： paddy rice ; Sentinel-2A ; Landsat8 ; convolutional neural network(CNN) ; Changsha-Zhuzhou-Xiangtan Area

PDF (5928KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

蔡耀通, 刘书彤, 林辉, 张猛. 基于多源遥感数据的CNN水稻提取研究. 国土资源遥感[J], 2020, 32(4): 97-104 doi:10.6046/gtzyyg.2020.04.14

CAI Yaotong, LIU Shutong, LIN Hui, ZHANG Meng. Extraction of paddy rice based on convolutional neural network using multi-source remote sensing data. Remote Sensing for Land & Resources[J], 2020, 32(4): 97-104 doi:10.6046/gtzyyg.2020.04.14

0 引言

水稻是中国主要粮食作物,同时也是种植面积最广泛的作物之一。南方地区作为我国水稻主产区,其水稻种植面积及产量均占全国稻作面积及总产量的40%以上。然而,由于南方地形复杂,地块细小分散,田块破碎而不规则^[1]。加之,受自然条件、农业发展状况以及城镇化的影响,水稻的空间分布变化十分剧烈,对水稻的识别与监测受到了前所未有的关注与挑战^[2]。因此,适时、准确地对高度异质性区域的水稻时空分布及变化的研究,于粮食安全及其受限因素与农业用地空间格局演变具有重要的意义。

遥感技术因其独特的优势,已被广泛应用于水稻面积提取及时空变化研究。对于大范围的水稻提取,早期的研究主要采用AVHRR和MODIS等卫星影像^[3,4]。然而,受空间分辨率的限制及混合像元的影响,AVHRR(1.1 km)与MODIS(250~500 m)难以满足大范围水稻的精细提取与填图^[5,6]。由于具有更高的空间分辨率及较大的影像幅宽,Landsat(30 m)和HJ (30 m)等中高分辨卫星数据已被广泛用于大范围水稻研究,并为区域水稻提取提供了可靠的技术方法与数据支持^[7,8]。但对于异质性程度较高的区域,基于Landsat等中等分辨率的水稻制图精度尚需进一步探讨与厘定。目前,可免费获取的Sentinel-2卫星数据具有更高的空间分辨率(10 m/20 m/60 m)及时间分辨率(10 d),同时其具有的13个多光谱波段更利于农作物的识别。已有部分学者将Sentinel-2影像用于区域土地利用/覆被、作物信息提取等研究,并取得了较高的精度^[9,10]。

在水稻识别算法方面,应用于水稻识别的传统机器分类方法主要为阈值法、最大似然法(maximum likelihood, MLC)、支持向量机(support vector machine, SVM)、决策树(decision tree, DT)及随机森林(random forest, RF)等算法^[11,12,13]。但已有的研究表明,目前在农作物提取及土地利用/覆被研究中,城市的高异质化程度使遥感影像的分类场景复杂性大大增加,传统的机器分类算法的稳定性和适应性受到考验,其分类精度需进一步探讨与厘定^[14,15]。卷积神经网络(convolutional neural networks, CNN)作为目前深度学习扩展研究最热门的算法之一,在遥感影像分类方面的研究较多,且都取得了较好的效果^[15,16]。同时,有学者采用不同的分类算法提取土地覆被信息并进行对比研究,结果表明CNN较SVM和RF等算法更有优势^[17,18]。因此,基于多波段中等分辨率影像与CNN算法在异质化程度较高的城市区域的作物提取及土地利用分类效果值得研究。

然而,由于城市化地区异质性增强,水稻斑块破碎化严重,导致在中等分辨率影像中混合像元现象泛化。这种情况下的水稻信息遥感提取难以单靠对分类方法的改进来得到解决。此外,水稻的分类提取误差在于与其他地类(如其他作物、蔬菜基地等)的光谱混淆^[5,6]。已有研究表明,利用混合像元分解技术可以有效解决异质性地区遥感场景分类存在的光谱混淆现象,提取较为精确的地表覆被信息^[19,20]。

综合以上分析,本文以快速发展、异质化程度较高的长株潭城市群核心区为研究对象,基于多时相Sentinel-2A与Landsat8卫星影像,尝试利用CNN算法和混合像元分解技术有效地获取城镇化地区的水稻信息,为改善与提高异质化程度较高城市区域的水稻信息提取精度提供有效的技术方法与途径。

1 研究区概况及数据源

1.1 研究区概况

研究区位于长江中游南岸的环洞庭湖长株潭城市群核心区,其中心地理位置处在N28°04',E112°59',是长江中游特大型城市群重要组成部分(图1)。作为中国资源节约型和环境友好型社会建设综合配

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 研究区范围

Fig.1 Study area

套改革试验区,同时也是重要的水稻种植区与商品粮产地。研究区海拔分布在20~1 122 m之间,多为丘陵、平原地貌。年平均温度约16~18℃,年降水量约1 414 mm,属亚热带季风性湿润气候。研究区内水稻种植主要分为单季稻和双季稻2种稻作制度,水稻生长物候期描述见表1。

表1 水稻物候期

Tab.1 Phenology of rice

月份	双季稻(早稻)	双季稻(晚稻)	单季稻
3月	播种与移栽	—	—
4月	播种与移栽		播种与移栽
5月	开花期
6月	开花期
7月	成熟期	移栽	开花期
8月	—	—	开花期
9月		开花期	成熟期
10月		成熟期	成熟期

新窗口打开| 下载CSV

1.2 遥感数据与预处理

本研究Sentinel-2A和Landsat8数据被用于水稻信息的提取。其中Sentinel-2A具有13个光谱波段,幅宽为290 km,光谱波段包含了可见光、近红外及短波红外波段。Sentinel-2A数据下载于欧洲太空局网站(https: //scihub.copernicus.eu/dhus/#/home)。Landsat8卫星上的热红外传感器(thermal infrared sensor, TIRS)获取的第10波段信息,可用于反演观测区域的地表温度(land surface temperature,LST)。

覆盖研究区Sentinel-2A L1C级影像行列号为N0205_R075,结合表1中研究区双季稻主要物候期,选取了双季稻生长过程中关键期的Sentinel-2A与Landsat8影像,具体数据信息见表2。

表2 遥感数据集参数

Tab.2 Parameters of remote sensing data set

遥感数据类型	时间	行列号	产品等级	云量/%
Sentinel-2A	2017-04-08	N0205_R075	L1C	0.029
	2017-07-12	N0205_R075	L1C	0.461
	2017-09-15	N0205_R075	L1C	0.198
	2017-10-30	N0205_R075	L1C	0.352
Landsat8	2017-04-05	123/40 123/41	L1T	0.61
	2017-07-10	123/40 123/41	L1T	1.87
	2017-09-12	123/40 123/41	L1T	3.05
	2017-10-30	123/40 123/41	L1T	1.07

新窗口打开| 下载CSV

Sentinel-2A L1C级产品为亚像元级几何精纠正的正射影像,之后还需对影像进行辐射定标、大气校正、拼接与裁剪等预处理。其中辐射定标与大气校正通过使用SNAP软件调用Sen2cor 2.5.5插件完成处理^[5]。所有Landsat8数据已经过系统辐射校正和地面控制点几何纠正,且通过DEM进行了地形校正,在后续操作中还需对影像进行辐射定标、FLAASH大气校正、重采样、影像配准和裁剪。

1.3 实地调查数据及其他辅助数据

本研究分类结果的实地验证数据采用实地外业调查的形式获取。外业调查前针对研究区范围建立的2 km×2 km格网,格网覆盖整个研究区。由于研究区范围较广,为便于采样,同时确保水稻样点调查的有效性,删除建筑物、水域和山地等非耕地格网获得水稻种植集中区的待确定调查格网。根据随机抽样的原则,在待确定调查格网中随机选取143个采样点,抽样比为10.8%。采样点总体均匀分布在待确定调查中,确定采样网格即采样点所在格网。采样格网确定后,将每个采样格网分为西北、西南、东北、东南及格网中心5个区域建立外业调查样地。考虑到Sentinel-2A影像像元大小与调查样地的匹配问题,将调查样地规格设置为20 m×20 m,以植被类型作为本次实地外业调查的主要观测因子。调查中采用Zenith15R型RTK测量调查样地4个角点及中心点坐标,经几何纠正将测量结果与影像几何误差控制在0.5个像元以内。最后,将矢量化的实地调查数据用于模型训练和分类结果的精度验证。

根据长株潭城市群土地利用现状和利用类型划分标准,影像分类对象主要包括水稻、蔬菜基地、其他作物、水域、建筑物及林地(乔木林、灌木林及草地)等6种地物类型。本文利用覆盖长株潭核心区的53景2016—2017年GF-1卫星影像(2 m),根据多时相Google Earth影像结合水稻生长物候期进行目视解译并选取样本。解译结果结合实地调查数据用于模型训练和结果验证。

2 研究方法

本文结合研究区水稻生长物候历,选取了4期水稻生长关键期的Sentinel-2A与Landsat8多谱卫星数据。具体技术流程如图2所示。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 技术流程图

Fig.2 Flowchart

通过Sentinel-2A影像计算得到了水稻关键期的归一化植被指数(normalized difference vegetation index,NDVI)和红边归一化植被指数(NDVI_re)。同时,利用Landsat8 OLI多光谱波段与TIRS第10波段,根据单通道反演方法得到了研究区关键期的LST。通过GF-1卫星数据和多时相Google Earth影像进行样本选取与分类,并采用实地调查数据进行精度验证。基于多时相Sentinel-2A多光谱波段、植被指数、植被丰度与Landsat8反演得到的LST,使用CNN,SVM和RF分别对研究区进行水稻提取与制图,获取长株潭核心区水稻种植信息及空间分布。

2.1 植被指数计算

近年研究发现,介于红光与近红外波段范围内的红边波段,更能反映植被生长状况及其与生化参数之间的关系,是指示绿色植被的敏感波段^[17]。因此,本文利用NDVI和NDVI_re2种植被指数区分研究区覆被类型,具体计算公式分别为:

(1)

NDVI = (ρ_{nir} - ρ_{red}) / (ρ_{nir} + ρ_{red})

(2)

NDV I_{re} = (ρ_{nir} - ρ_{red - edge}) / (ρ_{nir} + ρ_{red - edge})

式中ρ_red,ρ_nir和ρ_red-edge分别表示Sentinel-2A数据的红光波段(B4)、近红外波段(B8)以及红边波段(B5与B6)。

2.2 LST反演

不同水稻生长过程的生理生化作用,能够对稻田LST产生明显的升/降温的影响。LST数据,尤其是水稻生长关键期的LST能够有效提高水稻识别精度^[21]。对于Landsat8数据的LST反演,已有研究表明,单通道算法较劈窗算法更有优势^[22]。因此,本文基于Landsat8第10波段,采用普适性单通道算法对LST进行反演,具体反演流程可参照文献[22]。由于缺乏卫星过境时间的LST数据,采用部分LST实测数据生成的模拟LST对Landsat8 LST进行精度验证。结果显示Landsat8反演的LST精度较好,总体精度为93%,满足水稻提取要求。

2.3 基于完全约束最小二乘混合像元分解模型的地类丰度估测

利用完全约束的最小二乘混合像元分解方法来获得研究区中易与水稻产生光谱混淆的地类(蔬菜基地和其他作物)的丰度图,并作为训练特征集融入CNN的分类体系中。首先,以多期Sentinel-2A影像为输入数据集,通过最小噪声分离对输入特征进行主成分分析来实现数据降维并估计影像噪声点; 其次,根据影像噪声计算纯净像元指数,其计算过程中的超参数: 迭代次数、迭代单位和阈值系数分别设置为10 000,250和2.5; 随后,利用n维可视化工具挑选各地类的纯净像元; 最后,基于完全约束最小二乘混合像元分解得到各地类的丰度。利用上述方法获得长株潭核心区各时期水稻、其他作物以及蔬菜基地的丰度图,可以发现通过混合像元分解获取的植被丰度能较好地将3种易发生光谱混淆的地类区分开。

2.4 基于CNN的分类与精度评价

标准的CNN通常具有比较深的结构,由输入层、卷积层、池化层、全连接层以及分类输出层构成^[17]。CNN的核心工作通过式(3)实现,即

(3)

O^{l} = poo l_{p} [σ (O^{l - 1} * W^{l} + b^{l})]

式中: ${O^{l -}}^{1}$ 为具有权重W^l和偏差b^l第l层的输入特征映射; σ为卷积层外的非线性函数; *表示卷积操作; pool_p表示池化操作; 在图层卷积之后,利用窗口池大小p×p的最大池化操作来获得特定区域内的特征,然后在l层生成特征图O^l。

本文选择了一种基于图块的ConvNet对研究区进行分类,该网络包括2个卷积层,2个最大池化层,2个归一化层,2个激活函数层以及2个完全连接层^[23]。经过多次试验,本文在遥感影像上选择28像素×28像素的作为输入像素图块。该网络使用随机梯度下降优化器进行网络训练,优化参数设置为30。批量大小、学习率、动量以及权重衰减参数分别设置为100,0.1,0.9和0.000 05。为验证CNN分类效果,本文采用SVM与RF这2种常用分类方法对研究区水稻进行提取,并将其结果与CNN进行对比。SVM和RF分类器的超参数通过随机搜索策略自动设定。

结合GF-1和Google Earth高分辨率卫星影像,在研究区内随机选择训练样本并利用CNN,SVM和RF进行分类,训练样本选择如表3所示。利用实地调查数据生成感兴趣区并结合分类结果生成混淆矩阵,利用总体分类精度(overall accuracy,OA)、Kappa系数、用户精度(user accuracy,UA)及生产者精度(producer accuracy,PA)对分类结果进行精度定量评价。

表3 双季稻提取的训练样本信息

Tab.3 Training sample information for double-cropping rice extraction(个)

地物类型	水稻	蔬菜基地	其他作物	林地	建筑物	水域
样本数量	442	234	223	166	177	156

新窗口打开| 下载CSV

3 结果与分析

基于多时相的Sentinel-2A与Landsat8数据,采用CNN,SVM和RF这3种分类方法的水稻提取结果如图3所示。通过与GF-1和Google Earth高分辨率遥感影像目视解译结果中水稻信息的对比与定性分析,基于CNN的分类结果中,水稻的分布与真实分布状况基本相符,特别在城市区域能获得水稻与其他植被较好的可分性,错分、漏分现象更少,表明该方法能够较好地提取异质性程度较高区域的水稻信息。相较而言,基于CNN的分类结果更接近研究区水稻分布状况。3种分类器的水稻提取精度如表4所示,CNN模型的OA和Kappa系数分别达到了92.11%和0.90,水稻的UA和PA均在90%以上,识别精度较高。相比之下,基于SVM与RF的分类结果欠佳,OA和Kappa系数分别为82.47%,0.76和83.77%,0.80。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 基于3种分类器的水稻提取结果

Fig.3 Paddy rice extracted results by three classifiers

表4 基于CNN,SVM与RF的分类精度

Tab.4 Classification accuracy of CNN, SVM and RF

分类方法	类型	PA/%	UA/%	OA/%	Kappa系数
CNN	水稻	90.24	91.32	92.11	0.90
	蔬菜基地	86.77	85.91
	其他作物	87.66	86.74
	其他	94.62	95.17
SVM	水稻	79.98	81.46	82.47	0.76
	蔬菜基地	81.37	80.28
	其他作物	80.62	80.06
	其他	87.25	86.27
RF	水稻	82.67	82.05	83.77	0.80
	蔬菜基地	83.24	84.67
	其他作物	78.69.	80.17
	其他	89.92	88.69

新窗口打开| 下载CSV

为验证对于CNN算法在双季稻提取方面具有更强的抗干扰和泛化能力,本文选取了3个稻作典型区域,对比分析CNN,SVM和RF这3种分类方法的水稻提取结果(图4)。从结果可以看出,CNN相对于SVM与RF分类算法而言,在异质性程度较大的区域仍然能够有效地提取水稻信息。然而,从3个稻作区可以看出,尽管分类是基于多时相、多源遥感数据进行的,但水稻仍然容易被分类器错误分为蔬菜基地以及其他作物。CNN方法在很大程度上避免了水稻与其他地类的混淆,错分、误分现象更少。而在RF和SVM的分类结果中,出现程度不等的误分现象,如水稻被误分为其他作物和蔬菜,林地被误分为其他作物。在以往的水稻提取研究中,不同水稻种植密度、异质化和土地斑块破碎化程度的区域会产生光谱相似的不同尺度像元集合,导致分类器容易产生过拟合或者过度平滑问题^[5]。因此,这可能导致不同分类器和分类方法对水稻进行提取时,若样本间的光谱相似性过高,结果将存在过拟合和过度平滑效应。本文中,CNN采用正则化的方法在一定程度上避免了高强度的过拟合^[23]。此外,CNN使用卷积层进行特征提取,每个神经元通过局部感知的方式将高层的局部信息进行整合,让整个分类框架得到影像场景中的全部表征信息。这些表征信息是通过不同的卷积核缔造所成,即这些特征可以让CNN理解整个场景的语义,也是CNN分类结果并没有产生大面积“椒盐现象”的主要原因。其次,CNN利用池化层对特征进行高层次的抽象表达,实现了对影像的深层次挖掘,这让CNN可以在土地斑块破碎化较大区域获得比SVM和RF更好地分类结果。

图4-1

新窗口打开| 下载原图ZIP| 生成PPT

图4-1 不同分类器3个典型稻作区域分类结果

Fig.4-1 Classification results in three typical regions by different classifiers

图4-2

新窗口打开| 下载原图ZIP| 生成PPT

图4-2 不同分类器3个典型稻作区域分类结果

Fig.4-2 Classification results in three typical regions by different classifiers

4 讨论

以往利用光学遥感影像进行区域水稻信息提取的研究大致可分成3类: ①单时相影像+图像统计法,如监督分类(MLC和SVM等),非监督分类(阈值法和ISODATA等)或面向对象分类; ②时间序列遥感影像+监督分类(DT和RF等); ③特殊物候期影像+基于像元分类法,如利用被水淹没或者关键物候特征前后的归一化水体指数、光谱波段或植被指数,基于像元来提取水稻信息^[24]。以上3种水稻信息提取方法的结果中往往存在 “椒盐现象”或提取精度上的不足。而本文利用多时相水稻生长关键期的Sentinel-2A与Landsat8数据集,并结合深度学习中的CNN模型提取了异质性较强地区的水稻信息,结果显示该方法能够有效提取不同种植密度区的水稻信息。但是,尽管本研究方案能够获得较高的水稻分类精度,在实际情况下仍然不可避免地存在一定的局限性。例如虽然获取了水稻关键期Sentinel-2A和Landsat8影像,但对于大多数热带和亚热带地区而言,获取足够数量的水稻关键期影像是十分困难的。再者,CNN仍难以完全解决南方地区水稻和蔬菜基地以及其他作物的可见光遥感分类难题。因此,后续研究首先将会考虑时空融合技术获取长时间密集时序光学影像或利用全天时、全天候的雷达卫星数据来增强数据源。

5 结论

本文基于物候关键期的多源遥感数据,结合CNN算法与混合像元分解技术提取了异质性程度较高区域的水稻信息,得到如下结论:

1)相对于传统机器学习方法,CNN能获得更好的水稻制图效果和更稳定的分类性能。

2)高异质性区域的水稻信息遥感提取往往难以单靠对分类方法的改进得到解决,集成混合像元分解技术和高性能分类器有助于精确识别水稻。

3)针对不同研究目标,增强数据的多样性和有效性有利于提高识别的精度。

尽管本文利用多时相Sentinel-2A和Landsat8遥感数据在区域尺度上得到了较好的水稻分类结果,但光学影像容易受到云雨天气的影响导致数据源短缺。在未来研究中,将使用雷达影像和时空融合技术克服这一难题。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

罗观长

南方稻作、地块特征与农户种植模式——基于南方五省稻农调查数据实证分析

[D]. 广州:华南农业大学, 2016.