0 引言
随着通讯技术和计算技术的融合与发展,云计算服务逐渐深入各领域的应用。与传统的单机和网络应用环境相比,云计算通过集中式虚拟化计算、软件及数据等服务,整合闲置计算资源、存储资源和网络资源,资源共享、按需分配,充分发挥硬件设备利用的最大化能力,节约使用成本,提高了资源设备使用效率。国内外企业及科研机构不断挖掘云计算服务的潜在应用,从数据的存储、挖掘、管理和计算等方面提供一站式服务,为社会公共行业和个人提供有偿云计算和存储服务。鉴于数据信息共享公开的局限性,各行业也逐渐整合硬件和数据资源,构建行业私有云平台,如农业云[1]、水利云[2]和教育云[3]等。互联网时代信息技术的主流商业模式改变了以往的以本地资源为用户提供资源的方式,在云计算中用户以“服务”的形式获取计算力和存储力[4]。
环境遥感技术利用多源卫星遥感数据实现地表水、环境空气和宏观生态的大范围、全天候、全天时的遥感动态监测,可为环境管理提供多层次、全方位的环境遥感信息和技术服务,提高国家对生态环境和重大环境污染事故的监控能力。而随着对地观测技术的发展,人类对地球的综合观测能力达到了空前水平,遥感数据呈现出明显的“大数据”特征,从而对大数据分析能力和数据使用方式的要求也大大提高[5,6]。针对环境遥感应用的业务需求,相继已建成遥感数据处理、数据库管理和生态参数定量反演等多个应用系统。随着业务需求的不断增多,虽然各系统可以发挥各自业务功能,但软硬件结构相对独立,业务系统无法有效共享和集成,缺乏统一的数据管理模式,导致数据冗余、缺失或不一致,系统无法支持全局应用、处理和分析等问题。近几年,随着信息化水平的快速发展,云计算已经成为信息化建设的重要方向。国内外遥感数据处理相关企业和高校正在积极研究基于云计算的遥感数据处理技术和服务,如ENVI Services Engine企业级遥感平台、地理空间数据云、资源三号卫星影像云服务平台和SuperMap SGS智慧城市时空信息云平台等[7,8,9,10]。
上述相关云服务平台主要用于卫星遥感数据的存储分发服务,基本未涉及到海量遥感数据的加工处理、信息挖掘等关键技术的业务化运行。为了探索云服务平台在环境遥感应用领域的适用性,研究分析云服务平台与传统高性能平台在海量卫星遥感数据处理中的特点,以便在今后的相关系统建设中择优选择系统架构,更好地发挥2个平台各自的优势,提高日常业务应用效率,本文借助虚拟化、云计算等信息化建设的新技术,针对环境遥感云服务需求,研究基于云计算的环境遥感数据处理服务平台架构设计、网络拓扑和服务功能,初步构建环境遥感云服务平台,对比分析云服务平台与高性能平台的处理效率,为卫星遥感数据处理平台的发展提供参考。
1 环境遥感云服务平台设计
环境遥感云服务平台利用云计算、大数据技术,提升资源整合和数据共享,实现软硬件环境的统一监管,加强大数据管理、资源共享、信息挖掘和业务应用的保障能力,从而提高环境监管、宏观决策和公众服务的水平。环境遥感云服务平台设计包括架构设计、网络拓扑和服务功能设计3方面。
1.1 架构设计
环境遥感云服务平台架构设计充分考虑网络、数据、应用和安全等方面的多样化需求,采用多层次、强解耦性的体系架构,既保证有良好的扩展性和灵活性,又保证其规范性和安全性,系统基于分布式技术,统一考虑数据量大、应用开发复杂等各个层面的需求,提供灵活的资源管理和数据服务机制。
按照常规服务层次,环境遥感云服务平台包括云基础设施服务(infrastructure as a service,IaaS)、云平台服务(platform as a service,PaaS)和云软件服务(software as a service,SaaS)3种模式(图1)。
图1
图1
环境遥感云服务平台架构设计
Fig.1
Architecture design of environmental remote sensing cloud service platform
1)IaaS即通过网络提供硬件设备使用的服务模式。将若干异构的计算服务设备、磁盘存储设备和网络传输设备等物理设备,通过虚拟化软件创建成统一共享的计算资源池、存储资源池和网络资源池等基础设施资源池,在一定安全机制的保障下[11],供不同用户通过网络获得所需数量的服务器、存储等硬件设备服务。
3)SaaS即通过网络提供软件服务使用的模式。将成熟完备的环境遥感数据处理软件和管理系统部署到云平台上,直接给用户提供内部办公桌面应用服务,水环境遥感服务、大气环境遥感服务、生态环境遥感服务和土壤环境遥感服务等业务应用,以及将来外部应用等服务。
云管理层用于对云平台上述3种服务模式的统一管理,包括云用户管理、运行监控、资源管理、计费管理、服务管理、容灾管理和安全管理等。
1.2 网络拓扑
环境遥感云服务平台的网络拓扑如图2所示。
图2
图2
环境遥感云服务平台网络拓扑示意图
Fig.2
Network structure of environmental remote sensing cloud service platform
按照功能区域划分,环境遥感云服务平台由云业务管理池、虚拟计算资源池、虚拟存储资源池和虚拟网络资源池4部分组成。
1)云业务管理池: 面向管理人员与用户的操作入口,部署云平台及配套的管理软件,如智能管理系统、虚拟机控制器和数据库控制器等,主要提供云平台系统管理、任务调度、流程管控、网络通信、硬件状态监控和用户管理等功能。
2)虚拟计算资源池: 整合已有若干异构或同构物理计算服务器,构建虚拟计算服务资源池,提供计算资源硬件平台,主要负责卫星遥感数据处理任务的分布式并行计算等,为IaaS,PaaS和SaaS需求提供计算资源服务。
3)虚拟存储资源池: 整合已有若干异构或同构物理磁盘存储阵列,构建虚拟存储服务资源池,提供关系型数据库服务所需的资源,负责卫星遥感原始数据、中间产品和生产结果的存储,为IaaS,PaaS和SaaS需求提供存储资源服务。
4)虚拟网络资源池: 整合已有若干异构或同构物理网络传输设备,构建虚拟网络服务资源池,负责数据及其他信息的快速传输等,为IaaS,PaaS和SaaS需求提供网络资源服务。
用户网络是环境遥感云服务平台的外围设备,通过网络向云业务管理池申请访问使用云平台资源,负责按需任务的提交、管理和本地数据下载等; 用户图形工作站负责数据处理、数据的快速查询浏览和海量影像编辑等。
1.3 服务功能
环境遥感云服务平台主要利用主流虚拟化技术搭建用于环境遥感监管监测的分布式私有云平台,融汇遥感卫星数据、环境监测数据和基础地理数据等数据于数据资源池,提供数据云盘服务、地图云服务、空间分析云服务、参数云服务和影像处理云服务,并对各项云服务资源和计算处理过程进行管理,达到共享资源池、弹性扩展、动态伸缩、工作流构建、负载均衡、按需使用、自助服务和快速响应的统一服务支撑。
图3
图3
环境遥感云服务平台服务功能
Fig.3
Service function of environmental remote sensing figure cloud service platform
1)数据云盘服务: 管理云盘中存储的各类型的基础地理信息数据、卫星遥感数据及其他辅助服务数据,同时为用户提供云存储共享空间,保障云盘数据的存储安全。
2)地图云服务: 面向服务架构,监控管理地图云资源与计算环境,向云外的用户提供地图云服务,包括基础地图服务、影像数据服务、三维空间数据服务、Keyhole标记语言(Keyhole markup language,KML)服务和目录服务等。
3)空间分析云服务: 基于云架构模式提供地理信息系统(geographic information system,GIS)空间分析服务功能,包括符合栅格计算服务、空间聚合分析服务、缓冲区分析服务、密度分析服务、专题图制作服务、地图打印服务和空间几何运算服务等。
4)参数云服务: 封装成熟的模型及参数,为用户提供在线的多种生态参量模型云计算服务,包括植被指数模型、叶面积指数模型、净生态系统生产力模型、生物量模型、植被覆盖度模型、地表反照率模型和土壤湿度模型等。
5)影像处理云服务: 为用户提供多源卫星遥感影像在线处理服务,包括正射校正、几何纠正、融合处理、大气校正、辐射定标、云量监测和影像分割等。
2 平台建设
依托浪潮云计算技术,设计搭建了一套服务于环境遥感业务应用及日常办公应用的云平台,为卫星遥感数据应用探索全新的处理模式。环境遥感云服务平台软硬件基础设施具体配置如表1—2所示。云平台总体性能具备总中央处理器(central processing unit,CPU)为2 303.23 GHz,总内存为4 094 GB,总存储量为272 TB。根据实际业务应用需要,目前该云平台已虚拟45台虚拟服务器。
表1 环境遥感云服务平台软件配置
Tab.1
| 名称 | 规格 | 数量 | 功能 |
|---|---|---|---|
| 云平台虚拟化软件 | Inspur VMware vSphere6.0 企业增强版 | 48CPU | 建立遥感影像处理与生产云平台虚拟化环境 |
| 云操作系统 | 云海OS V3.2高级版 | 48CPU | 对海量遥感影像和基础数据调度管理 |
| 云平台管理软件 | Inspur Vmware vCenter Server6 标准版 | 1套 | 虚拟化管理中心 |
表2 环境遥感云服务平台硬件配置
Tab.2
| 名称 | 规格 | 数量 | 功能 |
|---|---|---|---|
| 存储磁盘阵列 | 浪潮AS5600 企业融合存储(容量1 500 TB) | 1套 | 遥感影像处理与生产云平台搭建 |
| 计算服务器 | 浪潮TS860(8路CPU) | 6台 | 海量高空间分辨率数据接收与处理 |
| 浪潮NF8460M3(4路CPU) | 4台 | ||
| 网络交换设备 | 浪潮FS5900 | 2台 | 连接内网存储磁盘阵列与内网数据处理服务器 |
云平台虚拟化软件是环境遥感云服务平台的核心基础,主要负责完成底层物理资源的虚拟融合、按需分配与高效管理,提高资源交付的敏捷性和灵活性,提升资源的使用效率,为上层业务提供不间断的资源保障与可伸缩的资源供给。云平台管理软件是环境遥感云服务平台的大脑,使计算、存储和网络3大物理资源融合为有机整体,负责物理资源和虚拟资源的统一管理与监控,实现IaaS、基础资源根据业务需求的弹性扩展和动态流转,以及业务的自动感知和服务的自动化交付。
3 实验与分析
目前已建成高性能遥感光学数据自动处理系统,运行于高性能平台上,用于海量遥感数据的高效处理,进行高精度自动化地面控制点采集配准与优化、快速影像融合与无缝匀色镶嵌等图像处理,实现卫星遥感数据产品的标准规范化、自动化数据生产,为环境遥感业务化提供保障。
在环境遥感云服务平台上搭建与高性能平台基本相同的软硬件环境,部署上述高性能遥感光学数据自动处理系统,在2个平台上运行相同的遥感数据处理任务。通过实验对比,综合分析云服务平台的数据处理能力。
3.1 硬件环境对比
表3 云服务平台和高性能平台的硬件环境对比
Tab.3
| 硬件环境 | 参数配置 | 高性能平台 | 云服务平台 |
|---|---|---|---|
| 计算服务器(4台) | CPU/核 | 2×12 | 2×12 |
| 内存/GB | 128 | 128 | |
| GPU加速卡 | 有 | 无 | |
| 本地硬盘/GB | 600 | 200 | |
| 操作系统 | RHEL6.5 x64 | RHEL6.5 x64 | |
| 管理服务器(1台) | CPU/核 | 2×12 | 2×12 |
| 内存/GB | 64 | 64 | |
| GPU加速卡 | 无 | 无 | |
| 本地硬盘/GB | 600 | 200 | |
| 操作系统 | RHEL6.5 x64 | RHEL6.5 x64 | |
| 网络设备 | 网络 | 10 GB级 | GB级 |
| 存储设备 | 存储/TB | 38(NAS存储) | 5(外接硬盘) |
3.2 系统性能对比
采用高分一号卫星2 m空间分辨率全色和8 m空间分辨率多光谱数据共69对(138景)进行数据生产实验,分别统计了云服务平台和高性能平台的生产效率,如表4所示。
表4 云服务平台和高性能平台的生产效率对比
Tab.4
| 功能 | 处理步骤 | 高性能平台 | 云服务平台 |
|---|---|---|---|
| 全色影像 区域网平差 | 连接点匹配 | 15.5 | 45.5 |
| 剔点 | 1 | 1 | |
| 自由网平差 | 16.5 | 22.5 | |
| 基准点匹配 | 3.5 | 16 | |
| 剔点 | 0.5 | 1 | |
| 控制平差 | 1 | 1 | |
| 合计 | 38 | 87 | |
| 多光谱影像配准平差 | 连接点匹配 | 5 | 12 |
| 剔点 | 1 | 1 | |
| 单片配准平差 | 1 | 1.5 | |
| 二次连接点匹配 | 3 | 14 | |
| 剔点 | 1 | 1 | |
| 二次单片配准平差 | 1 | 1 | |
| 合计 | 12 | 30.5 | |
| 数字正射影像生产 | 正射校正 | 17 | 18 |
| 影像融合 | 40 | 163 | |
| 波段重组 | 42 | 159 | |
| 影像降位 | 30 | 45 | |
| 匀色 | 20 | 34 | |
| 镶嵌成图 | 30 | 41 | |
| 合计 | 179 | 460 |
3.3 结果分析
表4结果表明,运行相同的遥感并行软件,高性能集群平台数据处理效率是云服务平台的2.5倍左右。主要有3方面原因:
1)计算方面,高性能平台计算性能相对优越。遥感数据处理和定量反演中涉及到的快速傅里叶变换(fast Fourier transform,FFT)等运算需要大量的整型或浮点型的数学计算,计算节点的处理性能直接影响遥感数据的处理速度。由于云服务平台计算节点CPU性能和高性能计算集群GPU性能的差异,其数据处理计算能力远低于高性能集群计算。
2)通信方面,云服务平台网络带宽不及高性能平台。影响遥感数据处理速度重要因素之一是计算节点之间、节点与存储之间的网络传输能力。对于现有的业务化遥感数据处理系统平台,通常为提高数据处理效率,采用进程或者线程级别的并行,如消息传递接口(message passing interface,MPI)和GPU[15]等。云服务平台各计算节点通信采用GB级以太网(Ethernet),其性能远远达不到高速网络(InfiniBand)连接的高性能集群,同样制约了云服务平台的数据处理效率。
3)存储方面,云服务平台没有专门的并行存储服务[16]。为满足高性能程序的并行输入输出需求,高性能服务器广泛采用光纤存储设备和并行文件系统,如Lustre、通用并行文件系统(general parallel file system,GPFS)和并行虚拟文件系统(parallel virtual file system,PVFS)等。云服务平台提供较底层的虚拟块设备如弹性块存储(elastic block store,EBS)等,高层的数据库存储服务不能直接满足并行读写的需求。其他方面,为了保持高可靠性,云服务平台通常维持多个数据集副本,确保能够对失败的节点重新分布处理。而对于卫星遥感数据,特别是高空间分辨率卫星数据,单个文件的数据量很大(几百MB甚至1 GB以上),这种单个的海量数据严重制约了数据集副本的维持效率,不利于分布式存储。
4 结论与讨论
由于实验条件有限,云服务平台和高性能平台对比测试在硬件环境配置上存在差异,一定程度上影响了云服务平台的计算效率。但是海量卫星遥感数据处理具有计算密集、输入/输出密集、体量大等特点,这对计算机计算性能、输入/输出传输和数据存储等有较高的需求。目前来看,在常规云环境中开展高性能计算有一定的局限性,传统已成熟的高性能集群计算平台更适合于业务化海量遥感卫星数据的高效处理和参数产品反演。但随着信息技术产业的迅速发展,资源整合、数据共享是信息化建设的主要方向,云服务平台需在服务架构设计、网络传输和存储策略等方面逐步改进完善,不断提高数据处理效率,以满足计算密集型应用的需求,将在今后大数据挖掘、海量卫星遥感数据处理等方面发挥重要作用。
参考文献
农情遥感监测云服务平台建设框架
[J].
Design framework for cropwatch cloud
[J].
水利云平台若干技术问题研究
[D].
Research on Technology of Water Conservancy Cloud Platform
[D].
教育云计算服务架构研究与应用实现
[D].
Education Cloud Computing Services Architecture Research and Application Implementation
[D].
云环境中高性能计算应用的关键问题研究
[D].
Research on Key Issues of HPC Application in Cloud
[D].
遥感大数据自动分析与数据挖掘
[J].
DOI:10.13485/j.cnki.11-2089.2014.0187
Magsci
[本文引用: 1]
成像方式的多样化以及遥感数据获取能力的增强,导致遥感数据的多元化和海量化,这意味着遥感大数据时代已经来临.然而,现有的遥感影像分析和海量数据处理技术难以满足当前遥感大数据应用的要求.发展适用于遥感大数据的自动分析和信息挖掘理论与技术,是目前国际遥感科学技术的前沿领域之一.本文围绕遥感大数据自动分析和数据挖掘等关键问题,深入调查和分析了国内外的研究现状和进展,指出了在遥感大数据自动分析和数据挖掘的科学难题和未来发展方向.
Automatic analysis and mining of remote sensing big data
[J].
地球遥感信息变化应用云平台的现状与展望
[J].
The cloud platform of earth remote sensing information changes and application:Status and future development
[J].
企业级与云遥感服务平台技术初探
[C]//
Enterprise and cloud services platform remote sensing technology
[C]//
遥感云服务平台技术研究与实验
[J].
DOI:10.11834/jrs.20121180
Magsci
[本文引用: 2]
遥感云服务是基于云计算技术,整合各种遥感信息和技术资源,通过互联网以按需共享的方式提供的遥感应用服务.本文在分析遥感云服务的基本模式和技术特点的基础上,阐述了遥感云服务的技术体系及关键技术,包括遥感数据云存储、遥感数据云处理、遥感应用云服务以及遥感数据云安全技术等,设计了遥感云服务平台总体架构和功能模块,并介绍了作者团队基于云计算技术研发的遥感云服务平台原型系统.该系统支持用户根据业务选择遥感数据和应用软件,在云服务平台自动部署的虚拟机上进行在线使用.实验表明,遥感云服务平台可以汇聚来自不同服务商的遥感信息、应用软件和计算资源,为用户提供一体化的按需应用服务,对于遥感技术的普及应用和产业化发展具有重要意义.
Turning remote sensing to cloud services:Technical research and experiment
[J].
基于云计算的遥感数据处理模型的设计与实现
[J].
Spatial data processing model design and implement based on cloud computing
[J].
一种基于云计算模型的遥感处理服务模式研究与实现
[J].
Research of remote sensing service based on cloud computing mode
[J].
云环境下遥感影像内容安全研究
[D].
Study on Content Security of Remote Sensing Image in Cloud Computing
[D].
遥感数据集群处理作业调度管理系统研究
[J].高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分，有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强，但针对性差，自动化程度低，资源使用存在盲目性。针对遥感数据集群处理，基于集群作业调度管理系统Open PBS，提出一种最优资源自动分配的“双级调度策略”；应用分层架构和面向服务的软件开发思想，采用ICE中间件的网络通信技术，使用XML格式作为数据交换模式，研究并实现C/S（Client/Server）架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。
Research on job schedule and management system for remote sensing data processing with cluster
[J].
A unified framework for the deployment,exposure and access of HPC applications as services in clouds
[J].DOI:10.1016/j.future.2013.01.014 URL [本文引用: 1]
A quantitative analysis of high performance computing with Amazon’s EC2 infrastructure:The death of the local cluster?
[C]//
云计算环境下多GPU资源调度机制研究
[J].资源调度是云计算中的关键问题之一，它的调度机制与算法直接影响到云计算系统的性能及成本.GPU (graphics processing unit)正越来越多地被应用到通用计算领域，作为高性能云计算系统中的特殊计算资源，对GPU计算资源的调度有其特殊性.综合考虑计算任务在节点间以及节点内部的数据传输延迟，以充分利用系统GPU计算资源、掩藏传输延迟为目标，研究了云环境下多GPU的“传输&传输&执行”三段调度问题.提出一种云环境下GPU计算资源调度机制MGSC（MultiGPU resource Scheduling scheme in Cloud environment）：考虑了GPU计算中传输与计算的因素，讨论了在GPU计算中出现的四种资源需求情况，建立GPU计算资源模型；为了减轻中心节点的任务处理压力，设计了基于树型结构的GPU资源分布式检索算法.实验结果说明，MGSC在满足多用户共享GPU计算资源的同时，能够较好地提高云计算系统中GPU计算资源利用率，获得较高的服务质量，有效地减少资源闲置，降低服务提供者的服务成本.
Study on resource scheduling mechanism of multi-GPU in cloud computing environment
[J]
