02C星数据管理与服务系统建设目标是: 建立航遥中心与中国资源卫星应用中心光纤通道, 接收中国资源卫星中心推送过来的02C星标准产品; 根据国土资源系统02C星数据需求向相关单位分发数据; 开发数据服务系统, 向互联网用户提供02C星数据查询功能。

02C星数据管理与服务系统主要由3部分组成: 基础软硬件环境、C/S结构的02C星数据管理子系统和B/S结构的02C星数据服务子系统。其中, 基础软硬件环境为02C星数据管理与服务系统提供网络、存储与服务器资源; 数据管理子系统部署在航遥中心内部网络, 实现02C星数据的接收与分发功能; 数据服务子系统部署在航遥中心内部网络和互联网, 为用户提供02C星元数据查询服务。

02C星标准产品以压缩包形式由中国资源卫星应用中心通过千兆光纤通道直接推送至航遥中心内部网络; 数据管理子系统接收入库模块在扫描、检测压缩包基础上, 对其进行解压缩并完成元数据提取和入库, 同时将压缩包移至归档文件夹中; 数据管理子系统分发模块根据国土资源系统内的用户需求, 查询提取符合其需求的标准产品至分发文件夹中; 数据服务子系统通过访问02C星影像元数据库, 为内外网用户提供各类查询服务。02C星数据管理与服务系统数据流如图1所示。

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 系统数据流图Fig.1 Systems data flow diagram

1.3.1 网络架构设计

在充分利用国土资源地矿领域已有的基础网络存储架构上, 采用星型网络结构为02C星数据管理与服务系统提供高速网络、海量存储与高效服务器资源的支持。核心交换机采用万兆3层网络交换机, 通过千兆光纤通道与内部网络核心业务服务器、内部网络汇聚层交换机、资源卫星中心、土地规划院相连; 在线盘阵和2台互为备份的磁带库通过2套冗余的SAN 光纤网络与核心业务服务器相连; 存储资源管理通过Stornext实现。02C网络架构如图2所示。

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 系统网络架构图Fig.2 Systems network architecture

1.3.2 存储资源管理

02C星数据存储核心设备为1台HP XP24000 SAN光纤在线盘阵和2台昆腾Scalar i2000企业级磁带库, 基于Stornext文件共享和数据归档系统实现影像数据和数据库文件的在线存储、定制迁移与容灾备份。

Stornext文件共享和数据归档系统通过SNFS和SAN文件共享, 支持应用系统多台服务器直接通过SAN网络并发访问磁盘阵列同一文件的数据块, 解决大影像文件并发访问、共享及高速传输的问题。另外, 在Stornext SNMS的管理下, 数据可按照预先定制的策略自动迁移到互为备份的物理磁带库中, 数据的迁移和回迁对应用系统均为透明的^[4]。

02C星数据库当前主要保存1C级产品的空间、属性信息, 以及分发数据产生的过程信息。主要包括以下3类数据: 影像元数据及入库日志、影像范围空间分布图层、数据分发任务及日志。

1)影像元数据及入库日志。该类数据主要以数据库二维表的形式保存, 包含3个主要表: 元数据表、附件表以及错误信息表。元数据表保存提取出的常用影像元数据属性以及入库信息; 附件表以二进制附件的形式, 保存原始数据包中附带的元数据XML文件、快视图及拇指图; 错误信息表保存入库过程中遇到的错误及日志信息。表结构设计如图3所示。

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 影像元数据库表结构Fig.3 Image metadatabase table structure

2)影像范围空间分布图层。将02C星影像的范围信息(角点坐标)矢量化, 通过ArcSDE中间件, 以SDE Feature Layer格式保存于数据库中, 形成影像范围空间分布图层。图层按传感器类型以及季度划分。

3)数据分发任务及日志。该类数据主要以数据库二维表的形式保存, 包含2个主要表, 分别为分发任务列表及分发日志表。分发任务列表记录由用户需求生成的各分发任务的信息, 包括需求空间范围、需求时间范围、联系人信息及云量范围等; 分发日志表记录分发操作对应的任务编号、实际分发的影像ID、分发的时间及目标路径。

1.5.1 接收分发流程设计

02C星数据接收与分发包括数据需求汇总与提交、数据接收与归档、数据分发以及数据应用情况反馈统计4个主要过程。整体工作流程如图4所示。

航遥中心在对相关单位的数据获取需求进行汇总之后及时提交至中国资源卫星应用中心, 同步更新“ 02C星数据需求分布图” ; 在接收到中国资源卫星应用中心推送过来的数据后对元数据进行入库, 同步更新“ 02C星数据覆盖范围图” ; 根据02C星数据需求对相应单位进行数据的分发, 更新“ 02C星数据分发情况图” ; 最后航遥中心负责收集统计02C星数据使用情况。

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 数据接收与分发管理流程图Fig.4 Flow diagram of data receiving and distribution management

1.5.2 接收分发功能设计

02C星数据接收分发管理子系统包含数据入库和数据分发2个模块。

1)02C星数据入库模块主要是扫描由资源卫星中心通过光纤通道推送的标准产品(1C级, tar.gz压缩格式, 包括HRC/PMS影像、元数据、缩略图以及相关处理参数等文件), 在对其进行解压基础上, 读取元数据信息写入数据库中^[5], 并将产品移至归档文件夹下。该模块包括数据扫描、数据解压、元数据入库和日志记录4项功能: ①数据扫描, 扫描数据接收目录, 通过与数据库元数据比对, 找到未经处理的数据压缩包; ②数据解压, 将数据压缩包内所有文件解压到共享磁盘阵列另一归档文件夹下, 以“ 影像时相_解压时间_影像产品ID” 规则命名; ③元数据入库, 读取解压获取的XML格式文件, 从中提取传感器、数据类型、云量、接收时间、经纬度范围等重要信息存入数据库, 同时提取每景影像的范围以矢量图斑的形式存入SDE中; ④日志记录, 在数据入库过程中, 检查数据的正确性, 将出现错误的数据(如压缩包解压失败、影像文件范围错误)记录到数据库中。

2)02C星数据分发模块主要通过将用户的数据获取需求与数据库中记录的元数据信息进行对比, 将符合条件的数据拷贝至指定的存储空间。该模块包括需求录入与导入、数据筛选、数据拷贝和日志记录4项功能: ①需求录入与导入, 根据02C星数据获取需求, 录入与导入影像类型、影像时相、云量及经纬度范围等信息, 确定目标路径; ②数据筛选, 检索出符合条件的所有卫星数据, 以图形和列表相结合的方式展现, 供数据管理员确认待分发数据; ③数据拷贝, 将确认需要分发的数据拷贝至指定的目标文件夹下; ④日志记录, 记录拷贝时间、文件名及目标路径等信息, 同时在目标文件夹中生成一个日志文件。

02C星数据查询服务子系统部署在内部网络和互联网上, 拟通过国土资源02C星数据服务门户网站提供的超链接为网络用户提供在线查询02C星数据的功能, 支持属性查询、空间查询以及属性和空间相结合的复合查询方式。该子系统数据来源于部署在航遥中心内部网络02C星数据接收分发管理子系统, 通过离线打包方式实现内外网数据的准实时更新。

1.6.1 查询服务子系统架构

02C星数据查询服务子系统总体结构由数据层、服务层、表现层和客户层4部分组成(图5)。

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 数据查询服务子系统架构Fig.5 Architecture of data query service subsystem

数据层采用关系型数据库Oracle 11G进行空间数据和属性数据的存储, 并通过ArcSDE空间数据引擎实现空间数据存取; 服务层包括空间服务和Web应用服务, 前者由ArcGIS Server 10提供的栅格地图、矢量地图和业务地图服务组成, 后者由Tomcat, J2EE和Blaze Data Service服务组成; 表现层实现用户和应用程序之间的接口, 负责根据用户的操作指令和相关参数调用业务逻辑层的业务对象, 以Flex或Flash可视化控件的形式向数据服务层请求不同的服务; 客户层指安装有Flash播放器的浏览器, 用户通过播放器的应用程序进行交互操作和体验, 实现02C星数据接收分发情况的在线查询。

1.6.2 查询服务子系统功能设计

02C星数据查询服务提供矩形、任意多边形、标准图幅、行政区划、整装勘查区及成矿区带等多种空间查询方式, 同时还提供空间属性相结合的综合性查询功能。为方便国土资源地质矿产领域研究人员快速查询整装勘查区和重点成矿区带02C星数据覆盖情况, 将49个整装勘查区和19个重点成矿区带图层加载到SDE中, 用户可根据整装勘查区和重点成矿区带名称在地图主窗口中自动绘出其边界范围, 并以该边界范围作为感兴趣区域查询该区域范围内的所有02C星数据。

多级存储空间管理根据数据的重要性、访问频率、保留时间、容量及性能等指标, 将数据采取不同的存储方式分别存储在不同性能的存储设备上, 通过多级存储管理实现数据客体在存储设备之间的自动迁移。

本系统中, 采用“ 在线-离线” 2级存储, 硬件设备分别采用1台HP XP24000 SAN光纤在线盘阵和2台昆腾Scalar i2000企业级磁带库, 并使用Stornext文件共享和数据归档系统实现自动归档。该技术最大化利用不同性能的存储设备, 减少总体存储成本; 可根据应用需求调整分级存储策略, 优化存储设备整体性能; 多级存储技术对应用透明, 应用系统可自适应该存储结构, 减少开发工作量。

为保证各级存储设备的正常运行以及存储空间的高效利用, 摆脱卫星数据在线盘阵实际占用空间只能依托Stornext专业人员通过大量脚本查询方式才能获得的局面, 系统通过直接扫描定制了迁移策略的在线存储文件夹并判读文件的在线和离线状态, 监控02C星数据在各级存储设备中实际占用的空间。02C星数据管理人员只需点击查询按钮即可快捷高效地获得在线盘阵实际占用空间。

为了实现02C星数据接收与分发空间查询, 需实时更新接收到的和分发的影像文件图层信息。首先在Arc SDE中建立3类空间图层: 数据接收分布图层、数据分发需求分布图层和数据分发情况分布图层。每入库1景数据, 读取XML格式的元数据文件获取4角点坐标, 以矢量图斑的形式存入数据接收分布SDE图层中, 展示数据覆盖情况及分布规律; 每录入或导入1条数据分发需求时, 依据角点坐标或SHP图层同时向数据分发需求分布SDE图层中插入1个矢量图斑; 依据分发日志自动向数据分发情况分布SDE图层中插入影像的矢量图斑。

部署在内部网络的数据查询服务子系统直接访问以上3类SDE图层, 实时查询与统计数据接收、数据分发情况; 部署在外部网络的数据服务子系统定期更新以上3类SDE图层, 为互联网用户提供准实时空间查询统计信息。

ArcGIS API for Flex用于富互联网应用程序RIA的开发, 可将ArcGIS Server提供的地图资源和其他资源(ArcGIS Online)嵌入到Web应用中。Flex集完善的系统开发环境、优秀的客户交互体验以及跨平台跨浏览器等优点于一身, 成为当前互联网上富客户端技术在各个应用领域的研究重点^{[6, 7]}。02C星数据查询服务子系统充分利用Flex 创建Web 应用上的技术优势, 结合ArcGIS Server技术, 建立基于Flex的WebGIS信息服务系统。

客户端浏览器中的Flash Player 用于显示系统界面并与用户交互, 通过Remoting 方式异步调用Web 服务器上的服务, 以图文一体化的方式显示空间和属性信息, 为用户提供地图交互、信息查询、地图分析的交互接口; 服务端包括Web 服务和WebGIS服务, 负责响应富客户端提交的请求, 根据用户请求类型做出响应, 主要包括通过Web应用服务器(本文选用Tomcat)与GIS服务器(本文选用ArcGIS Server)响应空间数据和属性数据请求, 对空间数据进行分析和处理。

天地图作为中国区域内数据资源最全的地理信息服务网站, 集成了海量基础地理信息资源, 以地图、影像和地形3 种模式向社会公众提供权威、可信、统一的在线地图服务, 是我国“ 数字中国” 建设的重要组成部分^[8]。02C星数据查询服务子系统基础底图使用ArcGIS Server for Flex API 开发包Agslib加载天地图投影类型为经纬度的地图和影像^[9], 其坐标系为国家2000坐标系。

通过ESRI:WMTSCLayer类来调用WMTS服务, 并在该类中继承TiledMapServiceLayer类, 自定义获取地图的方法。

数据管理子系统部署在航遥中心内部网络, 采用C/S架构, 实现02C星数据的接收与分发功能。系统开发环境为Windows7, Microsoft Visual Studio 2010, .Net Framework4.0, ArcGIS Engine9.3, Arc-SDE9.3及Oracle 11G; 系统运行环境服务器端为ArcSDE9.3及Oracle 11G; 系统运行环境客户端为Windows, .Net Framework4.0及ArcGIS Engine9.3。

数据入库模块采用后台服务的形式, 无交互界面, 模块包括计时触发器、文件扫描、数据解压、元数据信息提取、属性数据入库、附件数据入库、矢量图斑生成、自动归档及入库日志记录等功能; 数据分发模块包括需求录入、分发任务列表显示、匹配查询、手动分发、自动分发及分发日志记录等功能。 2012年4— 12月, 通过02C星数据接收子系统从中国资源卫星中心接收并解压入库2级、1C级数据17.2万景、70.5 TB, 其中云量≤ 30%的数据占85%。云量≤ 30%的1C级数据在欧亚大陆覆盖情况如图6所示。

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 接收数据覆盖示意图(欧亚大陆)Fig.6 Coverage diagram of the receiving data(Eurasia)

截止到2012年12月, 通过02C星数据分发子系统向地质矿产、地质环境、土地资源3个领域累计分发1C级数据 4.2万景、15.7 TB, 其中地质矿产领域分发21 672景、地质环境领域分发3 719景、土地资源领域分发16 739景。

分发的02C星数据为基础地质调查(阿尔金成矿带遥感地质解译)、境外地质资源调查(境外厄立特里亚南部地区遥感地质解译)、矿产资源开发现状监管(西藏山南地区矿山开发状况遥感监测)、地质灾害应急调查(新源矿山滑坡遥感应急解译)、全国土地调查监测与核查(使用02C星数据制作完成75万km²土地利用遥感监测影像底图)等12个领域提供了优质数据支持, 取得了显著的社会、经济和环境效益。

02C星数据查询服务子系统部署在内部网络和外部网络, 采用B/S架构, 为网络用户提供在线数据查询服务功能。系统开发环境为Windows7, My-Eclipse8.0, FlexBuilder4.0, Oracle JDBC, ArcGIS API for Flex组件; 系统运行环境服务器端为Tomcat6, ArcGIS Server10及Oracle 11G; 系统运行环境客户端为IE7(及以上)和Flash播放器。

在内部网络的服务系统以国家测绘局1:100万基础地理信息作为底图, 外部网络以天地图投影类型为经纬度的地图和影像作为底图。内部网络服务系统数据直接来源于接收分发子系统所对应的数据库, 外部网络服务系统数据通过内外网同步更新获得。02C星数据查询服务子系统界面如图7所示。

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 数据查询服务子系统界面Fig.7 Interface of data query service subsystem