海冰作为极地系统的核心组成部分,是由海水在低温环境下冻结形成的冰盖,对全球气候系统和生态环境具有重要的调控功能^[1]。在气候效应方面,海冰通过其高反照率特性将约50%~70%的太阳短波辐射反射回大气,显著改变极区地表能量收支平衡^[2-5]; 在生态功能方面,海冰不仅为北极熊、海豹等标志性物种提供栖息、繁殖和觅食场所,还支撑着北极原住民社区的传统生计和高纬度国家的经济发展^[6-9]。特别值得关注的是,北极地区正经历着全球平均2~3倍的气候变暖速率,这种“北极放大效应”使得海冰变化不仅直接改变极区环境,还会通过海-气-冰相互作用对北半球大气环流、海洋温盐环流乃至全球生物多样性分布产生深远影响^[10-12]。

近年来,全球变暖导致的北极海冰快速消退已成为国际社会关注的重大环境问题。美国国家雪冰数据中心(National Snow and Ice Data Center,NSIDC)的观测数据显示,1979—2022年间,北极9月海冰范围每10 a减少约12.6%,海冰厚度亦呈现显著下降趋势^[13-14]。这种变化已引发一系列连锁反应,包括海岸带侵蚀加剧、极地生态系统结构改变、极端天气事件频发等^[15]。在此背景下,开展海冰动态监测与变化机理研究具有重要科学意义和现实紧迫性。当前研究主要依托多平台观测手段(包括被动微波遥感、激光高度计和浮标观测网络等)^[16]获取海冰密集度、厚度和运动参数,同时借助海冰-海洋耦合模式模拟其季节和年际变化特征。观测数据具有直接反映现实状况的优势,而数值模拟则能揭示物理过程、预测未来变化情景。二者的有机融合已成为提升海冰研究准确性和预见性的关键途径。

国际科学界已建立起较为完善的海冰数据共享体系。观测数据主要由专业机构负责管理和分发,包括NSIDC、欧洲空间局气候变化倡议和中国国家极地科学数据中心等; 模拟数据则通过世界气候研究计划(World Climate Research Programme,WCRP)组织的国际耦合模式比较计划(Coupled Model Intercomparison Project,CMIP)^[17]及其支撑平台——地球系统网格联盟(Earth System Grid Federation,ESGF)进行共享^[18]。其中,CMIP第六阶段(CMIP6)整合了全球30余个气候建模中心的输出结果,数据总量约30 PB,为海冰研究提供了前所未有的多模式集成数据集。

目前,科研人员通常需要从各数据中心的门户网站或ESGF节点查询所需数据,下载至本地计算环境后进行后续分析。这种“先下载,后分析”的模式虽然直接简便,但在处理CMIP6等海量数据集时面临严峻挑战。一方面,用户需要配置足够的存储设施和计算资源,对多数研究团队构成实质性障碍; 另一方面,国际网络性能不均衡导致的数据获取“数字鸿沟”日益凸显,严重制约了科学数据的公平获取和高效利用。

针对上述问题,本研究提出了一种创新的在线协同分析框架。以CMIP6海冰数据为范例,系统分析传统数据使用模式的局限性,研发基于云原生架构的轻量化分析技术,并通过多节点协同分析案例验证方法的可行性。论文首先剖析当前科学数据获取面临的主要障碍,继而详细阐述在线分析框架的设计理念与实现方案,最后展示该框架在多机构联合研究中的实际应用成效。

CMIP由WCRP下属的耦合模拟工作组于1995年发起,最初旨在通过比较有限的全球气候模式性能,促进模式发展和完善。经过这些年的发展,CMIP已成长为气候建模领域最具影响力的国际合作计划,其目标扩展至“推动地球系统模式发展,深化对气候系统过程的理解”。CMIP通过制定标准化的实验协议、数据格式和共享机制,为全球气候变化研究提供了坚实的数据基础。

迄今为止,CMIP已完成了6个阶段的模式比较工作。CMIP6作为最新阶段,在参与规模、实验设计和数据产出方面均达到空前水平,汇集了全球50余个建模组的100多个模式版本,涵盖了从工业革命前控制试验到未来情景预估的全套数值实验。特别值得关注的是,中国在地球系统模式研发方面取得显著进展,为国际气候研究贡献了中国智慧。

CMIP建立了一套完整的数据生产、管理和共享流程。各参与机构按照统一实验设计完成数值模拟,通过部署ESGF软件栈实现数据发布,并接入全球数据共享网络。具体流程包括: ①模式中心依据CMIP实验规范运行数值模式,生成原始输出; ②使用气候模式输出重写器(climate model output rewriter, CMOR)等工具对模式输出进行标准化处理,确保数据格式和元数据符合气候和预报(climate and forecast,CF)公约和CMIP要求; ③通过ESGF发布系统将数据上传至节点服务器,完成质量检验和元数据注册; ④气候模式诊断与比对计划(Program for Climate Model Diagnosis and Intercomparison,PCMDI)维护中央索引目录,为用户提供统一的数据发现入口; ⑤科研人员通过数据门户检索所需数据集,利用wget,Globus或Synda等工具下载至本地环境进行分析。这一数据流结构如图1所示,确保了CMIP数据的有序管理和高效共享。

尽管CMIP数据共享体系不断完善,但随着数据规模的指数级增长,传统“先下载,后分析”的模式面临严峻挑战。CMIP6数据总量已接近30 PB级别,是CMIP5的10倍以上。为评估全球不同地区的数据获取效率,本团队开发了CMIP6数据下载测速平台(http://www.cmip6speedtest.cn/),通过浏览器插件自动测试从主要数据节点下载代表性数据集的传输性能。截至2023年,来自12个国家50个城市的164位科研人员参与了测试。测试结果显示,不同国家间的数据下载性能存在显著差异,最快与最慢国家之间的速度差达35倍。具体而言,下载1 TB数据在最优网络环境下仅需约14 h,而在网络条件较差的地区则需要20.9 d。这种“数字鸿沟”不仅延缓科研进程,更可能导致研究机会的不平等。因此,探索新型数据使用模式,实现在不移动原始数据的前提下完成分布式分析,成为破解这一难题的重要方向。

为应对海量环境数据分析的挑战,本文提出了环境数据协同分析框架(Collaborative Analysis Framework for Environmental data,CAFE)。该框架基于分布式计算理念,采用Java语言开发,由部署在各数据节点的服务器端软件和面向用户的Web界面组成。CAFE的设计目标是为科研人员提供透明的分布式数据分析体验,使其能够像操作本地数据一样,便捷地发现、访问和分析分布在多个节点上的数据集,而无需关心数据的具体存储位置和传输过程。

CAFE采用模块化设计,包含4个核心组件: 数据索引模块负责管理和维护本地数据集的元数据信息; 任务管理模块处理分析任务的调度、执行和状态监控; 数据分析模块提供各类预置分析功能的运行环境; Web用户界面为研究人员提供友好的交互入口。此外,系统设有一个中心协调节点,负责维护全局节点注册信息、数据目录和分析功能库。所有节点通过标准化的RESTful 应用程序编程接口(application programming interface,API)进行通信,形成去中心化的对等网络结构。CAFE的整体架构和节点组成如图2所示。

CAFE数据节点是框架的核心执行单元,包含3个功能模块: 数据索引模块通过定期扫描本地存储,自动更新CMIP数据集的元数据信息,支持基于多种属性的高效检索; 任务管理模块接收分析请求,将其分解为可并行执行的子任务,并监控任务执行状态; 数据分析模块提供隔离的运行环境,执行用户选择的分析算法,确保计算过程的安全性和可重现性。

中心节点作为CAFE网络的协调中心,不直接存储科学数据,但维护着3个关键注册表: 节点注册表记录所有活跃数据节点的网络地址和服务状态; 数据注册表存储各节点可用数据集的元数据摘要; 方法注册表收录各节点支持的分析功能及其调用接口。这种设计既保证了系统的可扩展性,又避免了单点性能瓶颈。

CAFE通过一组标准化的RESTful API提供服务接口,主要任务相关接口如表1所示。这些接口支持完整的数据发现和分析流程: 用户首先通过筛选接口获取可用数据属性,进而查询特定条件下的数据集列表; 选择目标数据和分析方法后,通过任务提交接口创建分析作业; 系统返回任务标识符,用户可随时查询执行进度并获取最终结果。接口的调用流程和数据处理逻辑如图3所示。

CAFE的Web用户界面采用响应式设计,支持跨设备访问,包含6个功能区域: 初始化模块管理用户认证和参数配置; 搜索模块提供多维度筛选和全文检索功能; 任务提交模块引导用户选择分析方法和设置参数,完成分析任务的指定和提交; 检查任务清单模块完成所有已提交任务的管理和跟踪; 任务详情检查模块实时展示分析任务的执行状态; 结果检索模块以图表形式呈现分析结果,支持结果下载和共享。界面设计遵循人机工程学原则,确保用户操作的直观性和高效性,其工作流程如图4^[6]所示。

清华大学地球系统科学系于2022年完成了数据节点的升级部署,新增24 TB存储容量,专门用于CMIP6海冰数据的本地镜像和加速服务。数据同步采用皮埃尔-西蒙·拉普拉斯研究所(Institut Pierre-Simon Laplace,IPSL)开发的Synda工具实现,该软件支持从ESGF节点自动发现和增量下载目标数据集,并维护本地数据副本的版本一致性。目前已完成CMIP6中关键海冰变量(siconc, areacello等)的完整镜像,既支持基于CAFE的在线分析,也提供基于FTP协议的直接下载服务。清华节点的拓扑结构和数据流向如图5所示,其支持的具体数据集见表2。

为验证CAFE框架在跨机构协作中的适用性,笔者团队在相关业务部门部署了Worker模式的轻量级节点。这些节点不存储完整数据副本,而是通过安全网关与主节点建立连接,实现分析任务的转发和结果的返回。这种部署模式既满足了相关部门的数据安全要求,又使其能够充分利用联盟的分析资源和数据服务。

在中国科学院相关研究所部署的全功能节点进一步扩展了CAFE网络覆盖。这些节点具备独立的数据存储和分析能力,既可作为数据提供者向联盟贡献特色数据集,也可作为消费者利用其他节点的资源。多类型节点的协同部署验证了CAFE框架在不同应用场景和安全管理要求下的适应性。

基于CAFE框架的CMIP海冰数据分析遵循标准化工作流程: ①用户通过Web界面选择目标数据集和分析功能,系统自动验证参数合法性后提交任务; ②任务管理模块解析请求,按数据集所在位置分解为多个子任务; ③子任务被分发至相应数据节点,在本地执行分析计算; ④各节点完成计算后,将结果返回任务管理模块; ⑤系统整合所有子任务结果,生成统一的分析报告; ⑥用户通过Web界面查看可视化结果,并可下载原始数据和分析脚本。这一流程实现了“数据不动计算动”的新型分析模式,有效降低了数据移动开销,提高了研究效率。

为评估CAFE框架在处理分布式地学数据分析任务时的性能优势,本文设计了对比实验,考察计算效率、数据传输开销和可扩展性等指标。

实验设置传统模式和协同模式两种对比场景。其中,传统模式指用户从数据中心下载全部原始数据至本地后进行分析,总耗时包括下载时间和本地计算时间; 协同模式指用户通过Web界面提交任务,框架将任务分发至数据所在节点并行处理,仅返回轻量化结果,总耗时主要为任务执行时间。

实验环境由4台物理服务器组成分布式集群,硬件配置如表3所示。选取典型气候分析任务——百年尺度北半球海冰密集度经验正交函数(empirical orthogonal function,EOF)分析,使用4个国际气候模式数据集(D1—D4),分别托管于4个节点。数据集信息及实测下载性能见表4。

对单数据集(U1—U4)和多数据集(U5—U15)共15个用例进行测试,结果如表5所示。

1)单数据集分析。协同模式通过避免数据下载,效率提升显著。例如U4用例中,因数据下载缓慢(600 s),传统模式总耗时650 s,而协同模式仅需34 s,效率是传统模式的19.1倍。

2)多数据集分析。协同模式通过并行处理优势进一步扩大。在4数据集用例(U15)中,传统模式需累计下载1 258 s、计算102 s,总耗时1 360 s; 协同模式通过并行执行,总耗时仅70 s,效率是传统模式的19.4倍。

综合所有用例,协同模式平均耗时57.5 s,传统模式平均耗时747.5 s,协同模式平均效率是传统模式的13倍。

通过增加参与分析的数据集数量(4~41个)测试框架扩展性。结果显示(图6),任务规模增长至初始的10倍,但总耗时(315 s)仅增长至初始情况(70 s)的4.5倍,拟合函数是y=7.374 0x+34.395 7,表现出良好的亚线性扩展特性。

上述测试结果表明,实际性能受以下因素影响:

1)网络状况。协同模式下仅传输指令与结果,网络开销远低于传统模式的数据下载。

2)节点性能与负载均衡。系统整体效率受性能最低节点制约,需优化任务调度。

3)任务复杂度。对于计算或输入/输出密集型任务,协同模式优势更为明显。

实验证明,CAFE协同分析框架能有效规避网络瓶颈,大幅度减少大量数据下载的必要性,并能利用并行计算显著提升分布式地学数据分析效率,平均性能提升一个数量级,且具备良好的可扩展性,为应对地学大数据分析挑战提供了有效解决方案。

本文针对北极海冰研究中面临的海量分布式数据处理挑战,提出并实现了一种创新的在线协同分析框架(CAFE)。通过系统分析传统“先下载、后分析”模式在CMIP6数据应用中的瓶颈,设计并开发了基于“计算近数据”理念的分布式分析系统,验证了协同分析框架在提升科研效率方面的显著优势。

研究表明,CAFE框架通过3大核心机制有效解决了地学数据分析中的关键问题: 采用“计算近数据”架构,避免了海量原始数据的网络传输,显著降低了数据获取的时间成本; 建立分布式任务调度系统,实现了多数据源的并行分析,充分利用了各节点的计算资源; 提供统一的Web交互界面,使科研人员能够便捷地开展复杂的地学分析工作。

性能测试结果充分证明了该框架的实用价值。在15个不同规模的测试用例中,CAFE框架平均效率为传统模式的13倍,特别是在多数据集协同分析场景下,其并行处理优势更为明显。可扩展性测试进一步表明,框架在应对10倍数据集(41个)的大规模分析任务时,总耗时仅为初始的4.5倍,表现出良好的亚线性扩展特性,为未来处理更庞大的地学数据集奠定了技术基础。

本研究的创新价值主要体现在3个方面: 方法上创立了地学数据协同分析的新范式,技术上实现了分布式节点的统一调度与管理,应用上为解决科学数据“数字鸿沟”提供了可行方案。CAFE框架已在多个科研机构成功部署,为极地科学研究提供了有力的技术支撑。未来工作将围绕以下方向展开: 优化任务调度算法以进一步提升负载均衡性能,扩展更多类型的地学分析功能,以及探索框架在全球更多科研机构中的推广应用,为构建更加开放、高效的地球科学数据协作生态做出贡献。