使用高性能计算和机器学习了解气候变化

post-thumb

随着COVID - 19大流行继续将我们许多人隔离在家中,我们的日常行为基本上已经集体停止。随着城市、道路和公共空间的清空,直接影响是显而易见的。关于大自然与曾经属于人类的空间交织在一起的报道令世界各地的观众感到震惊。土狼悠闲地漫步在金门大桥旁穿过旧金山的街道,威尼斯的运河畅通无阻鱼类丰富,三十年来第一次从印度看到的喜马拉雅山(https://www.insider.com/himalayas-seen-from-india-pollution-drop-coronavirus-lockdown-2020-4)只是流行文化所带来的一些例子。

与此同时,随着惨烈的野火肆虐太平洋海岸,以及已经创纪录的2020年大西洋飓风季节正在进行,许多人感到了采取环境行动的沉重动力。

这些只是几个例子,它们表明了科学家多年来一直致力于理解的具有挑战性和复杂的问题:气候变化。如今,科技比以往任何时候都更能帮助科学家理解和解开遍布地球的错综复杂的因果关系。

气候变化的科学

历史上,研究气候变化的经典方法需要大量乏味的体力劳动。这些方法通常涉及微分方程、微积分、混沌理论和蝴蝶效应,所有这些方法都被用来尝试和理解环境的变化以及这些影响的可能原因或促成因素。元胞自动机方法在流体动力学等复杂系统的建模中也很有帮助。

对于所有这些方法,尤其是在气候科学的背景下使用时,它们需要大量的数据。从无数的来源收集这些信息,并标记一个高质量的数据集,在某些情况下是难以捉摸的,在另一些情况下是压倒性的。在某些情况下,这些数据是相对静态的,如海洋表面温度,而另一些数据则是动态的,如洋流变化,这为研究增加了更有趣和可能有价值的见解。

然而,除了资金最雄厚的组织和机构外,存储如此大量的数据对所有人来说都是非常昂贵的,而这只是这个过程的开始。在这个高质量数据的基础上,气候科学的下一步是惊人的计算密集型。

在云中普及高性能计算

解决大型科学和工程问题,如预测天气或模拟洋流,需要研究人员利用巨大的计算能力。对于大多数组织来说,如此庞大的计算量是难以企及的,甚至对于那些有能力负担它的组织来说也是如此。在本地运行高性能计算(HPC)集群需要大量的前期资本支出、漫长的采购周期和定期硬件更新以避免过时。今天,在云计算中按需配置大规模并行计算集群的能力使以前仅限于政府实验室和选定的学术组织的服务能够提供给更广泛的受众。

然而,即使仅仅几年前云被认为是只适合跑“高度平行”工作负载,因此不适合许多“紧耦合”的代码,就像天气建模和气候研究的其他领域,依靠快速、高效的工作运行时计算节点之间的通信。这些应用程序通常要求本地计算的数据全局分布(通过HPC集群互连),以便频繁地重新计算,直到满足某些收敛准则。

如今,情况已不再如此。通过云中的分布式高性能计算,研究人员能够使用广泛的计算优化和加速计算EC2实例(例如C5n和P3dn实例),通过像Elastic Fabric Adapter这样的网络接口,这些实例可以扩展到数千个核,从而加快气候科学的步伐。像EC2 Spot实例这样的产品,可以让客户以高达90%的折扣利用AWS云中的未使用的EC2容量,让创新者更容易获得做气候科学的能力,也让已经在做气候科学的人更经济。

例如,Maxar技术-一家专门制造通信、地球观测和在轨服务卫星、卫星产品和相关服务的空间技术公司-使用AWS提供天气预报的速度比NOAA的超级计算机快58%。虽然天气预报模型传统上运行在大型、本地、高性能计算机上,但Maxar开发了一套驻留在AWS云中的架构,允许科学家以更灵活、可扩展的方式运行天气预报模型。必威体育精装版app官网

Maxar在AWS云计算资源上运行数值天气预报(NWP)应用程序。项目的成功依赖于Maxar能够运行它的数值天气预报应用程序更快比NOAA的超级计算机,因为这就是允许Maxar提供天气预报数值天气预报应用程序生成的客户提供更大的交货期,引导更多的和及时的决策。Maxar也利用了AWS ParallelCluster,这是一个开源集群管理工具,通过一个简单的文本文件可以轻松地部署HPC集群,自动建模并提供资源。该项目为Maxar监测气候变化做出了贡献,参与了诸如测量空气污染,理解飓风的破坏协助野火应对工作,等等。

在优化过程中,Maxar构建了37个不同的HPC集群配置,以测试有限体积立方球形全球预测系统(FV3GFS)应用程序,从252个核到超过1.1万个核。每个集群都是使用AWS ParallelCluster构建的,以确保一致的配置和部署。整个工作流从集群自旋到集群自旋都是自动化的。每天重新分配HPC集群资源(EC2实例、EBS卷、FSx Lustre)。执行工作流使用一系列带有SNS通知的Step和Lambda函数实现自动化。CloudFormation堆栈为工作流构建AWS资源,这些资源可以部署在任何AWS区域,只需要进行最小的修改。

Maxar目前在c5.18xlarge和c5n上运行该应用程序。18xlarge AWS EC2实例。24个案例研究集群配置利用c5n。使用EFA网络适配器的18xlarge,而其余的13个配置使用使用TCP网络的c5.18xlarge实例。所有配置都使用14TB的Lustre文件系统FSx,该文件系统具有跨12个对象存储目标(ost)的渐进式文件布局(PFL)。

AWS为运行HPC应用程序提供了最具弹性和可扩展的云基础设施。通过几乎无限的容量,工程师和研究人员可以创新,超越本地HPC基础设施的限制。

机器学习是应对气候变化的关键

与HPC配对,机器学习(ML)使科学家能够灵活地查看气候数据,根据过去的事件调整数据分析,以更准确地模拟未来。这种方法可以帮助研究人员解决气候系统的巨大复杂性,并帮助他们更好地理解影响天气的许多微妙相互作用之间的联系。

ML模型还有助于填补数据中的一些噪声点或漏洞——称为多重推断——以创建类似的数据或合成数据,并在某些信息太困难或不可能检索时进一步加速气候科学。简而言之,ML可以对未知的事物进行预测,加速我们对气候科学的理解,并生成更准确的模型。

在牛津大学,包括大气物理学教授Philip Stier和博士后研究员Duncan Watson-Parris在内的研究人员的努力中,ML和气候科学迅速发展的结合是显而易见的。Stier和Watson-Parris专注于了解气溶胶如何影响云层——它们影响什么样的云层,这些变化发生在哪些地区(同样重要的是,哪些地区不会发生),以及它们有多普遍。


D沃森-帕里斯等。doi.org/10.1002/essoar.10501877.1)

一种量化的方法是通过船舶轨迹——船舶通过云甲板下排放的气溶胶使云层变亮。虽然通常是很多可变性气溶胶的影响,船舶跟踪形式由于定义良好的污染源在其他地方几乎没有污染,使他们能够更好地隔离一定量的污染会导致某些云变化随着时间的发展和演变。必威体育精装版app官网

利用卫星图像和数千个手工记录的船舶航迹实例,他们正在训练ML模型,以便在其他卫星图像中找到船舶航迹,并且,最终,将使用这个定义良好的场景来创建一个全球平均效应,并扩大到船舶航迹之外。Stier和Watson-Parris也在使用机器学习技术来检测和理解云中开放细胞结构的口袋的影响。为了大规模训练这些模型,他们依赖于深度学习,这让他们可以轻松启动Amazon EC2上的VM,并激活预配置的深度学习环境,并运行TensorFlow等框架。

Stier和Watson-Parris也在使用机器学习技术来检测和理解云中的开放细胞口袋(POC)的影响。他们开发了必威体育精装版app官网一个两步机器学习模型(在对卫星图像进行了更多的手工标记之后),使用预先训练的ResNet-152作为初始掩模,然后通过resnet - unet来细化POCs的边缘。在那里,他们使用Amazon的EC2 P3.8xlarge实例训练模型,并使用存储在S3上的数据运行推断。


D沃森-帕里斯等。doi.org/10.1002/essoar.10501877.1

除了使用AWS深度学习AMIs和亚马逊SageMaker等服务外,牛津和亚马逊还通过iMIRACLI(创新机器学习以限制气溶胶云气候影响)进行合作,这是欧盟H2020资助的研究生项目,汇集了欧洲各地领先的气候和机器学习科学家与非学术伙伴,以教育新一代气候数据科学家——有15名博士生参与。

气候变化科学的未来在云端

在比较数据中心对气候的影响时,云供应商与本地供应商在资源利用、能源效率和电力组合方面的优势是显而易见的。

一个典型的大型云提供商大约可以达到65%的服务器利用率相比之下,本地服务器占15%,这意味着当公司转向云计算时,他们提供的服务器数量通常少于本地服务器的¼。此外,典型的本地数据中心是效率低29%与使用世界级设施设计、冷却系统和工作负载优化设备的典型大型云提供商相比,它们在电力使用方面表现得更好。除了需要更少、更节能的服务器外,AWS等大型云服务提供商使用的是一种混合电源降低28%的碳强度与全球平均水平相比,云客户最终可以减少88%的碳排放。

气候变化是我们这个时代最困难的问题之一,如果我们找不到有意义的解决方案,后果可能会影响到我们和我们孩子的未来。在这一领域实现变革需要学术界、政府、工业界、非营利组织和社会的共同努力。这需要独创性、创新和规模。云上的高性能计算和机器学习将是了解和应对气候变化的科学见解的关键。

在亚马逊,我们随时准备支持像牛津和其他公司这样的客户应对这一不断演变的挑战。我们致力于通过可再生能源应对气候变化,并继续投资世界各地的能源项目,包括在瑞典、爱尔兰和弗吉尼亚等地的太阳能农场和风力农场。这些项目将有助于为我们的数据中心提供清洁能源,这些数据中心为亚马逊和AWS全球数百万客户提供能源。

评论的Disqus