2020年3月16日,在下午9点26分,我接到一个紧急的电子邮件从我的朋友DJ·帕蒂尔,前白宫首席数据科学家,技术负责人倾注健康,高级研究员在贝尔弗中心在哈佛大学肯尼迪学院,和顾问Venrock公司的合作伙伴。除非你的东西是相当不错的,你没有得到你的名字后,很多冠军。对于DJ,那“东西”是数学和计算机科学。

加州危机指挥中心的DJ给我写信。他解释说,他正在与全国各地的州长合作,为情景规划建立COVID-19潜在影响的模型。他想帮助他们回答一些关键问题,比如“我们需要多少张病床?”以及“如果我们暂时关闭人们聚集的地方,我们能减少传播吗?”以及“我们是否应该发布一项就地避难的命令?该命令维持多久?”“虽然没有人能预测未来,但用所有的因素来模拟病毒确实知道是他们帮助领导者做出明智决策的最好机会,这将影响成千上万人的生活。

DJ召集了一队志愿者,他们都是来自硅谷和全国各地最聪明的人。这些专业人员仿佛是在发出战斗号令后,以个人身份聚集在一起,以他们所知道的最佳方式抗击COVID-19:利用数据。

好消息是,他们有一个模型。而不是任何一种模式。DJ和他的团队一直在与一个最初由世界著名的开发必威体育精装版app官网布隆博格公共卫生学院学院)。这个模型是开源项目,使用州或县的人口数量和交通数据来模拟可能接触、感染和/或住院的人数。该模型还考虑了基于各种非药物干预措施的病毒传播,包括关闭学校和公园以及发布检疫令。

然而,该模型在运行JHSPH在本地基础设施和管道模型不能扩展到同时运行大量的场景或满足国家的需求(和潜在的世界)。这是太慢了。为了得到所需要的规模和速度,DJ和他的团队需要运行的模型云让他们把他们的本地代码AWS。这导致了另一个挑战:代码没有被充分考虑了云开始写的,所以它不能充分利用的规模和优化的可能与AWS。其结果是,DJ的团队花了1周移植和运行加利福尼亚单一的情况下,仍然不够快。

想象一下,它会需要多长时间才能扩展为49多个国家的管道。这需要在工作中的至少几个月。添加具有不同的变量多的情况会更耽误了。DJ的团队并没有那样的时间。在安东尼·福西博士,国家过敏和传染病研究所主任的话说,“你不把时间轴。该病毒使得时间表“。

DJ的团队需要能够在模型流水线上运行完整的报告,而不是几周或几个月。所以DJ来找我他希望我们帮助优化云计算的模型管道。当我有机会帮助我的朋友并支持一个可以拯救生命的项目时,我立刻说:“是的。”

当我内心拉响警报时,令人惊奇的事情发生了。全公司的人都自愿提供帮助,因为他们知道自己拥有项目所需的专业知识。没有人问:“谁对这个客户负责?”或者“谁有足够的精力来做这个项目?”大家立即行动起来。

我们想让管道模型像喷气发动机一样运行。我们必须做的第一件事是创建一个架构,在每一步都为模型加油。我们首先分析代码并重新编译关键的数值库。

接下来,我们来帮助优化模型管道。That’s when our specialist team, including the high performance computing (HPC) group, stepped in. These professionals help organizations solve some of the biggest data-related problems and tame the largest workloads, like in genomics, computational chemistry, machine learning, and autonomous vehicle simulation. They worked with members of DJ’s team, JHSPH, and some state employees non-stop through two weekends to optimize the model pipeline through re-architecture and deployment on AWS.

我们对开源JHSPH模型做出了贡献,为Amazon弹性容器注册表上的容器部署提供了持续集成和部署(CI/CD)管道。此外,我们通过AWS批处理在AWS弹性容器服务上协调了可伸缩部署策略,并集成了其他一些服务,包括Amazon S3和Amazon EC2自动伸缩。betway88体育官网要将所有这些技术结合在一起,与AWS的高水平协调至关重要。

图1:使用体系结构可扩展COVID情景管道AWS批次为


最终的结果是什么?

DJ的团队已经减少了模型管道的安装时间,并将生成完整报告的时间从一个场景的一周缩短到多个场景的不到12小时。现在,JHSPH创建的新模式正在AWS上向全美50个州和国际上推广,以帮助制定直接影响COVID-19全球传播的决策。

但这并不是故事的结尾,而是故事的开始。虽然该病毒的传播现在是全球性的,但我们尚未了解它对人类社会的全面影响。随着我们对该病毒的传播情况了解得更多,对现有模型进行迭代将是至关重要的。随着他们继续将该模式推广到更多的州和国家,并分析缓解战略的效果,为这项倡议工作的每个人将会有更多的不眠之夜。

如果您在技术、通信和/或操作方面有相关技能,请考虑加入美国数字响应团队。这是一项由志愿者发起的、无党派的努力,旨在帮助联邦、州和地方政府在技术、数据、设计、运营、通信、项目管理以及COVID-19危机期间的其他需求。https://www.usdigitalresponse.org/

评论