如今,亚马逊Web服务在解锁云计算的优势方面采取了非常重要的一步。Amazon EC2的集群计算机实例是专门为高性能计算应用而设计的新实例类型。具有复杂计算工作负载的客户,如紧密耦合,并行流程或对网络性能非常敏感的应用程序,现在可以通过自定义基础设施提供相同的高计算和网络性能,同时受益于弹性,灵活性和成本优势亚马逊EC2

在我的学术职业生涯中,我花了很多年的工作,如用户级网络接口,大规模高速互连,HPC软件堆栈等。在那些日子里,我的主要目标是采取高度建设的进步专用高性能集群环境,并将其转换为企业使用的商品技术。不仅适用于HPC,而且仅适用于OLTP等任务关键企业系统。今天,我很自豪能够成为亚马逊网络服务团队的一部分,因为我们真正使HPC作为每一个开发人员使用的按需商品。必威体育精装版app官网

HPC和亚马逊EC2

几乎立即在亚马逊EC2推出后,我们的客户开始使用它来实现高性能计算。早期的用户包括一些华尔街公司,他们完全了解如何平衡计算竞争优势所需结果的质量的计算规模。他们晚上已经在夜间跑了数千个复杂的蒙特卡罗模拟,以确定如何在市场上准备好。其他行业采用亚马逊EC2为HPC风格的工作负载包括药品,石油勘探,工业和汽车设计,媒体和娱乐等。

进一步的计算密集型,高度平行的工作负载已经找到了亚马逊EC2的方式,因为企业使用HPC类型的其他应用类别探索,例如用于处理商业智能应用程序的非常大的非结构化数据集。这导致了Hadoop和地图减少技术的普及的强劲增长,包括亚马逊弹性地图作为一种工具,可以通过剥夺通常与运行大型Hadoop集群的大部分繁重的升降升降来易于运行这些计算工作。

与亚马逊EC2和弹性地图一样,减少已经成功地释放一些HPC客户,以资本投资的典型挑战和相关的重型运行提升,有几种HPC工作负载的高度平行化的工作量。现有实例有几类HPC工作负载Amazon EC2的类型没有正确的解决方案。特别是这对于基于算法的应用程序已经满足 - 通常基于MPI - 这取决于频繁的低延迟通信和/或需要显着的横截面带宽。此外,许多高端HPC应用程序利用了解其内部硬件平台,通过利用特定处理器架构来实现主要的加速。开发人员在亚马逊EC2中这样做是没有简单的方法......直到必威体育精装版app官网今天。

为Amazon EC2引入群集计算实例

群集计算机实例类似于其他Amazon EC2实例,但专门设计用于提供高性能计算和网络。群集计算实例可以使用“群集放置组”分组为群集,以指示这些是需要低延迟,高带宽通信的实例。当实例放置在群集中时,它们可以访问低延迟,当传送群集中的其他实例时,不阻止10 Gbps网络。

接下来,将群集计算实例指定为处理器类型,因此开发人员可以使用Compiler架构的优化来挤出它们的最佳性能。必威体育精装版app官网Amazon EC2的启动群集计算机实例将具有2个英特尔Xeon X5570(也称为四核I7或Nehalem)处理器。

解锁HPC社区云的好处

Amazon EC2的群集计算实例为两个重要原因更改了HPC游戏:

访问可扩展的按需容量

专用高性能计算集群需要大量资本投资,其采购通常具有比许多企业类服务器系统更长的交付时间。这意味着大多数HPC系统在他们变得操作时受到一个或多个维度的约束。结果,HPC系统通常是共享资源,并且长时间的作业等待执行,许多用户必须非常小心,不超过该时段的容量分配。Amazon EC2的群集计算实例为这类高性能计算带来了云计算的优势,从而删除了前期资本投资,并使用户以所需的确切规模按需访问HPC容量。

商品化HPC资源管理

传统上,我们已经考虑了HPC作为极端专业领域;只有在美国国家研究实验室等地方发生的那种研究。这些实验室可以访问世界上最快的超级计算机,并拥有敬业的员工,以防止他们每年365天完全装载。但是,除了这些顶级超级计算机专家之外,还有更大类别的潜在的HPC用户,包括甚至在这些实验室的更多中档HPC工作负载中,如劳伦斯伯克利国家实验室,他们已经成为新群集计算实例的早期成功用户。

许多组织正在利用中档HPC系统进行企业和研究需求。鉴于这些平台的专业性质,他们需要专用资源来维护和运营,并对IT组织提供重大负担。Amazon EC2的群集计算实例消除了通常与HPC系统相关的操作负担的大量提升。不再需要硬件修补,以保持群集和跑步(我花了很多夜晚这样做;它没有荣耀)。这些实例类型是准确的方式管理,其他Amazon EC2实例的管理方式,允许用户利用他们在该区域中已经制作的投资。

更多信息

如果您正在寻找有关Amazon EC2的群集计算实例的更多信息,请访问我们的HPC解决方案页面。Jeff Barr在他的博客帖子上AWS开必威体育精装版app官网发人员博客有其他详细信息,还有一些早期的群集估计概况新闻稿。

评论