扩展云——Amazon EC2的高性能I/O实例

γ γ 意见(

AWS客户将他们最苛刻的工作负载带到云上。这些包括高性能计算,为此我们介绍了集群计算和集群GPU实例类型。客户也带来了AWS的工作负载,需要专用的和高性能的IO,我们现在正在引入一个新的亚马逊EC2实例类型,高I/O四倍大(HI1)。4XBIG),满足他们的需求。.

这个HI14x大有8个核心和60个。内存5GB。最重要的是,它有2个SSD,每个1TB,以及10Gb/s以太网.,使用放置组可以直接连接到其他高I/O实例。.

SSD将提供非常高的IO性能:对于4k个随机读取,当使用PV时可以获得120000个IOPS,当使用HVM或Windows时可以获得90000个IOPS。SSD上的写性能取决于磁盘的空闲空间、碎片和文件系统的类型。随着PV虚拟化,我们看到10000和85000 IOPS之间的4K随机写入和HVM之间的9000和75000。.

使用15K rpm磁盘,最多只能看到一百个IOPS。虽然磁盘密度仍在增加,但是访问速度并没有增加,因此它们将提供良好的顺序访问,但是随机访问根本没有改进。3个TB磁盘可以在8小时内顺序读取,但是使用随机I/O.读取需要31天。磁盘正迅速开始显示出带状特性,随着现代工作负载越来越随机,它们越来越不适合作为存储系统。尽管从存储角度来看,SSD仍然更加昂贵,但是从iops的角度来看,SSD是更具成本效益的解决方案。.

BETWAY 88是一个特殊的区域,用于缩放可以从高性能I/O.获益巨大。betway88体育官网引擎的I/O要求,无论它们是关系型还是非关系(NoSQL)DBMS的,都可能非常苛刻。不断增加的随机访问和通过聚合的突发IO给任何IO子系统(物理或虚拟、附加或远程)带来了压力。我们看到这一特别高潮的一个领域是现代NoSQLDBMS,它们通常是展示大量随机访问模式的可伸缩现代Web应用程序的核心。它们需要高复制因子以获得它们所需的聚合随机IO。这些高I/O实例的早期用户已经能够显著地降低它们的复制因子,同时实现坚固的性能并显著地降低过程中的成本。读伟大的细节Netflix的使用这些实例的卡桑德拉部署。.

今年早些时候,我参加了一个由Netflix、脸谱网、TunBLR等顶级工程师组成的“扩展到无穷大”的小组。他们一致宣称,在所有的系统中,结垢瓶颈一直是最好的。这些瓶颈通常可归因于I/O系统中的约束以及在尚未为高性能I/O设计的系统中提供一致的I/O性能的挑战。这个快速普及属于亚马逊发电机它通过I/O供应接口提供一致的读/写性能,表明如果betway88体育官网可以配置成不再是瓶颈,应用程序可以变得非常简单,从而更加可靠和可伸缩。.

我期望随着以数据为中心的应用的增加,我们将看到越来越多的I/O需求系统被构建,这些系统需要这种岩石固体的高性能I/O,即hi1。4xFigd可以给你。有关新实例类型的更多详细信息,请参见EC2详细页面以及AWS..

(作为旁注:其他人观察到,使用日志结构文件系统,例如尼尔夫斯,可以显著提高SSD写入性能。

评论

博客评论迪斯科