亚马逊红移与弹性设计

γ γ 意见(

您可能还记得我们在Re:Invent在2012年11月发布的公告,Amazon Redshift是一个快速、强大、完全管理、千兆字节规模的数据仓库服务,它以低于大多数传统数据仓库系统的十分之一的成本提供快速查询性能。自从我们在re:Invent上发布了服务预览版以来,我一直在热切地等待亚马逊红移的发布,我很高兴它现在可以面向美国东部的所有客户。Virginia)地区,计划在未来几个月增加AWS地区。要开始亚马逊红移,访问:http://aWS。亚马逊。COM/红移..

亚马逊红移与复原力

以前,我已经详细地写了关于Amazon红移如何实现高性能.今天,我将重点讨论Amazon红移的耐久性和容错性。.

Amazon红移使用本地附加存储来提供高IO性能。为了提供数据持久性,Amazon Re红移始终维护数据的多个副本。当您将数据加载到Amazon Redshift集群中时,它将同步复制到集群中其他节点上的多个驱动器。您的数据也被自动复制到Amazon S3,它是为99设计的。99999999%耐久性。将数据备份到Amazon S3是连续的、增量的和自动的。将集群内的复制和Amazon S3的连续备份结合起来,确保您拥有一个高度耐用的系统。您只需加载数据,而Amazon RealStand则负责其余部分。.

Amazon Redshift实现了许多特性,这些特性使服务对数据仓库集群中的驱动和节点故障具有弹性。虽然单个组件故障很少,但是随着系统中组件数量的增加,任何单个组件故障的概率也会增加。大型集群中驱动器故障的概率是单个驱动器故障的概率乘以集群中驱动器的数量。如果您有一个包含总共1200个硬盘驱动器的50节点8XL集群,那么您将不可避免地在某个时候遇到驱动器故障。你必须预见到这些失败,并设计你的系统对它们有弹性。.

Amazon Re红移持续监视数据仓库集群以驱动和节点故障。如果Amazon Redshift检测到驱动器故障,它会自动开始使用该驱动器上的其他集群内数据副本来提供查询,同时还在集群内的健康驱动器上创建数据的另一个副本。如果群集内的所有副本都不可用,它将从S3将数据带下来。这对于运行的系统来说是完全透明的。如果Amazon Redshift检测到需要替换节点的故障,它将自动提供和配置新节点,并将其添加到集群中,以便恢复操作。.

但是你需要恢复整个集群的场景呢?您可以使用任何已保存的系统或用户备份来通过几次单击来还原群集的副本。Amazon Redshift自动提供和配置集群,并开始并行地将数据从Amazon S3恢复到集群中的每个节点。Amazon Redshift的流恢复特性使您能够在创建新集群并恢复基本元数据后立即恢复查询。数据本身将从后台的S3中被拆掉,或者根据个人查询需要按需携带。这是很重要的,因为典型数据仓库中的大多数查询只访问数据的一小部分。例如,您可能在仓库中有三年的数据,但大多数查询引用的是最后一天或一周。随着热数据集的下降,这些查询将变得很快。.

我总是告诉PosiDeStApple,Apple Suffer-Asple,计划失败,并设计他们的系统。性能是重要的,但它不重要,除非系统是上升的。我很高兴看到Amazon Redshift结合了分布式系统设计中的合理原则,以实现以千兆字节级别的可用性和持久性。我迫不及待地想知道我们的客户将如何使用这项服务。.

亚马逊红移和亚马逊发电机

我也很高兴我们在Amazon Redshift和我们的其它高可用性和持久性服务之一Amazon DynamoDB之间建立了强大且易于使用的集成。你可以把亚马逊的DeaDoDoB数据移到亚马逊红移表中,从亚马逊红移中运行一个命令:

从“DyDoDB://Table AddioDB”凭据'AsssiAccess KythIID.xxx;AWSXEndotTyAccess密钥= XXX的读数比50;;

我很高兴亚马逊红移现在对每个人都可用。我迫不及待地想知道我们的客户将如何使用这项服务。.

评论

博客评论迪斯科