亚马逊红移和韧性设计

||评论 (

正如您所在的Re:2012年11月的宣布,亚马逊红星是一个快速而强大,完全管理的PetByte-Scale数据仓库服务,可在不到一个十分之一的情况下提供快速查询性能,最传统的数据仓库系统的成本。I’ve been eagerly waiting for Amazon Redshift’s launch since we announced the service preview at re: Invent and I’m delighted that it’s now available for all customers in the US East (N. Virginia) Region, with additional AWS Regions planned for the coming months. To get started with Amazon Redshift, visit:http://aws.amazon.com/dedshift.

亚马逊红移和弹性

以前,我写的长度亚马逊红街如何实现高性能。今天,我将专注于亚马逊红移的耐用性和容错能力。

Amazon Redshift使用本地附加存储来提供高IO性能。为了提供数据持久性,Amazon Redshift始终维护数据的多个副本。将数据加载到Amazon Redshift群集时,它在群集中的其他节点上同步复制到多个驱动器。您的数据也会自动复制到Amazon S3,专为99.99999999%%耐用性而设计。betway88体育官网您的数据到Amazon S3的备份是连续的,增量betway88体育官网和自动的。这组合的内部复制和持续备份到Amazon S3确保您具有高度耐用的系统。betway88体育官网您只需加载数据,Amazon Redshift负责保留其余部分。

Amazon Redshift实现了许多功能,使服务有弹性驱动和数据仓库集群中的节点故障。尽管单个组件故障很少,但随着系统中的组件数量的增加,任何单个组件都会发生故障的概率也会增加。大集群中的驱动器失败的概率是单独的驱动器故障时间群集中的驱动器数量的概率。如果您有一个包含总共1,200个硬盘驱动器的50节点8xL群集,则在某些时候将不可避免地体验驱动器故障。您必须预测这些失败,并设计系统对它们的弹性。

Amazon Redshift不断监控您的数据仓库集群以获取驱动器和节点故障。如果Amazon Redshift检测到驱动器故障,它会自动使用该驱动器上的数据的其他内部内部副本来服务查询,同时还创建群集中的健康驱动器上的另一个数据副本。如果群集中的所有副本不可用,它将从S3带来数据。这对运行系统完全是透明的。如果Amazon Redshift检测需要替换节点的故障,则会自动配置并配置新节点并将其添加到群集中,以便恢复操作。

但是你需要恢复整个群集的场景呢?您可以使用任何保存的系统或用户备份来恢复群集的副本,只需点击几下。Amazon Redshift自动配置并配置群集并开始从Amazon S3的数据并行将数据从Amazon S3恢复到群集中的每个节点。betway88体育官网Amazon Redshift的Streaming Restore功能使您可以在创建新群集时立即恢复查询,并且还原基本元数据。数据本身将从背景中的S3中拉下来,或根据各个查询所需的需求。这是重要的,因为典型数据仓库中的大多数查询只访问了一小部分数据。例如,您可能在仓库中有三年的数据,但大多数查询是最后一天或一周的查询。随着热数据集被降低,这些查询将变得很快。

我一直告诉开发必威体育精装版app官网人员计划失败并在其周围设计他们的系统。性能很重要,但除非系统起来,否则它无关紧要。我很高兴看到Amazon Redshift采用分布式系统设计的声音原理,以实现Petabyte秤的可用性和耐用性。我迫不及待地想看看我们的客户如何使用该服务。

亚马逊红车和亚马逊DynamoDB

我也很高兴我们在亚马逊红星和我们的其他高度可用和耐用的服务之间建立了强大而易于使用的集成:Amazon DynamoDB。您可以将所有Amazon DynamoDB数据移动到Amazon Redshift表中,单个命令从Amazon Redshift中运行:

复制table_redshift从'dynamodb:// table_dynamodb'recentials'wes_access_key_id = xxx; aws_secret_access_key = xxx'readratio 50;

我很兴奋,每个人都可以使用亚马逊红移。我迫不及待地想看看我们的客户如何使用该服务。

评论