15岁生日快乐亚马逊S3 - 启动它的betway88体育官网服务

后拇指

15年是技术世界长期以来。Back when S3 launched on March 14, 2006 (also known as “Pi Day” to some), iPhones didn’t exist, neither did tweets or likes, Facebook was still only used by a few colleges and universities, and you couldn’t hail a ride or order lunch with an app.

然后,亚马逊今天的尺寸约为2%,而且比传统的IT系统能够迅速增长。我们不得不重新思考以前关于构建可扩展系统的一切。存储是我们最大的痛点之一,以及我们使用的传统系统并没有拟合亚马逊零售业务的需求。

当我们在2005年仔细研究亚马逊电子商务网站的存储时,我们意识到我们的大部分数据需要一个对象(或键值)存储。我们有亚马逊上出售的产品的图像、视频文件等,我们需要低成本和高可靠性,这在存储解决方案中是不容易得到的。当时,数据存储的全部内容都是块和文件。对象存储平台确实存在,但它们无法满足我们的需求。正如我们在最初的S3新闻稿中所述,我们需要一个满足以下设计标准的存储服务:

  • 可扩展:Amazonbetway88体育官网 S3可以在存储、请求速率和用户方面进行扩展,以支持无限数量的web应用程序。它利用规模作为优势:向系统中添加节点可以增加而不是降低系统的可用性、速度、吞吐量、容量和健壮性。

  • 可靠:持久存储数据,可用99.99%。没有单点失败。没有任何停机时间,必须通过系统容忍或修复所有故障。

  • 快速:Amabetway88体育官网zon S3必须足够快才能支持高性能应用程序。服务器端延迟与Internet延迟相比必须是无关紧要的。任何性能瓶颈都可以通过简单地向系统添加节点来解决。

  • 廉价:Amazon S3由betway88体育官网廉价的商品硬件组件构建。因此,频繁节点故障是规范,不得影响整个系统。它必须是硬件 - 不可知论,因此可以捕获节省,因为亚马逊继续推动基础架构成本。

  • 简单:建筑高度可扩展,可靠,快速,廉价的存储难。以一种方式这样做,这使得任何地方的任何应用都易于使用。betway88体育官网亚马逊S3必须做两者。

十一9

希望你们已经听过我们谈论的持久性文化。负责S3和EBS的副总裁Mai-Lan Tomsen Bukovec谈到耐用性广泛在RE:发明2019年.从一开始,S3就围绕持久性文化构建。在我们推出S3后不久,我们将耐久性设计定为99.999999999%(11秒)。对于上下文而言,在本地操作的客户通常将其数据的两个副本存储在同一个数据中心,从而提供99.99%的持久性。特殊的客户有时有两个数据中心,它们在它们之间复制数据以获得99.999%的持久性。

这些天数据丢失是不可容忍的,数据对我们的业务非常重要。我们在整个数据中心的不同机架中跨多个不同磁盘复制数据,以防止数据中心内的磁盘级别,甚至机架级,硬件故障或网络故障。我们在最少的3个可用区域中使用我们的复制模型,这些区域是不同校区的单独数据中心(有时多于一个),通常由公里分开。这可以防止站点级失败,一直到销毁整个可用区。我们还有微服务,不断解决,执行循环冗余检查(CRC),检测位腐烂和位翻转的内容并启动必要的维修。

因此,我们采取了许多步骤来保护数据不因基础设施问题而丢失,但我们也知道,软件在交付持久性方面引入了另一个层次的复杂性。因此,我们现在通过使用形式逻辑来验证S3持久性关键方面使用的算法的正确性,从而使用自动推理。结合所有这些元素,我们相信存储在S3中的客户数据比存储在高级内部企业基础设施中的数据耐用许多数量级。

提供简单,自动化的解决方案来解决困难问题

我们在推出S3:1 /我们知道我们不知道客户将使用该服务的所有方式,2 /我们知道软件正在制服的方式正在根本上变化。必威体育精装版app官网因此,我们希望保持尽可能简单的东西,然后建立我们客户告诉我们的功能。这允许我们专注于最重要的功能,然后在客户告诉我们他们如何使用S3时建立额外的功能。

过去15年来,这种持续的客户参与和产品创新模式使S3更易于大规模管理、性能更好、成本更低、更安全。这也为此后我们如何构建所有其他云服务树立了先例。在AWS Pi Week的课程中,我们在庆祝S3的生日时强调了过去的一些发布,包括S3生命周期管理、访问点(Access Points)和存储镜头(Storage Lens),但在这里,我想特别关注两个发布以及它们是如何取得成果的。S3 Intelligent-Tiering和S3 Replication Time Control的推出,正是完全可管理的、简单的、突破性的特性类型,您可以在不害怕接受大挑战和真正倾听客户意见的情况下推出这些特性。

在创建S3智能分层之前,我们花了很多时间与讨论数据管理的客户,他们如何监视访问模式,以及越来越多的应用程序开始访问共享数据湖泊。我们从这些客户学到了很多关于他们对成本优化的愿望,以定制工具在规模上监测对象的挑战,以及当访问模式进行改变时需要可预测性的需求。我们知道我们真的需要一个完整的解决方案,可以自动优化数据。这就是我们如何建立一个解决这些需求的存储类。S3智能分层是2018年推出的S3存储类,专为希望在数据访问模式改变时自动优化存储成本的客户而设计,而无需性能影响或操作开销。S3智能分层是第一个云对象存储类,通过在访问模式更改的两个访问层次访问和不常见的访问之间移动数据来提供自动成本节省 - 非常适用于具有未知或更改访问模式的数据。最近,在2020年11月,我们添加了一个存档和深度归档层到S3智能分层,因此客户可以在很少访问数据时节省更多。智能分层的核心是简单的。存储类本身根据各个对象访问提供动态定价。这种简单经验的概念,在2006年的S3旁边是真实的,今天是真的。

S3复制时间控制(RTC)的启动是另一个很好的例子。S3复制是一个完全受管理的、低成本的特性,可以在桶之间自动复制对象。在引擎盖下,RTC解决非常复杂的基础设施的挑战(自动复制任何两个地区之间的数据量的时间窗内15分钟或更少),和客户可以打开的功能通过一次单击控制台或API调用,AWS SLA。

没有其他存储提供商在区域之间的存储复制上提供SLA。S3建立了系统并提供了SLA,因为他们了解到预测复制的重要性是如何实现第1层业务关键工作负载。客户不想建立自己的数据传输和监控工具。因此,S3团队挖掘了为个人客户自动管理带宽容量,跟踪复制的进度,以及其他技术挑战。如同许多其他S3功能,S3复制时间控制,2019年推出,是深度,技术投资的高潮,但对我们的客户来说很简单,激活,易于监控,并拥有基于使用的定价。在引擎盖下,有一组复杂的系统,正在管理报告和审计,以跟踪所有出色复制任务的进度,以便准确计算每位客户恢复点。我们必须建立基础架构和自动控制平面来管理带宽分配和容量规划。我们还花了很多时间设计来提供强大的性能隔离和优先级,因此我们可以优雅地处理意外的交通浪涌。我们不得不在大规模的S3中完成这一切。这就是S3的工程 - 从简单的客户体验开始,并以缩放工程师。

数据位于一切的中心

作为分析,机器学习和人工智能已经发展到主流中,S3一直处于大中区的中心。通过将更多数据汇总到单个位置并尝试使用许多不同的工具和技术,客户可以了解他们可以在旧的基础设施上做任何不可能的事情。S3帮助客户将数据转换为皇冠珠宝。他们甚至认识到,“平凡”数据的分析,如日志,可以推动更好的建议和更好的决策,使其组织更富有成效。它允许像Irobot这样的客户主动识别其机器人的维护问题,以重播整个股票市场,以确定非法交易活动,并通过优化其制造流程节省数百万美元。它帮助像现代人加速开发Covid-19疫苗和GE Healthcare连接医疗保健提供必威体育精装版app官网者,以获得更好的合作和患者护理。这一切都归结为他们的数据更安全,耐用,耐用,并且在S3中提供的东西比其他任何地方都可以提供,并且他们知道他们能够更快地创新,以向他们的客户提供价值,以便为他们的用户提供价值。

技术比以往任何时候都更加不断变化,S3这样的服务允许这么多技术人员将所有能量放入他们的大想法并停止关注管理存储。事实上,我发现S3如此卓越的是,在接下来的几个星期和几个月里,我将花一些时间深入了解一些使S3如此特殊的领域,例如我们的耐用性和安全的方法。我们还将更多地讨论我们刚刚宣布的新S3对象Lambda功能。在这里保持调整。

所以,这是在接下来的15年的亚马逊S3以及它如何帮助客户改变世界,一次betway88体育官网一个数据集!