batway必威

γ γ 意见(

今天是亚马逊的Dynamo白皮书,这是一个里程碑,它让我反思了过去十年来数据库领域发生了多少创新,并提醒我为什么采用客户至上的方法来解决困难问题会产生超出您最初预期的持久影响。betway88体育官网

这一切都始于2004年,当时亚马逊正在运行Oracle的企业版,并进行集群和复制。我们拥有一支由数据库管理员组成的高级团队,可以访问Orbetway88体育官网acle内部的顶级专家。我们正在突破当时领先的商业数据库的限制,无法维持可用性,betway88体育官网我们不断增长的亚马逊业务需要的可扩展性和性能。

我们在Oracle上紧张的数betway88体育官网据库基础架构让我们评估是否可以开发一个专门构建的数据库,以长期支持我们的业务需求。必威体育精装版app官网我们将重点放在支持高规模的需求上,任务关键型服务,如亚马逊购物车,并且质疑传统上由关系数据库所持有的假设,例如对强一致性的要求。betway88体育官网我们的目标是建立一个具有无限可扩展性的数据库,betway88体育官网一致的性能和高可用性,以支持我们快速增长的业务的需求。

深入研究了我们如何使用现有数据库,发现它们经常不用于它们的关系功能。betway88体育官网大约70%的业务属于关键价值类型,其中只使用了一个主键,将返回一行。大约20%会返回一组行,但仍然只能在一张桌子上操作。

考虑到这些要求,愿意质疑现状,一小群分布式系统专家聚集在一起,设计了一个水平可扩展的分布式数据库,它可以扩展读写,以满足我们业务的长期需求。betway88体育官网这就是亚马逊发电机数据库的起源。betway88体育官网

我们早期使用dynamo数据库取得的成功鼓励我们编写betway88体育官网亚马逊的Dynamo白皮书并在2007年ACM操作系统原理研讨会(SoSP会议)上分享,以便行业中的其他人能够受益。Dynamo的论文受到了广泛的欢迎,并成为创建分布式数据库技术(通常称为“NoSQL”)类别的催化剂。betway88体育官网

当然,技术的改变不会孤立地发生,在NoSQL不断发展的同时,云计算也是如此。随着我们开始拓展AWS业务,我们意识到,外部客户可能会发现我们的Dynamo数据库和我们在amazon.com上发现的数据库一样有用。betway88体育官网所以,我们开始建立一个基于最初的Dynamo设计的完全托管的AWS数据库服务。betway88体育官网

对于完全托管的云数据库服务的需求需要比我们为Amazon内部系统设置的更高的标准。betway88体育官网云托管版本需要:

  • 可缩放–该服务需要支持数十万人,甚至数以百万计的AWS客户,每个都支持自己的互联网规模的应用程序。
  • 安全的–服务必须为外部AWS客户存储关键数据,这些客户需要更高的访问控制和安全条。
  • 耐用,高可用性–该服务必须具有极强的故障恢复能力,以便所有AWS客户都可以信任它,因为它们的任务关键工作负载也是如此。
  • 性能–服务需要能够维持一致的面对不同的客户工作量时的性能。
  • 可管理的–服务需要易于管理和操作。如果我们希望广泛的用户采用该服务,这可能是最重要的要求。

考虑到这些目标,一月,2012年我们推出了Amazon Dynamodb,我们的基于云的NoSQL数据库服务从一开始就betway88体育官网支持极端规模,有了保安,可利用性,运行关键任务工作负载所需的性能和可管理性。

今天,dynamodb为下一波高性能提供动力,互联网规模的应用程序会使传统的关系数据库负担过重。betway88体育官网许多全球最大的互联网规模企业,如Lyft,Tinder和Redfin以及Comcast等企业,盔甲下,宝马,Nordstrom和Toyota依靠dynamodb的规模和性能来支持其关键任务的工作负载。

DynaModb用于莱夫特为了存储所有游乐设施的GPS位置,导火线为了存储数百万个用户配置文件并进行数十亿次匹配,红鳍鱼为了扩展到数百万用户并管理数亿财产的数据,康卡斯特为在2000多万台设备上运行的XFinity X1视频服务供电,宝马要运行其车载传感器服务,在24小时内可上下扩展两个数量级,诺德斯特龙对于他们的建议,引擎将处理时间从20分钟缩短到几秒,安德玛为支持拥有2亿用户的互联健身社区,丰田车队要对停站进行实时决策,轮胎更换,以及比赛策略,另外还有100000多个AWS客户,规模广泛,高性能用例。

有了所有真实的客户使用,DynaModb已经在这些原始设计尺寸上证明了自己:

  • 可缩放–dynamodb为客户提供单表支持,每秒可处理数百万个请求,存储数百兆字节,或者包含超过1万亿项的数据。为支持2017年亚马逊黄金日,亚马逊零售史上最大的一天,dynamodb每秒提供超过1290万个请求.DynaModb运行于所有AWS区域(16个地理区域现在宣布了在巴林另外6个区域的计划,中国法国香港,瑞典)因此,您可以在所需的地理区域中拥有一个可扩展的数据库。betway88体育官网
  • 安全的–dynamodb在表中提供细粒度访问控制,项目,和属性级别,与AWS身份和访问管理集成。VPC端点使您能够控制应用程序和dynamodb之间的网络流量是通过公共互联网还是停留在虚拟私有云中。与AWS CloudWatch集成,AWS CuldTraces,而aws-config支持监控,审计,以及配置管理。SOC,PCI,国际标准化组织,FedRAMP希帕国防部影响4级认证允许客户满足广泛的合规标准。
  • 耐用,高可用性–DynaModb在服务器上保持数据耐久性和99.99%的可用性,一个服务器机架,或可用区故障。dynamodb自动将数据重新分发到健康的服务器,以确保始终存在多个数据副本,而无需干预。
  • 性能–即使流量增加,dynamodb也始终提供一位数毫秒延迟。此外,DynaModb加速器(DAX)全面管理,高度可用,内存缓存进一步加快了dynamodb响应时间(从毫秒到微秒),并且可以以每秒数百万个请求的速度继续这样做。
  • 可管理的–DynaModb无需手动进行容量规划,提供,监控服务器,软件升级,应用安全补丁,扩展基础设施,监测,性能调整,跨分布式数据中心复制以实现高可用性,以及跨新节点的复制,以实现数据持久性。所有这些都是为您自动完成的,并且没有停机时间,因此您可以专注于您的客户,您的应用程序,还有你的生意。
  • 适应能力–dynamodb智能地适应您的表的独特存储需求,通过扩展表存储空间向上的通过在多个服务器上对它们进行水平分区,或向下具有生存时间(TTL)删除标记为过期的项目。DynaModb提供自动缩放,它会根据表和索引的实际流量自动上下调整表吞吐量。默认情况下,所有新表和索引的自动缩放都处于启用状态。

十年前,我们从来没有想到我们的努力会对发电机产生持久的影响。一开始是以客户至上的方式来解决我们自己的需求,成为推动行业向非关系型数据库发展的催化剂,betway88体育官网最终,新一类互联网规模应用程序的启用程序。

正如我们在AWS上所说,对于dynamodb来说,这仍然是第一天。我们相信,我们正处于数据库变革时期,betway88体育官网像dynamodb这样专门构建的数据库的采用才刚刚开始。betway88体育官网我们预计,未来十年,在数据库方面的创新将超过过去十年。betway88体育官网我知道团队正在为dynamodb开发一些令人兴奋的新东西——我迫不及待地想在接下来的几个月里与您分享它们。

评论