betway

γ γ 意见(

亚马逊Elasticache对于希望以难以置信的速度处理大容量数据的客户来说,快速数据在很大程度上成为现实,比传统数据库管理的速度更快。betway88体育官网必威体育精装版app官网开发人员喜欢这个性能,简约,以及Redis的内存功能,使其成为最流行的NoSQL键值存储。Redis的微秒延迟使其成为缓存的实际选择。它对高级数据结构的支持(例如,列表,集合,以及排序集)还支持各种内存使用案例,如排行榜,内存分析,消息传递,还有更多。

四年前,作为我们AWS快速数据之旅的一部分,我们介绍亚马逊Redis Elasticache,全面管理,以微秒延迟运行的内存数据存储。从那时起,我们增加了对redis集群的支持,使客户能够更快、更可扩展的工作负载。Elasticache for Redis群集配置支持多达15个碎片,使客户能够在单个群集中运行内存容量高达6.1 TB的Redis工作负载。虽然Redis群集配置支持高性能的大型部署,调整群集的大小需要备份和还原,这意味着让集群离线。

本月早些时候,我们宣布在Elasticache内在线调整集群大小。Elasticache for Redis现在提供了从正在运行的集群中添加和删除碎片的功能。现在,您可以动态地向外扩展,甚至在redis集群工作负载中进行扩展,以适应需求的变化。Elasticache通过添加或删除碎片以及在新碎片配置中均匀地重新分配键来调整集群的大小,同时集群继续保持在线并提供请求服务。不需要更改应用程序。

弹性标度

在多年来密切关注弹性体的发展之后,我很高兴看到成千上万的客户使用Elasticache,包括Airbnb等,葫芦麦当劳土砖,ExpediaHudl抓住,多玲噢PBS在这里,育碧。Elasticache for Redis提供了可预测的微秒延迟,并且非常易于使用。我们的客户在最苛刻的应用程序中使用了用于Redis的Elasticache,支持数百万用户。无论是游戏,阿德克旅行,或者零售速度获胜,这很简单。

随着Redis使用案例的不断增长,客户在动态扩展工作负载方面要求更大的灵活性,同时继续提供高可用性并服务于传入的流量。举几个例子,最近我和几家游戏公司谈过,他们的谈话是关于速度和伸缩灵活性的需求,进进出出。它们处理基于游戏采用或季节性的工作负载的高度可变性,比如即将到来的假期。如果一个游戏排行榜因为一个新的游戏标题而激增,无数的玩家蜂拥而至,游戏平台希望在线调整集群的大小以处理更大的负载。但是随着需求的减少,他们应该能够轻松地在环境中扩展以优化成本,同时保持在线并为传入请求提供服务。

我们的零售客户在管理大型销售活动导致的工作量激增和下降方面也面临着类似的挑战。一些客户还分享了他们尝试自我管理Redis工作负载和实施在线集群调整的经验,对于脱机群集调整大小不是选项的工作负载。虽然开源Redis附带了一些原语来帮助重建集群,它们是不足的。除了自我管理的成本外,客户必须在集群调整期间处理故障。失败会使集群处于无法恢复的状态,可能导致数据丢失和延长停机时间,直到可以手动修复集群。

在Amazon,我们一直致力于代表客户进行创新。在线集群调整,我们的目标是为集群重新部署设计一个完全管理的体验,它将支持横向扩展和横向扩展,并保持开源兼容性。这是一个令人兴奋的旅程,一个思想领导和创新,使我们能够带来更多的弹性和灵活性来调整工作量,在保持可用性的同时,一致性,和性能。

罩下

在Redis集群中,密钥空间被分成插槽(16384个插槽),插槽分布在碎片上。当一个簇被重新压缩时,这些插槽需要重新分配。使用Redis的应用程序能够接收到这些信息,由于Redis客户机可以自动发现并跟上时隙分配的变化。然而,必须在服务器端手动移动插槽。集群大小调整是一个复杂的问题,因为它涉及到更改碎片数量和迁移数据,同时在同一个数据集上提供读写请求。一个扩大规模的再硬化操作涉及到添加碎片,创建重新分配插槽的计划,迁移插槽,最后在碎片之间转移插槽所有权,在插槽迁移之后。

原子槽迁移

Elasticache中的在线集群调整使用原子槽迁移,而不是开源Redis附带的原子键迁移。当密钥迁移到目标碎片时,Elasticache在源碎片处维护密钥的副本,它保留密钥的所有权,直到整个插槽及其所有密钥都被迁移。这有几个好处:

  • 因为槽中的所有密钥仍然属于源碎片,数据集从不处于槽拆分情况。这使得支持多键命令等操作变得容易,交易,还有Lua脚本,因此,在集群更新过程中提供完整的API覆盖。
  • 在进行插槽迁移时,源碎片继续支持与已迁移的密钥相关的请求。这将最小化需要客户端重定向的时间窗口,改进迁移操作期间的延迟。
  • 关键所有权属于源碎片,所以源碎片中的副本在密钥上有最新的信息。如果存在故障转移,副本可以继续提供具有最新密钥状态的命令,并且不会丢失数据。
  • 系统更为强大。任何错误,如目标内存不足,这可能会阻止移民,很容易恢复,因为源碎片拥有密钥的全部所有权。

我们还进行了其他增强。一个重要的补充是在源碎片上使用多线程操作。源碎片上的插槽迁移作为独立于主I/O线程的线程并行执行。因此,密钥迁移不再阻止源上的I/O,确保不影响可用性。此外,为了保持数据一致性,迁移操作期间的所有数据突变都异步复制到目标shard。

在线集群调整是我们为Redis客户提供的Elasticache的一个极好的补充。您可以为Redis 3.2.10群集调整Elasticache的大小,以缩小或放大,没有任何应用程序方面的更改。有关开始使用群集Redis并尝试重新硬盘群集的详细信息,看见联机群集大小调整.

我们的许多客户都和我一样兴奋:

  • 多邻国是免费的,以科学为基础,语言教育平台已经有机地成为最流行的在线学习语言的方式。每月完成用户2亿多人,语言练习70亿次,公司的使命是让教育免费,乐趣,所有人都能接触到。“亚马逊Elasticache从一开始就对我们的基础设施起到了至关重要的作用,”Max Blaze说,Duolingo的员工运营工程师。“随着我们的成长,我们已经突破了单一碎片群的极限。Elasticache for Redis Online Resharding将使我们能够随着业务增长轻松地横向扩展Redis集群,大大简化了我们众多Redis集群的管理,使我们能够快速扩展,同时降低跨缓存层的成本,并在对我们现有服务进行最小改动的情况下继续增长。

  • 梦境11,印度的一个梦幻体育平台,拥有不断增长的用户群,在南亚拥有超过1400万用户。“自去年推出以来,我们一直在使用Elasticache for Redis的分片配置,支持1400多万玩板球奇幻游戏的用户,足球,卡巴迪。峰值需求为每分钟150万个请求,工作负载快速增长10倍,我们的平台需要按需扩展,而且不需要停机。这个特性使我们能够扩展和扩展我们的平台,以支持不断变化的游戏需求,不必过度供给,”阿披实拉维说,首席信息官。

  • AT社会代码,我们的数据和智能使财富500强的营销人员能够通过利用最重要的数字媒体平台(如Facebook)来了解和联系他们的客户。Instagram,Twitter,Pinterest阅后即焚,以及YouTube,“使用Elasticache for Redis的新的在线更新功能,将允许我们在继续发布品牌数据的同时扩展我们不断增长的受众智能产品。在不停机的情况下执行这些扩展操作的能力是无价的!”

关于最新消息,看见AmazonElasticache for Redis引入了动态添加和删除碎片,同时继续提供工作负载.

评论