在机器学习中,通常是更多。例如,培训更多的数据意味着更精确的模型。。

在AWS,我们继续努力使建筑商建立尖端技术更快的在一个安全,可靠,和可伸缩的时尚。机器学习就是这样一个转换技术的思想不仅对首席信息官和首席执行官,但科学家也开发人员必威体育精装版app官网和数据。最后re:发明,创作的问题,培训,和托管毫升模型更简单,更快,和更可靠,我们推出了亚马逊SageMaker。现在,成千上万的客户正在亚马逊SageMaker和建筑毫升模型数据湖泊在AWS上。。

在构建亚马逊SageMaker和应用它大规模机器学习问题,我们意识到可伸缩性是一个关键的方面,我们需要关注。所以,在设计亚马逊SageMaker我们了一个挑战:构建机器学习算法,可以处理一个无限数量的数据。可是,即使是什么意思?很明显,没有客户无限的数据量。。

尽管如此,对于很多客户来说,的数据量是区别无限。比尔•西蒙斯Dataxu首席技术官,州,,”我们处理公元300万年请求第二个- 100,000年每个请求的功能。这是公元250万亿年每天请求。不是普通的数据科学问题!””对于这些客户和更多的,”的概念数据”不存在。它不是静态的。数据总是被积累。他们对这个问题的回答”你有多少数据?”是“你能处理多少?””

为了让事情更有挑战性,可以处理一个大的系统培训工作不够近好培训工作是缓慢或昂贵。机器学习模型通常训练数十或数百次。在开发期间,必威体育精装版app官网很多不同版本的最终运行培训工作。然后,选择最佳hyperparameters,很多培训工作与稍微不同的配置同时运行。最后,执行部门每x-many分钟/小时/天保持更新新的数据模型。在欺诈或滥用预防应用程序中,模型通常需要对新模式在几分钟甚至几秒钟!!

为此,亚马逊SageMaker提供算法训练indistinguishable-from-infinite的数据量迅速而廉价地。这听起来像一个白日梦。尽管如此,这正是我们着手做的。这篇文章将面纱的一些科学、系统设计、和工程所做出的决策。。

流算法

处理无限数量的数据,我们的算法采用流计算模型。在流模型中,该算法只通过一次数据集和假设固定内存足迹。这个内存限制排除了基本的操作,比如将数据存储在内存中,随机存取个人记录,移动数据,阅读几次的数据,等。。

流算法是可伸缩的,他们可以使用任何数量的数据。添加更多的数据点的成本是独立于整个语料库的大小。换句话说,处理10 g和1000 g的概念上是一样的。算法是固定的内存占用,因此保证不要耗尽内存(崩溃)随着数据的增长。计算成本和培训时间线性依赖于数据的大小。训练数据的两倍成本的两倍,花两倍的时间。。

最后,传统的机器学习算法通常使用数据持久数据来源如本地磁盘,Amazon S3,或亚马逊EBS。流算法本身也短暂的消费数据来源如亚马逊运动流,管道,betway88体育官网数据库查询结果,和几乎所有其他数据源。。

另一个明显的优势流算法的概念状态。该算法包含所有变量的状态,统计数据,和数据结构需要进行更新,也就是说,需要继续训练。通过形式化概念和促进软件抽象,我们提供检查点功能和故障弹性对所有算法。此外,检查点使多路/ multi-epoch培训持久数据,暂停/恢复机制,对成本效益HPO很有用,和增量更新模型的训练只有新的数据,而从头运行整个培训工作。。

加速度和分布

当AWS客户在亚马逊SageMaker运行大规模的培训任务,他们感兴趣的减少他们的工作的运行时间和成本,无论使用的机器的数量和种类。因此,亚马逊SageMaker算法是用来利用许多Amazon EC2实例类型,同时支持CPU和GPU计算,在许多机器和分发。。

Cross-instance支持在很大程度上依赖于集装箱化。亚马逊SageMaker培训支持强大的容器管理机制,包括旋转与快速大量的容器在不同硬件网络和访问底层硬件,比如gpu。例如,培训工作,需要十个小时运行在一台机器上可以运行机器和10日在一小时内结束。此外,这些机器切换到GPU-enabled的运行时间可以减少到几分钟。这都可以没有动人的一行代码。。

CPU和GPU之间无缝切换的机器,我们使用Apache MXNet与底层硬件接口。通过设计算法,在不同类型的硬件上,有效运作我们的算法获得记录的速度和效率。。

分布在机器通过一个参数来实现服务器存储所有机器的状态参与培训。服务器的参数是专为最大吞吐量通过更新参数异步和只提供宽松的一致性的属性参数。虽然这些是不可接受的典型的关系型数据库的设计,betway88体育官网机器学习,精度和速度之间的权衡是值得的。。

岗位培训模型调优和发达国家

处理大规模可伸缩的数据以流的方式构成了挑战模型调优,也称为hyperparameter优化(HPO)。在HPO,许多培训工作与不同的配置或运行参数。我们的目标是找到最好的配置,通常一个对应于最好的测试精度。这是不可能的在流媒体设置。。

短暂的数据源,重新运行的数据不再可用的培训工作(对持久性数据来源,这是可能的但效率低下)。亚马逊SageMaker算法解决这个训练有素的表达状态对象,可以创建许多不同的模型。也就是说,大量不同的培训配置可以探索后只有一个培训工作。。

总结

亚马逊SageMaker提供生产就绪,无限可扩展算法如:

  • 线性的学习者
  • 分解的机器
  • 神经的话题建模
  • 主成分分析(PCA)
  • k - means聚类
  • DeepAR预测

他们坚持上述设计原则,依靠亚马逊SageMaker健壮的训练堆栈。他们正在实施由厚,常见的SDK允许我们部署之前,必须对它们进行彻底的测试。我们已经投入巨资在每个算法的研究和开发,必威体育精装版app官网和他们每一个人进步的艺术。亚马逊SageMaker算法训练模型更多的数据比任何其他的开源解决方案。当一个比较是可能的,亚马逊SageMaker算法通常运行超过10倍的速度比其他像火花毫升毫升解决方案。亚马逊SageMaker算法通常成本面值的火车,计算成本,比选择和产生更精确的模型。。

我认为这里的时间是在大规模生产中使用大规模机器学习系统。公司真正的巨大和日益增长的数据集必须没有恐惧的开销操作大型毫升系统或开发相关的ML诀窍。必威体育精装版app官网代表客户的AWS高兴地创新和思想领袖,特别是在激动人心的机器学习等领域。我希望和相信亚马逊SageMaker和其不断增长的算法集将改变公司做机器学习的方式。。

评论

博客评论的Disqus