在机器学习,更通常更多的是。例如,培养更多的数据来更精确的模型。

在AWS,我们将继续努力,以使制造商加快构建前沿技术,在安全,可靠和可扩展的方式。机器学习就是这样一个变革性的技术是首要考虑的不仅是CIO和CEO,也是开发者和数据科学家。必威体育精装版app官网最后回复:创造,制作的创作,培训问题,和托管ML车型更容易,更快,更可靠,我们推出亚马逊SageMaker。现在,成千上万的客户正试图亚马逊SageMaker和在AWS的数据湖泊之上构建ML车型。

同时建立亚马逊SageMaker和应用它进行大规模机器学习问题,我们意识到,可扩展性是我们需要关注的一个重要方面。因此,在设计时亚马逊SageMaker我们承担了一个挑战:打造机器学习算法,可以处理数据的无限量。这是什么,即使平均有关系吗?显然,没有客户有数据的无限量。

然而,对于很多客户,数据,他们有量是无限的没有区别。比尔 - 西蒙斯,Dataxu的CTO,州,“我们处理3万个广告请求第二 - 每次请求100000个特点也就是每天2500000个亿广告请求不是你运行的设施,工厂数据的科学问题!”对于这些客户,还有更多,“数据”的概念并不存在。它不是静态的。数据总是不断被累积。他们的回答这个问题:“有多少数据你有吗?”是“你有多少能处理?”

为了让事情更有挑战性,可以处理一个单一的大型培训工作的系统是不是如果培训工作是缓慢或贵了近不够好。机器学习模型通常是受过训练的数十或数百次。在开发过程中,必威体育精装版app官网许多不同的版本最终培训工作的运行。然后,选择最好的超参数,许多培训作业略有不同的配置同时运行。最后,每x-多分钟/小时/天进行再培训,以跟上新的数据更新模型。在欺诈或滥用预防应用的机型往往需要在几分钟甚至几秒钟新的模式反应!

为此,亚马逊SageMaker报价算法上没有区别,从无限的数据量都列车快速,便宜。这听起来像一个白日梦。然而,这正是我们所要做的。这篇文章解除对一些科学的,系统的设计和工程我们前进的道路上作出的决定的面纱。

流算法

为了处理无限量的数据,我们的算法采用流式计算模型。在流模式中,算法只越过数据集一次,并假定一个固定的内存占用量。该内存的限制排除了像存储在内存中,个人记录的随机存取数据,洗牌的数据,通过数据读几次,等基本操作

流算法是在这个意义上可无限扩展,它们可消耗任何数量的数据。加入更多的数据点的成本是独立的整个语料库尺寸。换言之,处理10千兆字节和第1000技嘉在概念上是相同的。的算法的存储器占用是固定的,因此它是保证不会记忆用完(和崩溃)作为数据的增长。计算成本和培训时间线性依赖于数据的大小。两倍的数据费用的两倍多培训,并且只要两次服用。

最后,传统的机器学习算法通常消耗从持久性数据源,例如本地磁盘,亚马逊S3或Amazon EBS数据。betway88体育官网流算法还本身消耗短暂的数据源,如亚马逊室壁运动流,管道,数据库查询结果,并且几乎任何其他数据源。

的流算法另一个显著优点是概念。该算法状态包含所有的变量,统计和数据进行更新,这是需要的,需要继续训练的结构,所有的。通过形式化这个概念,并用软件抽象促进它,我们提供检查点的能力和容错性的所有算法。此外,检查点能够为持久性数据,暂停/恢复机制,对成本效益的HPO有用的多通道/多划时代的培训和增量训练的更新的模型只用新的数据,而运行从无到有的整个培训工作。

加速与分布

当AWS客户在亚马逊SageMaker运行大型的培训任务,他们感兴趣的是降低运行时间和他们的工作成本,不论数量和种类的机器的引擎盖下使用。因此亚马逊SageMaker算法在建造时充分利用许多Amazon EC2实例类型,同时支持CPU和GPU计算以及多台机器分布。

跨实例支持在很大程度上依赖于集装箱。亚马逊SageMaker培训支持,其中包括快速的网络,并获得了底层硬件在不同的硬件加速旋转大批集装箱的强大容器管理机制,如图形处理器。例如,培训作业需要十几个小时在一台机器上运行,可以在10台机器上运行,并在一小时内得出结论。此外,交换这些虚拟机以启用GPU-那些可以减少运行时间,以分钟。这都可以不接触的一行代码来完成。

到CPU和GPU的机器之间的无缝切换,我们使用Apache MXNet到接口与底层硬件。通过设计不同类型的硬件高效运作的算法,我们的算法获得创纪录的速度和效率。

整个机器分布是通过参数服务器实现了参加训练的所有机器的存储状态。参数服务器通过更新参数设计的最大吞吐量异步和提供的参数仅松散稠度性质。虽然这些是在典型的关系数据库设计是不可接受的,机器学习,精度和速度之间的折衷是值得的。

后培养模式的调整和丰富的国家

以流传输方式来处理大规模扩展的数据集构成为模型调谐,也称为超参数优化(HPO)的一个挑战。在HPO,很多培训工作与不同的配置或训练参数运行。我们的目标是找到最好的配置,通常对应于最佳测试精度的一个。这在流媒体环境是不可能的。

对于短暂的数据源,数据不再可用于重新运行培训工作(持久化数据源,这是可能的,但效率不高)。亚马逊SageMaker算法通过训练的表现状态对象,在外面可以创建许多不同的模式解决这个问题。也就是说,有大量不同的培训配置都可以只有一个训练作业后的探讨。

概要

亚马逊SageMaker提供生产就绪,可无限扩展算法,如:

  • 线性学习者
  • 分解机
  • 神经主题建模
  • 主成分分析(PCA)
  • K-均值聚类
  • DeepAR预测

他们坚持的设计原则以上,并依靠亚马逊SageMaker强大的培训堆栈。他们是由一个厚厚的,共同的SDK,让我们在部署前对其进行全面测试运作。我们在每个算法的研究和开发投入巨资,而他们中的每一个进步的技术状态。必威体育精装版app官网亚马逊SageMaker算法训练上比任何其他开源溶液在那里更多的数据更大的模型。当比较是可能,亚马逊SageMaker算法往往超过10倍的运行速度比其他ML解决方案,如星火ML更快。亚马逊SageMaker算法通常花费美分美元至列车,在计算成本方面,并产生更精确的模型比替代品。

我认为时间是在这里为大规模生产系统中使用的大型机器学习。公司提供真正的大规模和不断增长的数据集必须不怕经营的大型ML系统或开发相关的ML诀窍的开销。必威体育精装版app官网AWS很高兴能代表我们的客户的创新,是一个思想领袖,尤其是在像机器学习令人兴奋的领域。我希望并相信,亚马逊SageMaker和其日益增长的一套算法将改变公司做机器学习的方式。

评论

博客评论由Disqus