MXNet - 选择深学习框架在AWS

||评论(

机器学习在我们的业务和生活的许多领域发挥着越来越重要的作用,并被用于一系列计算任务,其中编程显式算法是不可行的。

在亚马逊,机器学习一直是关键,我们的许多业务流程,从建议欺诈检测,从库存水平订分类滥用审核检测。而且还有在这里我们使用的机器有更多的应用领域广泛学习:搜索,自主无人机,在履行中心,文本和语音认可,机器人等。

在机器学习算法中,有一类称为深度学习的算法代表了这些算法,它们可以吸收大量数据,并在这些数据中学习优雅而有用的模式:照片中的面孔、文本的含义,或一个口语单词的意图。一套编程模型已经出现,帮助开发者定义和训练AI模型与深度学习;必威体育精装版app官网还有开源框架,让深度学习掌握在普通人手中。我们在AWS上支持的一些流行的深度学习框架的例子包括Caffe、CNTK、MXNet、TensorFlow、Theano和Torch。

在所有这些流行的框架中,我们得出的结论是,MXNet是最可伸缩的框架。我们相信人工智能社区将受益于在MXNet背后付出更多的努力。今天,我们宣布MXNet将成为我们深度学习框架的首选。AWS将贡献代码和改进文档,并投资于围绕MXNet的生态系统。我们将与其他组织合作,进一步推进MXNet。

AWS和深度学习框架的支持

在AWS,我们相信给客户选择的权利。我们的目标是通过提供正确的实例集、软件(ami)和管理服务,向客户提供他们所选择的工具、系统和软件。就像在Amazon rds中,我们支持多种开源引擎,如MySQL、PostgreSQL和MariaDB,在深度学习框架领域,我们将通过提供最好的EC2实例集和适合它们的软件工具来支持所有流行的深度学习框架。

亚马逊EC2,凭借其广泛的实例类型,并用大量内存的GPU,已经成为重力深学习培训的中心。为此,我们最近做了一个组可用,使其尽可能容易入门工具:一深度学习AMI,与前面提到的流行的开源深度学习框架一起预装;通过已经安装、预配置并准备就绪的CUDA驱动程序进行gpu加速;以及辅助工具,如蟒蛇和木星。必威体育精装版app官网开发者也可以使用分布式深度学习CloudFormation模板使用这个AMI来启动一个向外扩展的、弹性的P2实例集群,以便进行更大的训练运行。

随着亚马逊和AWS继续在深度学习支持的几种技术上进行投资,我们将继续在可用性、可扩展性和特性方面改进所有这些框架。但是,我们计划为MXNet做出重大贡献。

选择一个深学习框架

必威体育精装版app官网开发人员、数据科学家和研究人员在选择深度学习框架时考虑三个主要因素:

  • 能力规模到多个gpu(跨多个主机),用更大、更复杂的数据集训练更大、更复杂的模型。深度学习模型可能需要数天或数周的时间来训练,因此,即使是最温和的改进,也会对新模型的开发和评估速度产生巨大影响。必威体育精装版app官网
  • 必威体育精装版app官网发展速度和可编程性,特别是有机会利用他们已经熟悉的语言,使他们能够快速构建新车型和更新现有的。
  • 可移植性就范围广泛的设备和平台的运行,因为在内心深处的学习模式有很多很多不同的地方运行:从笔记本电脑和服务器群以极大的网络和吨计算能力来移动的,并且往往是在偏远地区连接的设备,用更少的可靠的网络,并大大减少计算能力。

对于AWS的开发人员和我们的许多客户来说,同样重要的有三件事。必威体育精装版app官网经过全面评估后,我们选择MXNet作为我们的深度学习框架,我们计划在现有的和即将推出的新服务广泛使用它。

作为这一承诺的一部分,我们将积极推动并通过代码贡献支持开源开发(我们已经取得了相当多的已经很少),提高网上和AWS开发者的体验和文档,以及支持工具投资​​的可视化,开发必威体育精装版app官网和从其他框架迁移。

背景MXNet

MXNet是一个功能齐全,灵活可编程的,和超级可扩展深度学习框架,支持的技术深度学习模式,包括卷积神经网络(细胞神经网络)和长短期记忆网络(LSTMs)的状态。MXNet有其在学术界的根,来到约在经过几个顶尖大学合作和研究人员的贡献。创始机构包括华盛顿大学和卡内基·梅隆大学。

“MXNet,出生在CMU在这里孕育,是我见过的深度学习最可扩展的框架,是什么使计算机科学这方面如此美丽的一个很好的例子 - 你有不同的学科,所有的工作这么好起来:富有想象力的线性代数在大量的分布式计算导致一个全新的球赛了深度学习一种新的方式开展工作。我们很高兴亚马逊在MXNet投资,而不能等待,看看MXNet从不断壮大”安德鲁·摩尔 - 计算机科学学院院长在卡耐基梅隆大学。

扩展MXNet

通过该深学习框架在多个内核扩展出来的效率是其特征之一。更有效的缩放允许您显著增加,在这你可以训练新模式,或显着提高模型的复杂性为相同数量的训练时间率。

这是一个领域,MXNet眼前一亮:我们培养了流行的图像分析算法,盗V3(在MXNet实施和P2实例上运行),利用GPU的越来越多。不但MXNet有我们评估(以每秒训练有素的图像的数量来衡量)的任何图书馆的吞吐量最快的,但吞吐量增长了几乎相同的速率用于训练GPU的数量(有85缩放效率%)。

必威体育精装版app官网发展与MXNet

除了可扩展性,MXNet提供在大量的编程语言,包括Python,C ++,R,斯卡拉,朱莉娅,MATLAB和JavaScript的能力,这两个混合编程模型(命令性和声明)和代码。

有效的模式和可移植性MXNet

计算效率是非常重要的(和齐头并进的可扩展性),但几乎同样重要的是内存占用。具有多达1000层深服务网络时MXNet可以消耗少至4 GB的内存。这也是跨平台移植,和核心库(具有所有依赖性)装配到一个单一的C ++源文件,并可以编译为Android和iOS。您可以使用JavaScript扩展在浏览器中运行,即使它!

了解更多关于MXNet

我们对MXNet感到兴奋。如果你想了解更多,你可以查看MXNet主页,或GitHub存储库以获取更多信息,并可以立即开始使用深度学习AMI或者你自己的机器上。我们也将举办一个学习机“国情咨文等等分组会议研讨会使用MXNet在AWS回复:幻影酒店在拉斯维加斯11月30日创造。

这仍是机器智能新时代的第一天;事实上,我们可能还没有醒来,还没有喝到我们的第一杯咖啡。有了像MXNet(和其他深度学习框架)这样的工具,以及像EC2这样的服务,这将是一个激动人心的时代。

评论

博客评论由Disqus