用亚马逊SageMaker加速机器学习

||评论 ()

基于机器学习(ML)的应用程序可以提供巨大的商业价值。然而,许多开发人员发现他们很必威体育精装版app官网难构建和部署。由于有这个专长,更简单的过程提出了一个显著的机会,谁想要加快ML使用公司少数几个人。

虽然AWS云,您可以访问为ML,建设,训练和部署ML车型的过程中所需的存储和处理能力有通常会阻止成功地利用这个强大的新技术的独特挑战。

挑战开始收集,清理和格式化的训练数据。在创建数据集后,必须缩放处理来处理数据,而这往往是一个拦截器。在此之后,往往是训练一个长期的过程,包括调节旋钮和控制杆,被称为超参数,即控制训练算法的不同方面。最后,搞清楚如何将模型转变成一个可扩展的生产环境往往可以为那些不这样做,行动迟缓,效率低下。

在亚马逊Web服务,我们致力于帮助您解锁通过ML数据,值通过一套完善的ML模型开发经验,支持工具和资源。必威体育精装版app官网从深学习AMI和分布式深度学习AWS CloudFormation模板,以胶子在Apache中MXNet,我们已经集中在清除路障,以发展改善。必威体育精装版app官网

我们最近还宣布了亚马逊ML解决方案实验室,这是为了帮助您加快产品和工艺中使用ML的程序。由于采用这些技术的不断发展,客户要求为ML管理服务,使之更容易上手。

今天,我们要宣布的是一般可用性亚马逊SageMaker。这种新的托管服务使数据科学家和开发人员能够快速、轻松地构建、培训和部署ML模型,而不会陷入阻碍这一进程的挑必威体育精装版app官网战。

亚马逊SageMaker提供以下功能:

  • 托管的木星笔记本,不需要设置,所以你可以开始处理你的训练数据集,并立即开发你的算法。必威体育精装版app官网
  • 一键,按需分布式训练,设置了训练后的集群眼泪就下来了。
  • 内建的高性能ML算法,重新设计以获得更快的速度、准确性和数据吞吐量。
  • 内置模型调优(超参数优化),可以自动调整算法参数的数百种不同组合。
  • 一个弹性的、安全的、可伸缩的环境来承载您的模型,使用一键部署。

在托管笔记本环境中,Amazon SageMaker负责在您的VPC中建立安全网络连接并启动ML实例。这个开发工必威体育精装版app官网作区还预装了必要的Python库和CUDA驱动程序,附加了一个Amazon EBS卷来自动持久化笔记本文件,并安装了TensorFlow、Apache MXNet和Keras深度学习框架。Amazon SageMaker还包括一些常见的示例,帮助您快速入门。

对于培训,您只需指示需要的ML实例的类型和数量,并通过单击启动培训。然后,Amazon SageMaker设置分布式计算集群、安装软件、执行培训,并在完成后拆除集群。您只需为所使用的资源付费,而不必担心底层基础设施。

Amazon SageMaker还使用内置超参数优化减少了用于调优模型的时间。该技术自动调整数百种不同的参数组合,以快速为您的ML问题找到最佳解决方案。凭借高性能算法、分布式计算、托管基础设施和超参数优化,Amazon SageMaker大大降低了构建生产系统的培训时间和总体成本。

当您准备好部署,亚马逊SageMaker提供弹性,安全,可扩展的环境来承载您的ML车型,拥有一键式部署。训练结束后,亚马逊SageMaker提供部署到EC2或其他地方的模型构件。然后,您指定ML实例的类型和数量。亚马逊SageMaker需要开展情况,部署模型,并为您的应用程序,以实现低延迟/高吞吐量的预测建立HTTPS端点的照顾。

在生产中,Amazon SageMaker管理计算基础设施,以执行健康检查、应用安全补丁和执行其他例行维护,所有这些都使用内置的Amazon CloudWatch监控和日志。

在Amazon SageMaker出现之前,您需要在使用不同框架的灵活性和单一平台的易用性之间进行权衡。在AWS,我们相信提供选择,所以Amazon SageMaker消除了这个问题。现在,您可以使用自己选择的工具,以及用于培训和托管ML模型的单一环境。

Amazon SageMaker为传统的ML提供了一套内置算法。对于深度学习,Amazon SageMaker为您提供了提交MXNet或TensorFlow脚本的能力,并使用分布式训练环境来生成深度学习模型。如果您使用Apache Spark,您可以使用Amazon SageMaker的库来利用Amazon SageMaker在熟悉的环境中的优势。您甚至可以在Docker容器中引入自己的算法和框架,并使用Amazon SageMaker来管理培训和托管环境。就像在Amazon RDS中,我们支持多种引擎,如MySQL, PostgreSQL和Aurora,我们在Amazon SageMaker中也支持多种框架。

最后,Amazon SageMaker最好的方面之一是它的模块化架构。您可以使用其构建、培训和托管功能的任何组合来适应您的工作流。例如,您可以使用构建和培训功能准备一个可生产的ML模型,然后将模型部署到边缘的设备上,比如AWS DeepLens。或者,您可能只使用它的托管功能来简化您已经在其他地方训练过的模型的部署。Amazon SageMaker架构的灵活性使您可以轻松地以最佳的组合将其优点合并到现有的ML工作流中。

亚马逊SageMaker今天,在美国东部(北弗吉尼亚),美国东部(俄亥俄州),美国西部(俄勒冈州)和欧盟西部(爱尔兰)的所有客户都可以使用。试着亚马逊SageMaker免费并且今天就开始启动!

评论

博客评论Disqus