使用Amazon Sagemaker加速机器学习

_ _ 评论( (见表1)

基于机器学习(ML)的应用程序可以提供巨大的业务价值。然而,许多开发人必威体育精装版app官网员发现它们难以构建和部署。因为很少有人有这种专长,一个更简单的过程为那些想要加速其ML使用的公司提供了一个重要的机会。

虽然AWS云允许您访问ML所需的存储和处理能力,建造过程,培训,而部署ML模型有着独特的挑战,这些挑战常常阻碍了这种强大的新技术的成功使用。

挑战始于收集,打扫,以及格式化培训数据。创建数据集后,您必须扩展处理以处理数据,这往往是一个阻滞剂。之后,通常有一个长的培训过程,包括调整旋钮和杠杆,称为超参数,控制训练算法的不同方面。最后,对于那些不经常这样做的人来说,了解如何将模型移动到可扩展的生产环境中通常是缓慢而低效的。

在亚马逊网络服务公司,我们致力于帮助您通过ML解锁数据的价值,通过一套支持工具和资源来改进ML模型开发经验。必威体育精装版app官网从深度学习AMI和分布式深度学习AWS CloudInformation模板中,阿帕奇MXnet的Glion,我们专注于改进,消除发展的障碍。必威体育精装版app官网

我们最近还宣布了AmazonML解决方案实验室,这是一个帮助您加速在产品和流程中使用ML的程序。随着这些技术的采用继续增长,客户要求为ML提供托管服务,使开始变得更容易。

今天,我们将宣布亚马逊Sagemaker.这种新的托管服务使数据科学家和开发人员能够快速轻松地构建,必威体育精装版app官网火车,部署ML模型,而不必陷入今天减慢此过程的挑战中。

Amazon Sagemaker提供以下功能:

  • 托管的Jupyter笔记本不需要设置,这样您就可以开始处理您的培训数据集并立即开发您的算法。必威体育精装版app官网
  • 一次点击,按需分布式训练,在训练后建立和分解集群。
  • 内置,高性能ML算法,为更大的速度,准确度,以及数据吞吐量。
  • 内置的模型调整(超参数优化),可以自动调整数百种不同的算法参数组合。
  • 有弹性的,安全的,以及可扩展的环境来承载您的模型,一键部署。

在托管笔记本环境中,AmazonSagemaker负责在您的VPC中建立安全的网络连接,并启动一个ML实例。这个开发工必威体育精装版app官网作区还预装了必要的Python库和CUDA驱动程序,附加Amazon EBS卷以自动保存笔记本文件,安装TensorFlow,Apache MXNET,以及Keras深度学习框架。AmazonSagemaker还提供了一些常见的例子来帮助您快速入门。

为了训练,您只需指示所需的ML实例的类型和数量,并通过单击启动培训。然后AmazonSagemaker建立分布式计算集群,安装软件,进行培训,完成后撕掉集群。您只需为所使用的资源付费,而不必担心底层基础设施。

AmazonSagemaker还减少了使用内置超参数优化来调整模型的时间。这项技术可以自动调整数百种不同的参数组合,为您的ML问题快速找到最佳解决方案。高性能算法,分布式计算,管理基础设施,超参数优化,亚马逊Sagemaker大幅减少了培训时间和构建生产系统的总体成本。

准备好部署后,亚马逊Sagemaker提供弹性,安全的,以及可扩展的环境来承载您的ML模型,一键部署。培训结束后,AmazonSagemaker为部署到EC2或其他任何地方提供了模型构件。然后指定ML实例的类型和数量。亚马逊Sagemaker负责启动实例,部署模型,并为应用程序设置HTTPS端点,以实现低延迟/高吞吐量预测。

在生产中,AmazonSagemaker管理计算基础设施来执行健康检查,应用安全补丁,进行其他日常维护,所有这些都带有内置的AmazonCloudWatch监控和日志记录。

在亚马逊Sagemaker之前,您面临着使用不同框架的灵活性和单一平台的易用性之间的权衡。在美国焊接学会,我们相信做出选择,所以亚马逊Sagemaker解决了这个问题。你现在可以使用你选择的工具,有一个单一的培训和托管ML模型的环境。

AmazonSagemaker为传统的ML提供了一套内置算法。为了深入学习,AmazonSagemaker为您提供了提交MXnet或TensorFlow脚本的能力,并利用分布式训练环境生成深度学习模型。如果你使用Apache Spark,您可以使用AmazonSagemaker的库来利用熟悉环境中AmazonSagemaker的优势。你甚至可以带上你自己的算法和框架,在码头集装箱中,并使用AmazonSagemaker管理培训和托管环境。就像亚马逊的无线电数据系统一样,我们支持多个引擎,比如mysql,《PostgreSQL》,和奥罗拉,我们支持AmazonSagemaker中的多个框架。

最后,亚马逊Sagemaker的一个最好的方面是它的模块化架构。你可以使用它建筑的任何组合,培训,以及适合您工作流程的托管功能。例如,您可以使用构建和培训功能来准备生产就绪的ML模型,然后将模型部署到边缘设备上,例如AWS Deeplens。或者,您可以只使用它的托管功能来简化已经在其他地方培训过的模型的部署。AmazonSagemaker架构的灵活性使您能够轻松地将其优势融入到现有的ML工作流程中,无论哪种组合是最好的。

亚马逊Sagemaker今天向所有客户提供,在美国东部弗吉尼亚州)美国东部(俄亥俄州)美国西部(俄勒冈州)以及欧盟西部(爱尔兰)。试试亚马逊Sagemaker免费今天就开始吧!

评论