在网络到处都是,从机房中的一台计算机运输信息的最简单方法是将数据写入软盘,运行到计算机并从该软盘加载那里的数据。这种形式的数据传输被称为“运动鞋网”。它是高效的,因为网络只有有限的带宽,您希望为基本任务保留。

在某些方面,计算世界发生了巨大的变化;网络变得无处不在,延迟和带宽能力均匀地改善。在这个网络能力的增长旁边,我们已经能够以更大的比例延长别的东西,即我们的数据集。千兆字节数据集被认为是小的,Terabyte集是常见的地方,我们看到几个客户使用Petabyte大小数据集。

无论我们在过去的10年里提高了我们的网络吞吐量,我们的数据集都会更快地增长,这可能是一个只会在未来几年加速的模式。虽然网络可以在吞吐量中提高另一个数量级,但是确定数据集在同一时间段内将增长两个或多个数量级。

同时处理大量数据已成为常见的地方。在那里,这曾经是物理学和生物技术研究人员或商业智能的领域,现在越来越多的域名是由大型数据集驱动的。在研究中,我们看到,心理学和历史等传统的社会科学正在迁移成为数据驱动。例如,在商业世界中,没有电子商务网站可以在不挖掘大量数据的情况下运行,以优化向客户的建议。同样在系统管理域中,数据集越来越快,更快,因此备份和灾难恢复必须处理越来越大的集合。日志文件和监控也略有更多和更多相关数据。

我们的许多客户都有大型数据集,并且很乐意进入我们的存储服务并在亚马逊EC2中处理它们。然而,通过网络移动这些大型数据集可能是麻烦的。如果您查看典型的网络速度以及移动Terabyte DataSet需要多长时间:

speedtable.jpg.jpg.

根据您的网络吞吐量和数据集大小,可能需要很长时间才能将数据移动到Amazon S3中。betway88体育官网为了帮助客户将大数据集移动到Amazon S3更快,我们为他们提供了通过亚马逊的内部高速网络来执行此betway88体育官网操作的能力AWS导入/导出。

AWS导入/导出允许您将数据装载到一个或多个便携存储设备上,并将其加载到Amazon S3中。betway88体育官网对于要加载的每个便携式存储设备,清单说明如何以及在何处加载数据,以及如何将文件映射到Amazon S3对象键。betway88体育官网在将数据加载到Amazon S3之后,AWS导入/导出将betway88体育官网得到的密钥和MD5校验和存储在日志文件中,这样您就可以检查传输是否成功。

AWS导入/导出对我们必须处理大型数据集的客户有很大的帮助。我们继续倾听客户,以确保我们正在添加帮助他们解决实际问题的功能,工具和服务。有关AWS导入/导出访问的更多信息详细介绍

关于大数据集的演变和将它们移动到网络上的挑战的更多背景,您应该阅读一些文件采访吉姆灰色是在计算领域的先驱。

评论