Amazon S3的大5兆字节对象支持

γ γ 意见(

今天,Amazon S3宣布了一项新的突破,通过将支持的最大对象大小从5GB增加到5TB,从而支持具有大文件的客户。这允许客户将一个大文件存储和引用为单个对象,而不是较小的“块”。当与Amazon S3 Multipart Upload版本结合时,这极大地改进了客户在Amazon S3上上上传、存储和共享大型文件的方式。.

谁的文件大于5GB??

Amazon S3一直是一个可扩展的、耐用的和可用的数据存储库,用于几乎任何客户工作负载。然而,随着云的使用越来越多,客户希望在Amazon S3中存储的文件大小也成为对象。对于管理HD视频或数据密集型仪器(如基因组测序仪)的客户来说尤其如此。例如,Blu ray上的2小时电影可以是50千兆字节。同样的电影存储在未压缩的1080p高清格式中大约是1。5兆字节。.

通过支持这样大的对象大小,Amazon S3更好地启用了各种有趣的大数据用例。例如,电影制片厂现在可以在Amazon S3上存储和管理它们作为单个对象的高清原始文件的整个目录。任何电影或内容集合都可以轻松地拉入Amazon EC2进行按需转码,并移回Amazon S3,通过Amazon CloudFront在全词中的边缘位置进行分发。或者,生物制药的研究人员和科学家可以将基因组测序仪数据直接流入亚马逊S3,亚马逊S3释放了本地资源,允许科学家在亚马逊S3中存储、聚集和共享人类基因组作为单个对象。然后,世界上任何地方的任何研究人员都可以访问具有按需计算能力的大量基因组数据集以进行分析,例如Amazon EC2集群GPU实例,以前只提供给最大的研究机构和公司。.

多部分上传和移动大对象到Amazon S3

为了简化大型对象的上传,Amazon S3最近还发布了Multipart Upload,它允许您分部分上传对象。您可以创建并行上传,以更好地利用可用带宽,甚至在创建Amazon S3时将数据流入其中。此外,如果某个给定的上传遇到网络问题,您只需重新启动该部分,而不必重新启动整个对象,以允许您从间歇的网络错误中快速恢复。.

多部分上传不只是为大于5千兆字节的文件的客户。通过多部分上传,您可以上传大于5兆字节的任何对象。因此,我们希望对象大于100兆字节的客户在将其数据移动到Amazon S3时广泛使用Multipart Upload,从而获得更快、更灵活的上传体验。.

更多信息

有关多部分上传和管理大型对象的更多信息亚马逊S3在亚马逊S3上看到Jeff Barr的博客文章多件上传大对象支持以及Amazon S3..

评论

博客评论迪斯科