AWS发布新消费模式：为短期AI负载提供更灵活的Nvidia GPU资源

近日AWS表示，将推出一种新消费模式，主要针对那些希望为短期AI工作负载保留云托管GPU访问路径的企业。

Amazon Elastic Compute Cloud (EC2) Capacity Blocks for ML目前已经全面上市，这个模式让客户可以保留对位于Amazon EC2 UltraCluster中的“数百个”Nvidia最先进H100 Tensor Core GPU的访问权限，这些GPU主要面向高性能机器学习工作负载。

要访问EC2 Capacity Blocks，客户只需指定所需的集群大小、未来的开始日期和所需的持续时间，他们就能够确保有可靠地、可预测且不间断访问关键AI项目的GPU资源。

AWS表示，EC2 Capacity Blocks为客户解决了很多问题。如今，最强大的人工智能工作负载（例如训练大型语言模型）往往需要大量的计算能力，而Nvidia GPU被认为是用金钱可以买到的最好的硬件之一。然而，随着今年围绕生成式AI的热议，Nvidia的芯片突然出现供应短缺，没有足够的芯片供应给有需要的公司。

AWS表示，对于那些容量需求有波动的客户来说，GPU短缺尤其严重。由于他们不需要持续使用GPU，因此当他们确实需要这些资源时，可能会很难访问这些资源。为了解决这个问题，许多客户承诺购买较长时间的GPU容量，但在不使用时却将其闲置。EC2 Capacity Blocks为此类客户提供了一种更灵活的、更可预测的方式，可以在较短时间内采购GPU容量，从而为他们提供帮助。

AWS首席开发者布道师Channy Yun将EC2 Capacity Blocks预订比作预订酒店房间。他在一篇博客文章中解释说：“当你在预订酒店的时候，你可以指定想要入住房间的日期和入住时长，以及你想要的床的尺寸——例如大床或特大号床。EC2 Capacity Blocks预定也是如此，你可以选择需要GPU实例的日期、持续时间以及预留的大小（实例数量）。在预留开始日期，你就可以访问预留的EC2 Capacity Blocks并启动P5实例。”

AWS解释说，EC2 Capacity Blocks部署在EC2 UltraClusters中，并与Elastic Fabric Adapter Pt级网络互连，以确保低延迟和高吞吐量连接。正因为如此，它可以扩展到数百个GPU。客户可以提前八周预订1到64个实例的GPU集群，时间为1到14天。AWS表示，这种模式非常适合AI模型的训练和微调、短期实验运行、以及应对预期的需求激增例如推出新产品的时候。

AWS公司计算和网络副总裁David Brown表示：“借助Amazon EC2 Capacity Blocks，我们为企业和初创公司增加了一种新的方式，让他们能够以可预测的方式获取Nvidia GPU容量，用于构建、训练和部署他们的生成式AI应用。”

AWS客户现在可以使用AWS Management Console、Command Line Interface或者Software Development Kit来查找和预留GPU容量，从AWS美国东部（俄亥俄）区域开始，稍后将增加更多区域和本地区域。