亚马逊网络服务公司(AWS)近日宣布,将推出第四代最节能的高性能定制芯片Graviton4,用于云计算工作负载。
AWS使用基于Arm的Graviton系列处理器为亚马逊弹性计算云(Amazon Elastic Compute Cloud)中现有的各种云计算工作负载提供高性能并降低成本。AWS EC2产品管理总监Rahul Kulkarni 在接受SiliconANGLE采访时表示,Graviton4是对Graviton3的重大升级,计算能力提高了30%,内核增加了50%,内存带宽增加了75%。
Kulkarni表示,Graviton平台始于2018年的Graviton1,它涉及EC2平台背后名为Nitro的基础技术,后者是一种轻量级管理程序,可以实现计算、存储、内存和网络选项的虚拟化。当时,AWS 希望提供一个完整的计算平台堆栈,而Graviton基于Arm的架构效果很好。
Kulkarni表示:“随着一代又一代产品的推出,我们扩大了Gravito适用的工作负载范围。” 第一代产品作为网络应用的概念验证,第二代产品扩大了扩展工作负载的范围,第三代产品内置了浮点运算、机器学习功能和高性能计算。
Kulkarni补充表示:“我们排名前100的客户全部都在Graviton上运行生产工作负载,我们有超过5万名客户在实际使用Graviton。”
目前,Graviton处理器在EC2上有150多种不同的实例类型,它们代表了不同的“样式”,可提供不同的计算、内存和存储属性,满足客户的需要。据亚马逊称,该公司迄今已在30个地区设计、测试和部署了200多万个Graviton CPU。
发布之后,Graviton4 芯片将在Amazon EC2 R8g实例中提供,该实例允许客户提升大规模运行的高性能数据库、内存缓存和大数据分析工作负载执行。R8g实例样式支持每个虚拟处理器 8 GB内存,最多可扩展到192个处理器。Kulkarni表示,这将是推出的第一种实例类型,但计划是要让Graviton4可以实现每一种x86实例系列。
亚马逊表示,SAP、Epic Games和SmugMug等的大客户已经注意到使用Graviton4的R8g实例带来的显著收益。
Honeycomb的现场首席技术官Liz Fong-Jones在接受SiliconANGLE采访时表示:“我们掌握的数据显示,Graviton3和Graviton4的性能提升幅度在25%到35%之间。”Honeycomb是一个全栈软件可观察性平台,从2021年左右的Graviton2开始就一直在使用 Graviton 芯片,并且早就投资转向基于Arm的架构。
Fong-Jones表示,从基于x86 的芯片转换到Graviton 时,整体性能“尾部延迟”(即应用程序响应大多数请求所需的时间)大为改善。然后,随着 Graviton 处理器一代又一代地推出,处理更大的工作负载成为可能。
Fong-Jones表示:“从 Graviton2 到 Graviton3,现在又从 Graviton3 到 Graviton4,我们看到的是尾部延迟保持稳定,性能非常稳定。我们看到吞吐量大幅提高,而完成特定工作负载的CPU利用率在降低。”“这意味着在同样的规模下,你可以在既定数量的实例上处理更多的工作负载。”
鉴于第一块 Graviton 芯片于2018年从 AWS装配线上下线,该公司已经以平均不到一年半产出一款芯片的速度生产出了定制芯片。当被问及公司是否打算保持这种节奏时,Kulkarni表示:“绝对、绝对、绝对会是这样!”
Kulkarni补充表示:“这不是空谈。”“这是基于过去历史的展望,这很大程度上取决于我们的创业实验室和芯片团队的成熟度,他们能够以这种可预测的速度提供这种质量的芯片。”
他解释说,AWS 无法承受任何新一代产品的多次迭代,因为硅片价格的波动可能意味着成本结构的上升。这可能会影响公司帮助客户节省成本的能力,而这一点正是主打性价比的Graviton 系列芯片的核心宗旨。
好文章,需要你的鼓励
亚马逊云服务部门与OpenAI签署了一项价值380亿美元的七年协议,为ChatGPT制造商提供数十万块英伟达图形处理单元。这标志着OpenAI从研究实验室向AI行业巨头的转型,该公司已承诺投入1.4万亿美元用于基础设施建设。对于在AI时代竞争中处于劣势的亚马逊而言,这项协议证明了其构建和运营大规模数据中心网络的能力。
Meta FAIR团队发布的CWM是首个将"世界模型"概念引入代码生成的32亿参数开源模型。与传统只学习静态代码的AI不同,CWM通过学习Python执行轨迹和Docker环境交互,真正理解代码运行过程。在SWE-bench等重要测试中表现卓越,为AI编程助手的发展开辟了新方向。
当今最大的AI数据中心耗电量相当于一座小城市。美国数据中心已占全国总电力消费的4%,预计到2028年将升至12%。电力供应已成为数据中心发展的主要制约因素。核能以其清洁、全天候供电特性成为数据中心运营商的新选择。核能项目供应链复杂,需要创新的采购模式、标准化设计、早期参与和数字化工具来确保按时交付。
卡内基梅隆大学研究团队发现AI训练中的"繁荣-崩溃"现象,揭示陈旧数据蕴含丰富信息但被传统方法错误屏蔽。他们提出M2PO方法,通过改进数据筛选策略,使模型即使用256步前的陈旧数据也能达到最新数据的训练效果,准确率最高提升11.2%,为大规模异步AI训练开辟新途径。