今天 ,AWS在AWS re:Invent大会推出两款新一代自研芯片,用于通用云计算和高效AI训练,分别是Graviton4 和 Trainium2。
AWS使用基于Arm的Graviton系列处理器为客户提供高性能并降低成本,以处理Amazon Elastic Compute Cloud(EC2)中的各种云计算工作负载。据Amazon称,与当前的Graviton3这一代处理器相比,Graviton4的计算能力提高了30%,核心数量增加了50%,内存带宽增加了75%。
AWS计算和网络副总裁David Brown表示:“Graviton4标志着我们在短短五年内推出的第四代芯片,是我们为各种工作负载打造的最强大的、最节能的芯片。芯片支撑着每个客户工作负载,这是AWS创新的一个关键领域。”
Amazon自2018年以来一直在使用Graviton1构建自己的定制芯片,为A1 EC2实例提供动力。每一代Graviton都带来了更高的性能、效率和更低的成本。2021年,Brown曾表示,Graviton的上市为AWS生态系统带来了重大增长,因为客户看到工作负载立即就得到了改善。
截至目前,AWS在全球提供超过150种不同的、支持Graviton的Amazon EC2实例,并且已经部署了超过200万个Graviton处理器。
AWS最新的内存优化型Amazon EC2 R8g实例将支持Graviton4处理器,让客户能够大规模改进高性能数据库、内存缓存和大数据分析工作负载的运行。R8g实例将提供比当前R7g实例多3倍的大容量虚拟CPU和3倍的内存。Amazon表示,新的R8g实例目前已推出预览版,计划在未来几个月内全面上市。
Trainium2:专为云端AI训练设计的下一代芯片
随着当今生成式AI应用背后的AI基础模型和大型语言模型变得越来越大,它们需要处理大量数据集,意味着训练模型的时间和成本也在不断增加。那些最大的、最先进的模型可以扩展到数千亿到数万亿个数据点,可以生成文本、图像、音频、视频和软件代码。
今天,AWS发布了Trainium2,一款专门用于训练FM和LLM的高性能芯片,具有多达数万亿个参数,训练性能是第一代芯片的4倍,内存容量是其3倍。AWS还表示,该芯片的能效比第一代提高了2倍。
Brown表示:“随着人们对生成式AI兴趣日益高涨,Trainium2将帮助客户以更低的成本和更高的能源效率更快速地训练他们的机器学习模型。”
Trainium芯片充当了高性能人工智能和机器学习工作负载的深度学习算法AI加速器,还针对训练AI应用中使用的自然语言处理、计算机视觉和推荐模型进行了优化,例如文本摘要、代码生成、问答、图像和视频生成。
Trainium2将在新的Amazon EC2 Trn2实例中提供,其中单个实例包含16个Trainium2芯片。客户将能够在下一代EC2 UltraCluster中将这些实例扩展到多达10000个Trianum2芯片,并与AWS Elastic Fabric Adapter的Pb级网络互连,能够提供高达65 exaflops的计算能力。Amazon表示,按照这样的规模,客户将能够在一周内而不是几个月培训多达3000亿个参数的大型语言模型。
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。