IBM声称将通过定制化芯片降低云端的AI模型运行成本,从而把握目前ChatGPT等生成模型掀起的市场热潮、扩大自身获利空间。
各大科技企业近期显然都希望能利用ChatGPT引起的AI关注度,但从种种现状来看,这种关注似乎正有转弱的趋势。OpenAI网站的流量在5月至6月期间估计下降了10%。
IBM表示,正在考虑使用内部原研的定制化AI芯片来降低云端Watsonx服务的运营成本。
今年5月发布的Watsonx是一款由三种产品组成的套件,专为希望借基础模型和生成式AI之力自动化/加速工作负载处理的企业客户而设计,且均能够在多种公有云及本地设施上运行。
IBM公司的Mukesh Khare在接受路透社采访时称,该公司目前正计划使用名为人工智能单元(AIU)的芯片支持IBM Cloud上运行的Watsonx服务。谈到蓝色巨人之前在Watson系统上遭遇的失败,他将原因归结于成本过高,并声称通过AIU的引入,IBM将有望发挥这些芯片的高能效优势、降低云端AI处理成本。
AIU于去年10月首次亮相,是一款具有 32个处理核心的专用集成电路(ASIC)。IBM称其衍生自支持z16大型机设备的Telum芯片中的AI加速器版本,能够接入任意计算机或服务器上的PCIe插槽。
与此同时,亚马逊也表示希望通过价格竞争吸引更多客户使用其AWS云平台,并宣布将提供更低的AI模型训练和运营成本。
云巨头AWS应用副总裁Dilip Kumar表示,ChatGPT等服务背后的AI模型需要大量算力方可实现训练和运营。而亚马逊云科技多年来积累下的核心经验,正是如何持续降低这方面成本。
据估计,ChatGPT可能用到超过570 GB的数据集进行训练,且配合使用超1000个英伟达A100 GPU。
Kumar在此前于奥斯汀举办的Momentum大会上评论称,最新一代AI模型的训练成本明显相当高昂,“而我们一直在承载大量无差别繁重工作,希望能帮助客户降低运营成本。”
Kumar认为,已经有很多组织将数据存储在AWS当中,所以选择亚马逊的AI服务也就成了顺理成章的决定。毕竟如果要将数据发送至其他应用环境,客户还得额外支付数据出口费。
但也有部分专家认为,云服务商可能还没做好满足AI服务新需求的准备。《华尔街日报》指出,新一代生成式AI模型的体量往往是上代模型的10到100倍,而且需要GPU等加速器基础设施协助加快处理速度。
亚马逊AWS EC2产品管理总监Chetan Kapoor也承认,在公有云服务商运营的基础设施当中,只有一小部分属于配备此类加速器的高性能节点。由于处理AI任务离不开这些加速器的加持,所以“供需之间存在相当严重的失衡”。
但这并没有阻挡各家云服务商扩展AI产品的脚步。Kapoor表示,AWS打算在明年扩大其AI优化型服务器集群,而微软Azure和Google Cloud据说也将新增AI基础设施。
微软去年还宣布与GPU制造商英伟达建立合作伙伴关系,双方将共同为Azure增添数万个英伟达A100和H100 GPU,为基于GPU的服务器实例和英伟达AI软件栈提供支持。
就连VMware也不甘落后,本周公布最新计划,将让生成式AI运行在其平台之上。如此一来,客户将能够轻松在VMware环境中高效操作大语言模型,甚至灵活调动跨多种云的基础设施资源。
好文章,需要你的鼓励
CPU架构讨论常聚焦于不同指令集的竞争,但实际上在单一系统中使用多种CPU架构已成常态。x86、Arm和RISC-V各有优劣,AI技术的兴起更推动了对性能功耗比的极致需求。当前x86仍主导PC和服务器市场,Arm凭借庞大生态系统在移动和嵌入式领域领先,RISC-V作为开源架构展现巨大潜力。未来芯片设计将更多采用异构计算,多种架构协同工作成为趋势。
KAIST AI团队通过深入分析视频生成AI的内部机制,发现了负责交互理解的关键层,并开发出MATRIX框架来专门优化这些层。该技术通过语义定位对齐和语义传播对齐两个组件,显著提升了AI对"谁对谁做了什么"的理解能力,在交互准确性上提升约30%,为AI视频生成的实用化应用奠定了重要基础。
Vast Data与云计算公司CoreWeave签署了价值11.7亿美元的多年期软件许可协议,这标志着AI基础设施存储市场的重要转折点。该协议涵盖Vast Data的通用存储层及高级数据平台服务,将帮助CoreWeave提供更全面的AI服务。业内专家认为,随着AI集群规模不断扩大,存储系统在AI基础设施中的占比可能从目前的1.9%提升至3-5%,未来五年全球AI存储市场规模将达到900亿至2000亿美元。
乔治亚理工学院和微软研究团队提出了NorMuon优化器,通过结合Muon的正交化技术与神经元级自适应学习率,在1.1B参数模型上实现了21.74%的训练效率提升。该方法同时保持了Muon的内存优势,相比Adam节省约50%内存使用量,并开发了高效的FSDP2分布式实现,为大规模AI模型训练提供了实用的优化方案。