云数据中心是系统计算架构的终极形式。云数据中心可以完成最密集的计算任务,例如COVID疫苗的科学建模、从数十亿的数据点开发人工智能模型等等。因此,云数据中心需要在硬件、软件和基础架构方面进行巨大的投资,而这反过来又推动了性能、效率和投资回报(ROI)方面的优化。
这些需求正在推动数据中心架构的变化,使得处理器和加速器的优化正朝着基于每一种工作负载的方向发展。我们看到的例子包括定制处理器的兴起和图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、神经处理单元(NPU)的使用以及利用定制加速器处理进入或通过数据中心的数据。更多专业加速器的使用正在兴起,其中之一名为数据处理单元(DPU)或基础架构处理单元(IPU),以下简称为DPU。DPU可用于运行数据中心内特定的工作负载,包括安全、网络管理、存储管理和其他操作功能。
利用协处理器进行内部加速其实不是什么新鲜事,而上述的DPU则将协处理器的概念提升到一个新的水平。DPU并不仅仅是一个独立的处理器。DPU是加速器,可能配有专门的或可编程的处理元件,以达到加速关键数据中心任务的目的,这样做使得主要处理元件(通常是服务器处理器)可以专门用于创造收入的任务。而且,DPU也与系统架构紧密地整合在一起,可以与主机处理器和工作负载加速器紧密合作。因此,DPU可以为数据中心的处理提供重要提升。根据Nvidia提供的一些数据,其贡献可能高达2倍之多。那么,既然云计算数据中心可以受益于DPU,企业服务器也可以受益于DPU吗?答案是肯定的。
服务器这个词对不同的人和不同的行业可能会有不同的含义,但服务器实际上只是一个连接在网络上的计算资源,通常不支持通过用户界面设备直接访问,如键盘、鼠标和显示器。具备特定用户接口的客户服务或其他服务器可以通过网络访问服务器。许多云服务器可能专门用于完成特定的功能或处理某些数据类型,企业服务器则不同,企业服务器可能负责为组织内部的各种团体执行广泛的功能。我们可以把企业服务器想象成一个组织的数字瑞士军刀。
一台企业服务器可以运行制造业的库存系统,这时候就是销售部门的客户资源管理(CRM)平台,企业服务器也可能运行采购部门的发票系统,或托管工程设计应用,或为整个组织提供办公生产力工具。企业服务器需要满足各种广泛的要求,但即便这样,DPU也是有益的,甚至在某些方面比用于云环境更有益。在企业服务器上运行的各种应用都需要提供一些基本功能,包括存储和检索数据、管理网络上的数据流并确保数据的安全性,数据可能来自于广泛的数据源和消费者,消费者同时又需要访问这些数据。而DPU则正好更好地管理这些功能。此外,DPU(例如Nvidia的Bluefield)配备了加速器,可用于加速其他功能(例如运行数据分析或使用人工智能算法、效率、网络维护)或用于维护其他企业资源,例如存储或精确的时间同步。DPU整合到企业服务器中可以提高平台的整体性能,同时,通过接管那些可能不太适合传统的基于CPU主机处理器的开销任务,进而减少服务器需要的增加。
DPU的硬件和软件仍在发展,而且发展迅速,这一点值得注意。整个行业都在努力开发和实现DPU,但不同的芯片和服务器供应商提供了不同的解决方案。目前,芯片供应商AMD(Xilinx和Pensando)、Broadcom、Fungible、英特尔、Nvidia和Marvell都提供了DPU类别的产品,但在架构和功能方面存在很大的差别。
数据中心DPU的引入正在改变数据中心未来的系统架构,正如Nvidia的黄仁勋在GTC问答环节所指出的,这只是DPU的开始。DPU的使用增加后,一些功能可能会被分解成更多的专门加速器,其发展和我们现在看到的工作负载加速器一样。我们的存储可能用一颗DPU,网络用另一颗DPU,安全又用另一颗DPU。这些功能可以在独立的芯片中实现,也可以作为单独的晶粒堆叠在一起实现。实现这些加速器的最佳方式也在随着半导体制造和封装技术的发展而变化,但很明显,DPU将成为业界宠儿。TIRIAS Research认为,DPU不仅会对云数据中心的设计产生重大影响,也会对企业服务器的设计产生重大影响。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。