云数据中心是系统计算架构的终极形式。云数据中心可以完成最密集的计算任务,例如COVID疫苗的科学建模、从数十亿的数据点开发人工智能模型等等。因此,云数据中心需要在硬件、软件和基础架构方面进行巨大的投资,而这反过来又推动了性能、效率和投资回报(ROI)方面的优化。
这些需求正在推动数据中心架构的变化,使得处理器和加速器的优化正朝着基于每一种工作负载的方向发展。我们看到的例子包括定制处理器的兴起和图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、神经处理单元(NPU)的使用以及利用定制加速器处理进入或通过数据中心的数据。更多专业加速器的使用正在兴起,其中之一名为数据处理单元(DPU)或基础架构处理单元(IPU),以下简称为DPU。DPU可用于运行数据中心内特定的工作负载,包括安全、网络管理、存储管理和其他操作功能。
利用协处理器进行内部加速其实不是什么新鲜事,而上述的DPU则将协处理器的概念提升到一个新的水平。DPU并不仅仅是一个独立的处理器。DPU是加速器,可能配有专门的或可编程的处理元件,以达到加速关键数据中心任务的目的,这样做使得主要处理元件(通常是服务器处理器)可以专门用于创造收入的任务。而且,DPU也与系统架构紧密地整合在一起,可以与主机处理器和工作负载加速器紧密合作。因此,DPU可以为数据中心的处理提供重要提升。根据Nvidia提供的一些数据,其贡献可能高达2倍之多。那么,既然云计算数据中心可以受益于DPU,企业服务器也可以受益于DPU吗?答案是肯定的。
服务器这个词对不同的人和不同的行业可能会有不同的含义,但服务器实际上只是一个连接在网络上的计算资源,通常不支持通过用户界面设备直接访问,如键盘、鼠标和显示器。具备特定用户接口的客户服务或其他服务器可以通过网络访问服务器。许多云服务器可能专门用于完成特定的功能或处理某些数据类型,企业服务器则不同,企业服务器可能负责为组织内部的各种团体执行广泛的功能。我们可以把企业服务器想象成一个组织的数字瑞士军刀。
一台企业服务器可以运行制造业的库存系统,这时候就是销售部门的客户资源管理(CRM)平台,企业服务器也可能运行采购部门的发票系统,或托管工程设计应用,或为整个组织提供办公生产力工具。企业服务器需要满足各种广泛的要求,但即便这样,DPU也是有益的,甚至在某些方面比用于云环境更有益。在企业服务器上运行的各种应用都需要提供一些基本功能,包括存储和检索数据、管理网络上的数据流并确保数据的安全性,数据可能来自于广泛的数据源和消费者,消费者同时又需要访问这些数据。而DPU则正好更好地管理这些功能。此外,DPU(例如Nvidia的Bluefield)配备了加速器,可用于加速其他功能(例如运行数据分析或使用人工智能算法、效率、网络维护)或用于维护其他企业资源,例如存储或精确的时间同步。DPU整合到企业服务器中可以提高平台的整体性能,同时,通过接管那些可能不太适合传统的基于CPU主机处理器的开销任务,进而减少服务器需要的增加。
DPU的硬件和软件仍在发展,而且发展迅速,这一点值得注意。整个行业都在努力开发和实现DPU,但不同的芯片和服务器供应商提供了不同的解决方案。目前,芯片供应商AMD(Xilinx和Pensando)、Broadcom、Fungible、英特尔、Nvidia和Marvell都提供了DPU类别的产品,但在架构和功能方面存在很大的差别。
数据中心DPU的引入正在改变数据中心未来的系统架构,正如Nvidia的黄仁勋在GTC问答环节所指出的,这只是DPU的开始。DPU的使用增加后,一些功能可能会被分解成更多的专门加速器,其发展和我们现在看到的工作负载加速器一样。我们的存储可能用一颗DPU,网络用另一颗DPU,安全又用另一颗DPU。这些功能可以在独立的芯片中实现,也可以作为单独的晶粒堆叠在一起实现。实现这些加速器的最佳方式也在随着半导体制造和封装技术的发展而变化,但很明显,DPU将成为业界宠儿。TIRIAS Research认为,DPU不仅会对云数据中心的设计产生重大影响,也会对企业服务器的设计产生重大影响。
好文章,需要你的鼓励
据报道,OpenAI正准备发布一款由即将推出的Sora 2视频模型驱动的独立社交应用。该应用与TikTok高度相似,采用垂直视频信息流和滑动滚动导航。不过,该应用仅支持AI生成的内容,用户无法从手机相册上传照片或视频。Sora 2在应用内生成的视频时长限制为10秒或更短。应用还包含身份验证工具,允许用户使用自己的肖像生成视频,其他用户可以标记并在重新混合视频时使用他们的肖像。
北卡罗来纳大学研究团队通过深入分析手指触控过程中的动态特征,开发出新型触控识别算法,能够理解触控过程中的压力分布、接触面积变化等信息,比传统方法准确率提高15-28%。该技术采用分层处理架构解决计算效率问题,已在真实设备上验证效果,将为个性化交互、情感感知等未来应用奠定基础,有望显著改善用户的触控体验。
微软发布全新Agent Mode功能,支持Excel和Word中的AI代理协作。该模式可自动生成高质量文档、电子表格和演示文稿,让非专业用户也能使用复杂功能。Excel代理模式在准确性测试中达到57.2%,远超原版Copilot的20%。Word代理模式则专注于内容起草和格式优化,让写作变成对话式体验。目前已向商业用户和个人订阅用户开放。
Perfios公司研究团队开发了创新的AI理财顾问训练框架,通过行为心理学驱动的数据生成方法,让8B参数的小模型在个人理财建议方面达到了与32B大模型相当的性能,同时运营成本降低80%。该方法首次将用户心理状态分析作为独立训练阶段,显著提升了AI建议的个性化程度和人性化表达,为普及化AI理财服务提供了技术路径。