谈到Arm芯片在云端环境的部署,大部分讨论都集中在效率、核心密度和性能可预测性等方面。
然而,亚马逊云科技认为,其Arm芯片完全可以在性能和性价比方面也表现出强大的竞争力,特别是Graviton 3E处理器甚至有望在向来以要求严苛著称的HPC市场上一展身手。
AWS于2022年初展示了其第三代Graviton处理器。这款包含550亿晶体管的芯片封装有64个运行频率为2.6 GHz的Arm兼容核心,并由速度更快的DDR5内存提供300 GB/秒的内存带宽。随后于2022年11月,这家云巨头又推出了Graviton 3E,新产品针对HPC和网络作业进行了调整,面向浮点与向量数学做出优化。亚马逊表示,该芯片的浮点和向量计算性能提升了约35%,而在Linpack基准测试中的性能约为标准版Graviton 3的两倍。
除CPU之外,亚马逊还展示了更新之后的Elastic Fabric Adapter (EFA) 低延迟网络接口,用于将多个Graviton实例对接起来。
这两款产品都将登陆AWS Hpc7g实例,具体提供三种SKU,分别向客户开放16、32和64个Graviton 3E核心。除核心数量之外,这些实例的其他配置基本相同,均支持Amazon Elastic Block Storage服务、配备128 GB DDR5内存,以及由EFA提供的200 Gb/秒网络。
根据亚马逊的介绍,这种同质化设计是有意为之。他们的想法是在核心数较少的实例中,客户可以调整各核心所对应的特定内存或网络带宽比率。另外,这样的实例规模设计,可能也更适合那些需要遵循特定许可条款的软件用户。
与亚马逊云科技此前提供的AMD和英特尔芯片版Hpc6实例一样,AWS希望客户能像使用集群节点一样使用这些实例,而非将其作为独立的虚拟机。在发布公告中,亚马逊方面提到了Hpc7g实例可支撑起需要“数万个核心”的工作负载,看来他们已经做好了交付大规模集群设施的准备。
当然,亚马逊并不是第一家尝试将Arm核心同HPC工作负载相融合的公司。日本RIKEN实验室的Fugaku超级计算机采用的也是基于Arm的48核富士通A64FX处理器,其拥有出色的向量计算性能,已连续两年稳居超算Top500榜首。
亚马逊表示,他们正与RIKEN合作开发可在Hpc7g实例上运行的“虚拟Fugaku”,用以支持该研究所对计算资源的更多需求。
亚马逊的Hpc7g实例在初上线时仍将受到一定限制。该公司表示,实例集群仅限于同一可用区内,且首批发布将只登陆位于北弗吉尼亚州的美国东部区域。
好文章,需要你的鼓励
这项研究针对现代文档检索系统中的关键缺陷:独立处理文档片段导致丢失上下文信息。研究团队开发了ConTEB基准测试来评估模型利用文档级上下文的能力,并提出了InSeNT方法,结合后期分块和创新的对比学习策略。实验表明,上下文感知嵌入显著提升检索性能,尤其在处理非自包含文本片段时,同时保持计算效率,对分块策略更具鲁棒性,并且在语料库规模扩大时表现更佳。这一研究为更智能的文档检索系统铺平了道路。
这项由布朗大学和Cohere实验室研究者联合进行的研究全面分析了大型语言模型(LLM)安全研究中的语言不平等现象。通过系统回顾近300篇2020-2024年间的安全相关论文,研究发现LLM安全研究严重偏向英语,即使中文这样的高资源语言也仅获得英语十分之一的研究关注,且这一差距正在扩大。研究还揭示非英语语言很少作为独立研究对象,且英语安全研究常忽略语言覆盖文档化。为解决这一问题,研究者提出了三个未来方向:开发文化敏感的评估基准、创建多语言安全训练数据,以及深入理解跨语言安全泛化挑战。
这项研究提出了ChARM,一种创新的角色扮演AI奖励建模框架,通过行为自适应边界和自我进化策略大幅提升AI角色的真实性和一致性。研究团队创建了包含1,108个角色的RoleplayPref数据集,实验表明ChARM比传统模型提高了13%的偏好排名准确率,应用于DPO技术后在多项基准测试中达到了领先水平。这一突破将为娱乐、教育和心理健康支持等领域带来更加自然、个性化的AI互动体验。
这篇研究重新审视了循环神经网络中的双线性状态转换机制,挑战了传统观点。高通AI研究团队证明,隐藏单元不仅是被动记忆存储,更是网络计算的积极参与者。研究建立了一个从实数对角线到完全双线性的模型层级,对应不同复杂度的状态跟踪任务。实验表明,双线性RNN能有效学习各种状态跟踪任务,甚至只需极少量训练数据。研究还发现,纯乘法交互比加法交互更有利于状态跟踪,为循环网络设计提供了新视角。