微软正在开发AI优化芯片,以降低训练生成式AI模型(例如为OpenAI ChatGPT聊天机器人提供动力的模型)的成本。
The Information近日援引两位知情人士的话说,至少从2019年开始,微软就一直在研发代号为“Athena”的新芯片组。微软和OpenAI的员工已经可以使用新芯片,并正在使用这些芯片在GPT-4等大型语言模型上测试芯片的性能。
训练大型语言模型需要摄取和分析大量数据,以便为AI创建新的输出内容来模仿人类对话,这是生成式AI模型的一大标志,这个过程需要大量(大约数万个)针对AI进行优化了的计算机芯片,其成本可能是非常高的。
据说微软正在开发用于自己产品的新型芯片,以减少对第三方芯片的依赖,并降低成本。目前,计算机芯片设计商Nvidia在AI芯片市场占据主导地位,去年发布了最新的H100 GPU。微软将加入Amazon、Google和Meta Platforms的行列,都针对AI开发和构建自己的定制化芯片。
SemiAnalysis首席分析师Dylan Patel告诉The Information:“微软希望在其所有应用中使用大型语言模型,包括Bing、Microsoft 365和GitHub,要使用现成的硬件进行大规模部署,那么每年的花费将达到数百亿美金。”
微软在2023年初向OpenAI投资100亿美元,迅速开始将其AI技术集成到微软的各项服务中,包括带有Bing Chat功能的Bing搜索引擎、Microsoft 365、面向企业用户的Dynamics 365以及面向安全专业人员的Security Copilot。
报道指出,微软的这些芯片其目的并不是取代Nvidia的芯片,相反,这些芯片是为了增强微软现有的基础设施。据The Information称,微软已经规划好了该芯片的未来几代。
目前尚不清楚微软是否计划为Azure云AI客户发布这些芯片,或者是否仅供内部使用,但微软确实提供了基于Nvidia H100芯片组的AI优化云实例。目前还不清楚这会给微软和Nvidia去年年底公布的AI超级计算机合作关系带来怎样的影响。
据报道,微软预计新芯片将在2024年亮相。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。