微软近日透露了微软是如何花费数十亿美元使OpenAI能够将ChatGPT变为现实的。
微软与OpenAI的合作最近备受关注。今年1月,微软宣布将向打造了ChatGPT的AI初创公司OpenAI投资100亿美元。ChatGPT是一款AI聊天机器人,由于其令人印象深刻的类人对话能力而风靡互联网。
不过,微软与OpenAI的合作其实早在几年前就开始了。根据彭博社的报道,微软在今年之前已经在开发ChatGPT所需的计算基础设施上花费了“数亿美元”。
彭博社报道称,这笔钱用于建造一台大型超级计算机用于训练ChatGPT。微软也在近日发表的两篇博文中,讨论了在构建AI基础设施方面所做的工作,以及微软计划如何让该系统变得更加强大,以便为更高级的模型提供支持。
为了打造支持OpenAI项目的Azure超级计算机,微软采购了Nvidia制造的数千个GPU并将其连接在一起。通过把所有这些GPU进行连接,微软就能够提供OpenAI所需的巨大计算能力,从而训练功能越来越强大的AI模型。
对于微软这样可以向颇有前途的初创公司投入数十亿美元的大厂商来说,“数亿美元”的投资似乎并不算多,但这个举动说明,人工智能已经成为微软最优先考虑的事项之一。
这是显而易见的,因为微软近日透露,微软正在努力增强Azure的AI功能,并使其更加强大。Azure HPC+AI首席产品经理Matt Vegas表示,Azure最近升级了新的虚拟机,这些虚拟机使用Nvidia H100和A100 Tensor Core GPU,这些GPU连接了Nvidia去年推出的Quantum-2 InfiniBand加速网络架构,微软认为,这将让OpenAI和其他使用Azure基础设施的AI公司能够对更大型、更复杂的模型进行训练。
微软Azure AI企业副总裁Eric Boyd在一份声明中表示,微软预见到了市场对某些特殊用途集群的需求,这种集群专门被用于大型训练工作负载,而OpenAI就是最早的证明点之一。他说:“我们双方展开密切合作,了解他们在构建训练环境时寻找的关键东西是什么,以及他们需要的关键东西是什么。”
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。