据The Information近日报道,微软计划建造一台拥有数百万处理器的超级计算机,以支持OpenAI的研究。
该系统将面向人工智能工作负载运行。据报道,微软高管将这台超级计算机命名为“星际之门”(Stargate),据信这是微软更广泛计划的一部分,微软还将建造其他几个人工智能集群。该项目预计耗资高达 1000 亿美元。
OpenAI已经使用微软的基础设施来训练其人工智能模型。2020 年,这家云计算和软件巨头披露,它已经建造了一台 Azure 托管的超级计算机,配备了10000块显卡,以支持OpenAI的工作。据这两家公司称,该系统在推出时是全球最快的五台超级计算机之一。
去年3月,微软提供了与OpenAI 基础设施合作的最新情况。该公司详细介绍了其这家人工智能开发商建造的、最初为10000块GPU超级计算机的升级情况,该系统目前包含数以万计的 A100 芯片。微软高管Scott Guthrie表示,该系统的成本“可能高于”数亿美元。
今天来自 The Information 的报道显示,更多升级正在进行中。据该刊物的消息来源称,微软计划在 2030 年之前再建立几个人工智能基础设施。据报道,该计划分为五个阶段,据信微软和 OpenAI 目前正处于第三个阶段的中间。
第四阶段预计将建造一台新的超级计算机,“大约”在2026年启动。第五阶段则将以微软高管内部称为“星际之门”的系统为中心。这台超级计算机及其数以百万计的芯片预计最早将于2028年投入使用。
截至去年3月,微软主要使用英伟达(Nvidia)公司的显卡为其OpenAI的超级计算基础设施提供动力。这种情况在未来有可能发生改变。11 月,该公司详细介绍了内部开发的名为 Azure Maia的人工智能加速器,该加速器配备了1050亿个晶体管。
OpenAI有可能不会是星际之门和微软预计部署的其他新人工智能集群的唯一用户。去年,微软详细说明了它已经使用为 OpenAI 构建的超级计算基础设施来训练自己的人工智能模型。微软还向云计算客户提供硬件,它也可能在星际之门上采用这种方法,以便更快地收回该系统可能高昂的成本。
鉴于星际之门预计最早将于 2028 年上线,它很可能不会被用来训练OpenAI的GPT-4的后继者。上周,Insider 报道称,GPT-5 将在几个月后投入使用。据悉,OpenAI 已经有了该模型的工作原型,其功能比 GPT-4 有“实质性的提升”。
好文章,需要你的鼓励
企业谈AI基础设施时,注意力往往首先集中在模型、GPU和算力集群上。但当大模型应用走向规模化推理,一个瓶颈开始浮现:算力采购完成,并不意味着Token能够被稳定、低成本、可控地交付出去。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。