据The Information近日报道,微软计划建造一台拥有数百万处理器的超级计算机,以支持OpenAI的研究。
该系统将面向人工智能工作负载运行。据报道,微软高管将这台超级计算机命名为“星际之门”(Stargate),据信这是微软更广泛计划的一部分,微软还将建造其他几个人工智能集群。该项目预计耗资高达 1000 亿美元。
OpenAI已经使用微软的基础设施来训练其人工智能模型。2020 年,这家云计算和软件巨头披露,它已经建造了一台 Azure 托管的超级计算机,配备了10000块显卡,以支持OpenAI的工作。据这两家公司称,该系统在推出时是全球最快的五台超级计算机之一。
去年3月,微软提供了与OpenAI 基础设施合作的最新情况。该公司详细介绍了其这家人工智能开发商建造的、最初为10000块GPU超级计算机的升级情况,该系统目前包含数以万计的 A100 芯片。微软高管Scott Guthrie表示,该系统的成本“可能高于”数亿美元。
今天来自 The Information 的报道显示,更多升级正在进行中。据该刊物的消息来源称,微软计划在 2030 年之前再建立几个人工智能基础设施。据报道,该计划分为五个阶段,据信微软和 OpenAI 目前正处于第三个阶段的中间。
第四阶段预计将建造一台新的超级计算机,“大约”在2026年启动。第五阶段则将以微软高管内部称为“星际之门”的系统为中心。这台超级计算机及其数以百万计的芯片预计最早将于2028年投入使用。
截至去年3月,微软主要使用英伟达(Nvidia)公司的显卡为其OpenAI的超级计算基础设施提供动力。这种情况在未来有可能发生改变。11 月,该公司详细介绍了内部开发的名为 Azure Maia的人工智能加速器,该加速器配备了1050亿个晶体管。
OpenAI有可能不会是星际之门和微软预计部署的其他新人工智能集群的唯一用户。去年,微软详细说明了它已经使用为 OpenAI 构建的超级计算基础设施来训练自己的人工智能模型。微软还向云计算客户提供硬件,它也可能在星际之门上采用这种方法,以便更快地收回该系统可能高昂的成本。
鉴于星际之门预计最早将于 2028 年上线,它很可能不会被用来训练OpenAI的GPT-4的后继者。上周,Insider 报道称,GPT-5 将在几个月后投入使用。据悉,OpenAI 已经有了该模型的工作原型,其功能比 GPT-4 有“实质性的提升”。
好文章,需要你的鼓励
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
随着医疗数据数字化与互操作性的进步,跨机构纵向患者数据的研究应用成为可能。本研究通过对20位领域专家的访谈,识别出8种数据收集方法,涵盖智能手机应用、结构化数据导出、区域/全国研究查询及聚合数据源等。研究发现,各方法均有其优缺点,无单一最优方案。参与者中介交换方式可绕过复杂治理安排,但存在数据缺口;全国性网络尚不支持研究查询。公共政策的持续推进将对该领域发展起关键作用。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。