据The Information近日报道,微软计划建造一台拥有数百万处理器的超级计算机,以支持OpenAI的研究。
该系统将面向人工智能工作负载运行。据报道,微软高管将这台超级计算机命名为“星际之门”(Stargate),据信这是微软更广泛计划的一部分,微软还将建造其他几个人工智能集群。该项目预计耗资高达 1000 亿美元。
OpenAI已经使用微软的基础设施来训练其人工智能模型。2020 年,这家云计算和软件巨头披露,它已经建造了一台 Azure 托管的超级计算机,配备了10000块显卡,以支持OpenAI的工作。据这两家公司称,该系统在推出时是全球最快的五台超级计算机之一。
去年3月,微软提供了与OpenAI 基础设施合作的最新情况。该公司详细介绍了其这家人工智能开发商建造的、最初为10000块GPU超级计算机的升级情况,该系统目前包含数以万计的 A100 芯片。微软高管Scott Guthrie表示,该系统的成本“可能高于”数亿美元。
今天来自 The Information 的报道显示,更多升级正在进行中。据该刊物的消息来源称,微软计划在 2030 年之前再建立几个人工智能基础设施。据报道,该计划分为五个阶段,据信微软和 OpenAI 目前正处于第三个阶段的中间。
第四阶段预计将建造一台新的超级计算机,“大约”在2026年启动。第五阶段则将以微软高管内部称为“星际之门”的系统为中心。这台超级计算机及其数以百万计的芯片预计最早将于2028年投入使用。
截至去年3月,微软主要使用英伟达(Nvidia)公司的显卡为其OpenAI的超级计算基础设施提供动力。这种情况在未来有可能发生改变。11 月,该公司详细介绍了内部开发的名为 Azure Maia的人工智能加速器,该加速器配备了1050亿个晶体管。
OpenAI有可能不会是星际之门和微软预计部署的其他新人工智能集群的唯一用户。去年,微软详细说明了它已经使用为 OpenAI 构建的超级计算基础设施来训练自己的人工智能模型。微软还向云计算客户提供硬件,它也可能在星际之门上采用这种方法,以便更快地收回该系统可能高昂的成本。
鉴于星际之门预计最早将于 2028 年上线,它很可能不会被用来训练OpenAI的GPT-4的后继者。上周,Insider 报道称,GPT-5 将在几个月后投入使用。据悉,OpenAI 已经有了该模型的工作原型,其功能比 GPT-4 有“实质性的提升”。
好文章,需要你的鼓励
字节跳动Seed团队提出的虚拟宽度网络(VWN)通过解耦嵌入宽度与主干宽度,在几乎不增加计算成本的情况下显著提升模型表示能力。8倍虚拟宽度扩展使训练效率提升2.5-3.5倍,且发现虚拟宽度因子与损失呈对数线性关系,为大模型效率优化开辟新维度。
亚马逊研究团队通过测试15个AI模型发现,当AI助手记住用户背景信息时,会对相同情感情况产生不同理解,称为"个性化陷阱"。优势社会地位用户获得更准确的情感解释,而弱势群体接受质量较低的理解。这种系统性偏见可能在心理健康、教育等领域放大社会不平等,提醒我们需要在追求AI个性化的同时确保算法公平性。
两家公司在OverdriveAI峰会上分享了AI应用经验。Verizon拥有超过1000个AI模型,用于预测客户呼叫原因和提供个性化服务,将AI推向边缘计算。Collectors则利用AI识别收藏品真伪,将每张卡片的鉴定时间从7分钟缩短至7秒,估值从8.5亿美元增长至43亿美元。
微软等机构联合研发了DOCREWARD文档奖励模型,专门评估文档的结构布局和视觉风格专业度。该模型基于包含11.7万对文档的大规模数据集训练,在人类偏好准确性测试中超越GPT-5达19.4个百分点。研究解决了现有AI工作流忽视文档视觉呈现的问题,为智能文档生成和专业化排版提供了新的技术方案。