微软为OpenAI打造超级计算机 用于训练大规模AI模型

至顶网软件与服务频道消息： OpenAI是前Y Combinator总裁Sam Altman和Tesla首席执行官Elon Musk共同创立的一个研究型组织。去年7月微软向OpenAI投资了10亿美元，当时微软和OpenAI表示，将建立独家的、多年的合作伙伴关系，以开发新的Azure AI超级计算技术。就在昨天的Build 2020大会上，微软公开了超级计算机相关开发工作的更多细节。

微软方面表示，已经与OpenAI展开合作，专门为OpenAI打造了在TOP500榜单上性能排名第五的超级计算机。这套超级计算机专门用于训练大规模分布式AI模型。AI研究人员认为，单一的大规模的模型将比小的、单独的AI模型表现更好。

微软自己也拥有大型AI模型家族称为“Microsoft Turing”，这些模型已经被用于改善Bing、Office、Dynamics和其他产品之间的语言理解。微软也已经发布了被认为是全球最大的、公开可用的AI语言模型：用于自然语言生成的Turning模型。

微软在Build大会上表示，“很快”将开源Microsoft Turing模型，以及公开使用Azure机器学习训练这些模型的方法。微软还将支持对ONNX Runtime的分布式训练。ONNX Runtime是一个开放库，用于使模型可以跨硬件和操作系统进行迁移。

微软表示，虽然微软建造的AI超级计算机专用于OpenAI，但将通过Azure AI服务和GitHub提供大型AI模型和训练优化工具。微软还向那些不需要专用超级计算机的客户提供了Azure AI的各种加速器和服务。

微软表示，为OpenAI打造的超级计算机，是拥有285000多个CPU核心的单一系统。每个GPU服务器有10000个GPU和每秒400Gb的网络连接。该系统托管在Azure中，可以访问Azure服务。

笔者认为，Odyssey可能是微软在超级计算机研发方面的项目代号。我最近在微软的招聘信息中找到了有关Odyssey的一些内容，微软正在寻找可以成为Azure与Open AI合作的对接人，可以与“众多厂商和合作伙伴（包括Cray、HPE、Mellanox、Nvidia）展开合作”。

Azure存储团队最近还发布了一个有关研究“数万台商用PC组成的大规模并行超级计算机”（相当于20000、30000或100000台计算机的电源和存储）的职位，致力于解决直接影响微软搜索、广告和门户业务的问题。我认为这可能也与Turing或者Odyssey有关。

Turing是微软“AI at Scale”计划中的一个组成部分。该计划的核心是人们可以在强大的基础设施上训练真正的大型神经网络，然后在很多情况下重复使用相同的模型以显着改善各种产品中的AI。微软训练了一个名为Turing NLR的语言理解模型，并且重复使用跨Bing、Word、SharePoint和Outlook等多个产品的各种场景中采用的模型。

尽管微软客户不能直接使用OpenAI超级计算机，但他们可以使用微软升级的Azure计算基础设施；开源的DeepSeed软件可以用于训练大规模模型；微软称，ONNX运行时可以更快速、更低成本地部署和运行这些模型。那些无法或不愿意训练模型的客户，可以重复使用微软的Turing模型，有些情况下甚至可以使用Turing NLR模型。