至顶网软件与服务频道消息: OpenAI是前Y Combinator总裁Sam Altman和Tesla首席执行官Elon Musk共同创立的一个研究型组织。去年7月微软向OpenAI投资了10亿美元,当时微软和OpenAI表示,将建立独家的、多年的合作伙伴关系,以开发新的Azure AI超级计算技术。就在昨天的Build 2020大会上,微软公开了超级计算机相关开发工作的更多细节。
微软方面表示,已经与OpenAI展开合作,专门为OpenAI打造了在TOP500榜单上性能排名第五的超级计算机。这套超级计算机专门用于训练大规模分布式AI模型。AI研究人员认为,单一的大规模的模型将比小的、单独的AI模型表现更好。
微软自己也拥有大型AI模型家族称为“Microsoft Turing”,这些模型已经被用于改善Bing、Office、Dynamics和其他产品之间的语言理解。微软也已经发布了被认为是全球最大的、公开可用的AI语言模型:用于自然语言生成的Turning模型。
微软在Build大会上表示,“很快”将开源Microsoft Turing模型,以及公开使用Azure机器学习训练这些模型的方法。微软还将支持对ONNX Runtime的分布式训练。ONNX Runtime是一个开放库,用于使模型可以跨硬件和操作系统进行迁移。
微软表示,虽然微软建造的AI超级计算机专用于OpenAI,但将通过Azure AI服务和GitHub提供大型AI模型和训练优化工具。微软还向那些不需要专用超级计算机的客户提供了Azure AI的各种加速器和服务。
微软表示,为OpenAI打造的超级计算机,是拥有285000多个CPU核心的单一系统。每个GPU服务器有10000个GPU和每秒400Gb的网络连接。该系统托管在Azure中,可以访问Azure服务。
笔者认为,Odyssey可能是微软在超级计算机研发方面的项目代号。我最近在微软的招聘信息中找到了有关Odyssey的一些内容,微软正在寻找可以成为Azure与Open AI合作的对接人,可以与“众多厂商和合作伙伴(包括Cray、HPE、Mellanox、Nvidia)展开合作”。
Azure存储团队最近还发布了一个有关研究“数万台商用PC组成的大规模并行超级计算机”(相当于20000、30000或100000台计算机的电源和存储)的职位,致力于解决直接影响微软搜索、广告和门户业务的问题。我认为这可能也与Turing或者Odyssey有关。
Turing是微软“AI at Scale”计划中的一个组成部分。该计划的核心是人们可以在强大的基础设施上训练真正的大型神经网络,然后在很多情况下重复使用相同的模型以显着改善各种产品中的AI。微软训练了一个名为Turing NLR的语言理解模型,并且重复使用跨Bing、Word、SharePoint和Outlook等多个产品的各种场景中采用的模型。
尽管微软客户不能直接使用OpenAI超级计算机,但他们可以使用微软升级的Azure计算基础设施;开源的DeepSeed软件可以用于训练大规模模型;微软称,ONNX运行时可以更快速、更低成本地部署和运行这些模型。那些无法或不愿意训练模型的客户,可以重复使用微软的Turing模型,有些情况下甚至可以使用Turing NLR模型。
好文章,需要你的鼓励
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AI虽具备变革企业洞察力的潜力,但成功依赖于数据质量。大多数AI项目失败源于数据混乱分散而非算法局限。谷歌BigQuery云数据AI平台打破数据孤岛,简化治理,加速企业AI应用。通过AI自动化数据处理,实现实时分析,并与Vertex AI深度集成,使企业能够高效处理结构化和非结构化数据,将智能商业转型从愿景变为现实。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。