据说微软拥有OpenAI LP不到一半的股份,尽管如此,微软还在开发功能稍弱但是效率更高的替代人工智能模型。
The Information今天的一篇报道援引了未具名的 OpenAI员工的说法,称微软担心运行强大的模型(如ChatGPT的基础 GPT-4)有时会产生惊人的成本。
据报道,为了解决这个问题,微软的研究主管Peter Lee已经命令该公司1500名人工智能研究人员集中精力开发运行成本更低的小型对话模型,不过这些模型的能力可能比不上GPT-4。
报道称,微软正努力在旗下大部分软件产品中加入人工智能功能,包括基于GPT-4的 Windows Copilot。但该公司担心,Windows在全球拥有超过10 亿用户,运行这些人工智能功能的成本可能会激增。The Information表示,该公司不想损失人工智能新产品带来的经济效益,所以现在正在寻找成本更低的替代方案。
微软转向更高效人工智能模型的工作目前还处于早期阶段,不过据说该公司已经开始在必应聊天等服务中测试内部开发的模型。
微软搜索主管Mikhail Parakhin此前曾表示,必应聊天的创意和精准模式100%依赖于GPT-4。不过,在平衡模式中,它使用了一种名为Prometheus的新模型以及图灵语言模型。图灵语言模型的功能不如GPT-4强大:它们可以识别并回答简单的问题,但当遇到更棘手的问题时,它们会将这些问题转交给GPT-4。
在编码方面,微软最近发布了13亿参数的Phi-1模型,据说该模型是在教科书级的数据上训练出来的。The Information表示,它能以更高效的方式生成代码,但还达不到GPT-4的水平。
据说该公司还在研究其他的人工智能模型,例如基于Meta Platforms公司开发的开源Llama-2模型的Orca。据报道,尽管Orca的体积更小、资源消耗更少,但它的性能接近于OpenAI的模型。
据说微软的人工智能研究部门拥有大约2000块来自英伟达公司的显卡,据说Lee现在已经下令将其中大部分显卡用于训练更高效的模型,这些模型专注于执行特定任务,而不是像GPT-4一样具有更强的通用性。
据报道,微软持有OpenAI 49% 的股份,并为这家初创公司注入了数十亿美元的资金。预计未来几年,微软还将继续与OpenAI密切合作。
不过,微软和OpenAI的利益并非处处一致。尽管双方是合作者,但两家公司也是竞争对手,它们的ChatGPT Enterprise和Bing Chat Enterprise产品实质上是在争夺相同的目标受众。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。