据说微软拥有OpenAI LP不到一半的股份,尽管如此,微软还在开发功能稍弱但是效率更高的替代人工智能模型。
The Information今天的一篇报道援引了未具名的 OpenAI员工的说法,称微软担心运行强大的模型(如ChatGPT的基础 GPT-4)有时会产生惊人的成本。
据报道,为了解决这个问题,微软的研究主管Peter Lee已经命令该公司1500名人工智能研究人员集中精力开发运行成本更低的小型对话模型,不过这些模型的能力可能比不上GPT-4。
报道称,微软正努力在旗下大部分软件产品中加入人工智能功能,包括基于GPT-4的 Windows Copilot。但该公司担心,Windows在全球拥有超过10 亿用户,运行这些人工智能功能的成本可能会激增。The Information表示,该公司不想损失人工智能新产品带来的经济效益,所以现在正在寻找成本更低的替代方案。
微软转向更高效人工智能模型的工作目前还处于早期阶段,不过据说该公司已经开始在必应聊天等服务中测试内部开发的模型。
微软搜索主管Mikhail Parakhin此前曾表示,必应聊天的创意和精准模式100%依赖于GPT-4。不过,在平衡模式中,它使用了一种名为Prometheus的新模型以及图灵语言模型。图灵语言模型的功能不如GPT-4强大:它们可以识别并回答简单的问题,但当遇到更棘手的问题时,它们会将这些问题转交给GPT-4。
在编码方面,微软最近发布了13亿参数的Phi-1模型,据说该模型是在教科书级的数据上训练出来的。The Information表示,它能以更高效的方式生成代码,但还达不到GPT-4的水平。
据说该公司还在研究其他的人工智能模型,例如基于Meta Platforms公司开发的开源Llama-2模型的Orca。据报道,尽管Orca的体积更小、资源消耗更少,但它的性能接近于OpenAI的模型。
据说微软的人工智能研究部门拥有大约2000块来自英伟达公司的显卡,据说Lee现在已经下令将其中大部分显卡用于训练更高效的模型,这些模型专注于执行特定任务,而不是像GPT-4一样具有更强的通用性。
据报道,微软持有OpenAI 49% 的股份,并为这家初创公司注入了数十亿美元的资金。预计未来几年,微软还将继续与OpenAI密切合作。
不过,微软和OpenAI的利益并非处处一致。尽管双方是合作者,但两家公司也是竞争对手,它们的ChatGPT Enterprise和Bing Chat Enterprise产品实质上是在争夺相同的目标受众。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。