微软开发出了一种小型语言模型,在解决某些数学问题时,它的效果比规模几倍于它的算法还要好。
该公司于本周四公布了这一模型:Phi-4。该算法的性能之所以引人注目,主要是因为其构建方式:微软主要使用合成数据或机器生成的数据来训练Phi-4,而不是按照通常的做法使用网页内容。该模型的数学能力表明,在小型模型的训练数据集中加入更多合成文件可能是一种能够提高其推理能力的方法。
Phi-4是微软去年推出的开源语言模型系列的第四次迭代。它的架构与其前身Phi-3-medium几乎完全相同。这两个神经网络都有140亿个参数,可以处理多达4000个词元(token)的提示,词元是包含几个字符的数据单元。
其中一个不同点是,Phi-4采用了升级的tokenizer。这是一个能将用户提示分解为词元的组件,从而使文本更易于处理。
微软还增强了Phi-4的注意力机制。这是语言模型用来查找文本中最重要细节的软件组件。上一代Phi-3-medium的注意力机制最多只能分析2000个用户输入的词元,而Phi-4可以分析4000个。
Phi-4的主要创新在于其训练方式。微软使用了不少于50个合成数据集来训练该模型,这些数据集合计包含约4000亿个词元。微软的研究人员通过一个多步骤的流程创建了这些文件。
在第一阶段,微软从公共网络、现有的人工智能训练数据集和其他来源收集内容。包括数以千万计的问题和答案等信息。
微软删除了能够在网上找到多个相同答案的问题。该公司解释说,因为这通常表明问题过于简单。同时,微软还删除了那些看起来过于复杂的问题,因为这些问题的可用答案之间存在很大差异。
该公司利用这批初始文件作为模板,据此生成合成数据。微软的研究人员使用了几种不同的方法来生成合成文件。
在项目的一个阶段,研究人员使用人工智能将网络信息改写成测试问题。然后,微软让人工智能模型生成答案。最后,该公司指示算法分析其答案,并尽可能加以改进。
在项目的另一个阶段,微软将开源代码作为合成数据生成过程的起点。该公司将一个代码片段输入人工智能,并要求它生成一个问题,问题的正确答案就是所提供的代码片段。随后将生成的这个问题纳入用于开发Phi-4的训练数据集。
创建初始版本的数据集后,微软使用一套自动化工作流程检查其准确性。Phi-4的开发人员在一份研究论文中写道:“我们在验证推理繁重的合成数据集时加入了测试。”“合成代码数据通过执行循环和测试进行验证。对于科学数据集,问题是从科学资料中提取的。”
在完成训练过程后,微软通过十几个基准对Phi-4的输出质量进行了评估。除一项基准测试外,该算法在其他所有基准测试中的表现都优于其前辈,在某些情况下表现甚至提高了20%。
值得注意的是,在两个基准测试中,Phi-4还成功超越了GPT-4o和Meta Platforms最新发布的Llama 3.3 :GPQA和MATH。前者的数据集包括448道多选题,涉及多个科学领域。MATH包括数学问题。据微软称,尽管Phi-4的参数数量只有Llama 3.3的五分之一,但在这两项测试中,Phi-4的表现比Llama 3.3高出5%以上。
微软人工智能前沿小组常务董事Ece Kamar在一篇博文中写道:“Phi-4在数学相关推理上的表现优于同类和更大型的模型,这得益于整个流程的进步,包括使用高质量的合成数据集、使用高质量的有机数据以及训练之后的创新。”
目前可通过微软的Azure AI Foundry服务使用Phi-4。微软计划下周在Hugging Face上提供代码。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。