微软公司日前发布了Phi-4的代码。Phi-4是一个可以生成文本并解决数学问题的小型语言模型。
微软上个月首次详细介绍了Phi-4模型。最初的Phi-4只能通过微软的Azure Foundry人工智能开发服务访问。现在,Phi-4模型可以从Hugging Face下载。Hugging Face是一个托管开源人工智能项目的热门网站。
Phi-4是微软于2023年推出的小型语言模型系列的第四代版本,拥有140亿个参数,这些参数设定决定了神经网络如何处理数据。微软的研究人员利用英伟达公司提供的1,920块H100图形处理器集群,花了21天训练Phi-4。
Phi-4模型基于行业标准的 Transformer 架构。Transformer架构是大多数大型语言模型的基础。Transformer 模型收到用户提示后会将输入分解为单个单词,并通过分析上下文的文本确定每个单词的含义。这种模型还会优先处理上下文文本中被认为最相关的部分。
Phi-4采用的是所谓纯解码器的Transformer架构变体。标准的Transformer模型会分析单词前后的文本来确定其含义。纯解码器模型则只关注单词之前的文本,从而减少了需要处理的数据量,降低了推理成本。
微软在一份研究论文中详细介绍了如何使用两种后训练优化技术提升Phi-4的输出质量。这两种方法分别被称为直接偏好优化和监督微调。两种方法都需要向语言模型提供示例,用于指导模型如何生成符合要求的即时响应。
微软在一次内部评估中将Phi-4与Llama 3.3 70B 进行了比较,后者的参数是Phi-4的五倍。微软表示,在常用的GPQA和MATH基准测试中,Phi-4的表现更好。GPQA和MATH两个测试数据集分别包含科学问题和数学问题。
在过去一年中,各大科技公司争相开源了越来越多的小型语言模型,Phi-4 也正式加入了这一行列。
谷歌公司去年二月推出了一系列名为 Gemma 的小型语言模型。Gemma系列模型的算法拥有20亿到270亿个参数。谷歌表示,270亿个参数的Gemma版本在性能上优于参数数量是其两倍的模型。
Meta Platforms 公司最近发布了两个参数少于 50 亿 Llama 3.2 模型。随后,Meta又开源了这些模型的更高效版本,这些版本实现了机器学习里的量化技术。量化技术可以压缩神经网络获取的数据,减少处理数据所需的硬件数量。
好文章,需要你的鼓励
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
OpenAI明确表示要成为互联网一切事物的主导界面。AI智能体正在改变用户的数字习惯,从健康记录分析到购物指导,ChatGPT已经在多个领域扩展影响力。用户快速采用AI工具,但企业和生态系统的适应速度滞后。电商领域的权力分配尚不明确,用户偏好AI驱动的答案优先体验,品牌则推动生成式引擎优化。研究旨在了解用户与企业在AI变革中的适应差异。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。