微软公司日前发布了Phi-4的代码。Phi-4是一个可以生成文本并解决数学问题的小型语言模型。
微软上个月首次详细介绍了Phi-4模型。最初的Phi-4只能通过微软的Azure Foundry人工智能开发服务访问。现在,Phi-4模型可以从Hugging Face下载。Hugging Face是一个托管开源人工智能项目的热门网站。
Phi-4是微软于2023年推出的小型语言模型系列的第四代版本,拥有140亿个参数,这些参数设定决定了神经网络如何处理数据。微软的研究人员利用英伟达公司提供的1,920块H100图形处理器集群,花了21天训练Phi-4。
Phi-4模型基于行业标准的 Transformer 架构。Transformer架构是大多数大型语言模型的基础。Transformer 模型收到用户提示后会将输入分解为单个单词,并通过分析上下文的文本确定每个单词的含义。这种模型还会优先处理上下文文本中被认为最相关的部分。
Phi-4采用的是所谓纯解码器的Transformer架构变体。标准的Transformer模型会分析单词前后的文本来确定其含义。纯解码器模型则只关注单词之前的文本,从而减少了需要处理的数据量,降低了推理成本。
微软在一份研究论文中详细介绍了如何使用两种后训练优化技术提升Phi-4的输出质量。这两种方法分别被称为直接偏好优化和监督微调。两种方法都需要向语言模型提供示例,用于指导模型如何生成符合要求的即时响应。
微软在一次内部评估中将Phi-4与Llama 3.3 70B 进行了比较,后者的参数是Phi-4的五倍。微软表示,在常用的GPQA和MATH基准测试中,Phi-4的表现更好。GPQA和MATH两个测试数据集分别包含科学问题和数学问题。
在过去一年中,各大科技公司争相开源了越来越多的小型语言模型,Phi-4 也正式加入了这一行列。
谷歌公司去年二月推出了一系列名为 Gemma 的小型语言模型。Gemma系列模型的算法拥有20亿到270亿个参数。谷歌表示,270亿个参数的Gemma版本在性能上优于参数数量是其两倍的模型。
Meta Platforms 公司最近发布了两个参数少于 50 亿 Llama 3.2 模型。随后,Meta又开源了这些模型的更高效版本,这些版本实现了机器学习里的量化技术。量化技术可以压缩神经网络获取的数据,减少处理数据所需的硬件数量。
好文章,需要你的鼓励
在新任CIO Mark Sherwood的引领下,Wolters Kluwer借助多云战略、人工智能创新与信息安全管理,实现从传统出版向科技型企业的全面转型,加速全球业务落地与数字升级。
西部数据在Computex展会上发布了新款Ultrastar Data102 JBOD和OpenFlex Data24 4100 EBOF,升级了开放组合兼容性实验室(OCCL 2.0),致力于构建开放灵活、软件定义的数据中心架构。
微软将 GPT-4o 图像生成功能融入 Microsoft 365 Copilot,用户可在 Word、Excel、Outlook 等应用中直接创建与编辑逼真图片,此更新同时面向企业和普通用户,拓展了创意工具的边界。
Nvidia 首席执行官黄仁勋宣布通过全新 NVLink Fusion 系统,让数据中心客户可同时采用 Nvidia 与其他厂商的芯片,实现系统定制与竞争共存,巩固公司在 AI 领域的核心地位。