微软开源其小型语言模型 Phi-4

微软公司今天发布了小型语言模型 Phi-4 的代码，这个模型能够生成文本并解决数学问题。

微软上个月首次详细介绍了这个模型。最初，Phi-4 只能通过微软的 Azure Foundry 人工智能开发服务访问。现在，该模型可以在 Hugging Face（一个流行的开源 AI 项目托管网站）上下载。

Phi-4 是微软在 2023 年推出的小型语言模型系列的第四代产品。它拥有 140 亿参数，这些配置设置决定了神经网络如何处理数据。微软研究人员使用 1,920 个英伟达 H100 图形处理器组成的集群，用了 21 天时间对其进行训练。

该模型基于业界标准的 Transformer 架构，这也是大多数大语言模型的基础架构。当接收到用户提示时，Transformer 模型会将输入分解为单个词，并通过分析周围的文本来确定每个词的含义。此外，它们会优先处理被认为最相关的上下文部分。

Phi-4 采用了所谓的仅解码器型 Transformer 架构。标准的 Transformer 模型会分析单词前后的文本来确定其含义，而仅解码器模型只关注单词之前的文本，这减少了需要处理的数据量，从而降低了推理成本。

在一篇研究论文中，微软详细介绍了使用两种后训练优化技术来提升 Phi-4 的输出质量。这些方法被称为直接偏好优化和监督微调。两种方法都涉及向语言模型提供示例，说明它应该如何生成提示响应。

在内部评估中，微软将 Phi-4 与参数量是其五倍的 Llama 3.3 70B 进行了比较。公司表示，Phi-4 在流行的 GPQA 和 MATH 基准测试中表现更好。这两个测试数据集分别包含科学问题和数学问题。

Phi-4 加入了过去一年主要科技公司开源的小型语言模型不断增长的行列。

去年二月，谷歌推出了一系列名为 Gemma 的小型语言模型。该系列算法的参数量在 20 亿到 270 亿之间。据谷歌称，270 亿参数版本的性能可以超过规模是其两倍以上的模型。

最近，Meta 发布了两个参数量不到 50 亿的 Llama 3.2 模型。随后，该公司开源了这些模型的更高效版本，这些版本采用了称为量化的机器学习技术。该技术通过压缩神经网络摄入的数据来减少处理所需的硬件资源。