微软公司今天发布了小型语言模型 Phi-4 的代码,这个模型能够生成文本并解决数学问题。
微软上个月首次详细介绍了这个模型。最初,Phi-4 只能通过微软的 Azure Foundry 人工智能开发服务访问。现在,该模型可以在 Hugging Face(一个流行的开源 AI 项目托管网站)上下载。
Phi-4 是微软在 2023 年推出的小型语言模型系列的第四代产品。它拥有 140 亿参数,这些配置设置决定了神经网络如何处理数据。微软研究人员使用 1,920 个英伟达 H100 图形处理器组成的集群,用了 21 天时间对其进行训练。
该模型基于业界标准的 Transformer 架构,这也是大多数大语言模型的基础架构。当接收到用户提示时,Transformer 模型会将输入分解为单个词,并通过分析周围的文本来确定每个词的含义。此外,它们会优先处理被认为最相关的上下文部分。
Phi-4 采用了所谓的仅解码器型 Transformer 架构。标准的 Transformer 模型会分析单词前后的文本来确定其含义,而仅解码器模型只关注单词之前的文本,这减少了需要处理的数据量,从而降低了推理成本。
在一篇研究论文中,微软详细介绍了使用两种后训练优化技术来提升 Phi-4 的输出质量。这些方法被称为直接偏好优化和监督微调。两种方法都涉及向语言模型提供示例,说明它应该如何生成提示响应。
在内部评估中,微软将 Phi-4 与参数量是其五倍的 Llama 3.3 70B 进行了比较。公司表示,Phi-4 在流行的 GPQA 和 MATH 基准测试中表现更好。这两个测试数据集分别包含科学问题和数学问题。
Phi-4 加入了过去一年主要科技公司开源的小型语言模型不断增长的行列。
去年二月,谷歌推出了一系列名为 Gemma 的小型语言模型。该系列算法的参数量在 20 亿到 270 亿之间。据谷歌称,270 亿参数版本的性能可以超过规模是其两倍以上的模型。
最近,Meta 发布了两个参数量不到 50 亿的 Llama 3.2 模型。随后,该公司开源了这些模型的更高效版本,这些版本采用了称为量化的机器学习技术。该技术通过压缩神经网络摄入的数据来减少处理所需的硬件资源。
好文章,需要你的鼓励
Moonvalley 公司推出 Marey,这是一款专为好莱坞影视制作和品牌营销设计的 AI 视频生成模型。与其他使用网络抓取数据的模型不同,Marey 仅使用完全授权的数据进行训练,为影视行业提供了一个无版权争议的 AI 视频创作选择。该模型具备高清视频生成、长视频制作、分层编辑等多项先进功能,旨在辅助而非取代专业创作者。
随着数据中心对电力需求的快速增长,传统电网供应已难以满足。开发商正在探索混合能源解决方案,通过结合电网供电、现场发电、风能太阳能、储能系统甚至核能等多种能源,来满足数据中心的用电需求。这种方案不仅要考虑成本效益,还需平衡可持续性目标和供电可靠性。
Google 为其 AI 聊天机器人 Gemini 推出新功能,可利用用户的搜索历史提供个性化回答。该功能由 Gemini 2.0 Flash Thinking 实验模型驱动,仅在 AI 模型认为有助于回答时才会参考搜索记录。用户可随时选择启用或断开此功能,Gemini 将清晰显示信息来源。这是 Google 计划将 Gemini 与更多应用连接的广泛个性化功能的一部分。
AI 编程助手 Cursor 据报道拒绝为用户生成代码,建议其自学编程。这一事件在 Hacker News 上引发热议,引发了对 AI 助手态度和局限性的讨论。有人猜测 Cursor 可能学习了编程论坛上的人类态度,也有人认为这可能是系统的限制。这凸显了 AI 工具在实际应用中可能面临的挑战。