微软公司今天发布了小型语言模型 Phi-4 的代码,这个模型能够生成文本并解决数学问题。
微软上个月首次详细介绍了这个模型。最初,Phi-4 只能通过微软的 Azure Foundry 人工智能开发服务访问。现在,该模型可以在 Hugging Face(一个流行的开源 AI 项目托管网站)上下载。
Phi-4 是微软在 2023 年推出的小型语言模型系列的第四代产品。它拥有 140 亿参数,这些配置设置决定了神经网络如何处理数据。微软研究人员使用 1,920 个英伟达 H100 图形处理器组成的集群,用了 21 天时间对其进行训练。
该模型基于业界标准的 Transformer 架构,这也是大多数大语言模型的基础架构。当接收到用户提示时,Transformer 模型会将输入分解为单个词,并通过分析周围的文本来确定每个词的含义。此外,它们会优先处理被认为最相关的上下文部分。
Phi-4 采用了所谓的仅解码器型 Transformer 架构。标准的 Transformer 模型会分析单词前后的文本来确定其含义,而仅解码器模型只关注单词之前的文本,这减少了需要处理的数据量,从而降低了推理成本。
在一篇研究论文中,微软详细介绍了使用两种后训练优化技术来提升 Phi-4 的输出质量。这些方法被称为直接偏好优化和监督微调。两种方法都涉及向语言模型提供示例,说明它应该如何生成提示响应。
在内部评估中,微软将 Phi-4 与参数量是其五倍的 Llama 3.3 70B 进行了比较。公司表示,Phi-4 在流行的 GPQA 和 MATH 基准测试中表现更好。这两个测试数据集分别包含科学问题和数学问题。
Phi-4 加入了过去一年主要科技公司开源的小型语言模型不断增长的行列。
去年二月,谷歌推出了一系列名为 Gemma 的小型语言模型。该系列算法的参数量在 20 亿到 270 亿之间。据谷歌称,270 亿参数版本的性能可以超过规模是其两倍以上的模型。
最近,Meta 发布了两个参数量不到 50 亿的 Llama 3.2 模型。随后,该公司开源了这些模型的更高效版本,这些版本采用了称为量化的机器学习技术。该技术通过压缩神经网络摄入的数据来减少处理所需的硬件资源。
好文章,需要你的鼓励
Cato Networks 推出全球首个基于 SASE 的局域网新一代防火墙 (NGFW),实现了局域网和云防火墙的完全融合。该方案旨在解决企业平均需要 55 天才能修复 50% 关键漏洞的问题,通过自更新和自维护功能,消除了手动打补丁和紧急修复的需求,为企业提供始终最新的安全防护。
WhatsApp 正在测试新的消息主题功能,该功能将允许用户更好地组织和跟踪群聊中的对话。继上月推出彩色聊天主题、关联社交媒体账号以及支持图片和语音的 ChatGPT 功能后,这项新功能将进一步提升用户体验,特别是在繁忙的群聊中追踪特定话题时更为便捷。
Orange 与卫星运营商 Telesat 建立战略商业合作伙伴关系,通过在法国贝尔塞奈昂奥特建设 Telesat Lightspeed 地面站,结合 Orange 在 26 个国家和地区的地面站网络,为偏远地区提供低延迟、安全可靠的卫星通信服务。此次合作将增强 Orange 的全球数字基础设施韧性,促进偏远地区的数字包容。
世界宽带协会 (WBBA) 研究表明,人工智能在网络领域已发挥重要作用,特别是在宽带部署前期阶段的应用可以优化基础设施投资并提升收益。同时,Net5.5G 网络架构的全球应用案例,以及 Wi-Fi 通话等新技术的发展,都将推动下一代智能互联网络的实现。