英伟达近日发布了一款轻量级语言模型Mistral-NeMo-Minitron 8B,该模型在一系列任务中的表现均优于同等规模的神经网络。
该模型的代码以开源许可的形式发布在Hugging Face网站上。该模型发布的前一天,微软刚刚推出了几个自己的开源语言模型。与英伟达的新算法一样,这些新模型也是为了在处理能力有限的设备上运行而设计的。
Mistral-NeMo-Minitron 8B是英伟达上个月推出的Mistral NeMo 12B语言模型的缩小版。后者是与Mistral AI SAS合作开发的算法,Mistral AI SAS是一家人工智能初创公司,已经募集了大量的资金。英伟达利用了两种名为“剪枝”和“提炼”的机器学习技术创建了Mistral-NeMo-Minitron 8B。
“剪枝”是一种通过删除代码库中不必要的组件来降低模型硬件要求的方法。神经网络由无数个人工神经元组成,每个人工神经元的代码片段都能执行一组相对简单的计算。其中一些代码片段在处理用户请求时发挥的作用不如其他代码片段活跃,这意味着可以在不显著降低人工智能输出质量的情况下删除这些代码片段。
在对 Mistral NeMo 12B进行“剪枝”后,英伟达进入了该项目的所谓“提炼”阶段。“提炼”是工程师将人工智能知识转移到另一个硬件效率更高的神经网络的过程。在这种情况下,第二个模型就是今天亮相的Mistral-NeMo-Minitron 8B,它比原来的模型少了40亿个参数。
开发人员还可以通过从头开始训练一个全新的模型来降低人工智能项目的硬件要求。与这种方法相比,“提炼”有几个优势,尤其是能提高人工智能的输出质量。将大型模型“提炼”为小型模型的成本也更低,因为这项任务不需要那么多训练数据。
英伟达表示,在开发过程中结合使用“剪枝”和“提炼”技术显著提高了Mistral-NeMo-Minitron 8B 的效率。英伟达的高管Kari Briski在一篇博文中介绍说,“其体积小到足以在配备了Nvidia RTX的工作站上运行,同时在人工智能支持的聊天机器人、虚拟助手、内容生成器和教育工具的多个基准测试中依然表现出色。”
Mistral-NeMo-Minitron 8B发布的前一天,微软刚刚开源了自己的三个语言模型。与英伟达的新算法一样,它们的开发也考虑到了硬件效率。
这些模型中最紧凑的名为Phi-3.5-mini-instruct。它拥有38亿个参数,可以处理多达 128,000个标记的数据提示,这使它能够摄取冗长的商业文档。微软进行的一项基准测试表明,Phi-3.5-mini-instruct在执行某些任务时比Llama 3.1 8B和Mistral 7B更出色,而后两者的参数数量大约是前者的两倍。
本周二,微软还开源了另外两个语言模型。第一个是Phi-3.5-vision-instruct,它是Phi-3.5-mini-instruct的一个版本,可以执行图像分析任务,比如解释用户上传的图表。它与Phi-3.5-MoE-instruct同时推出,后者是一个更大的模型,拥有608亿个参数。当用户输入提示时,只有十分之一的参数会激活,这大大减少了推理所需的硬件数量。
好文章,需要你的鼓励
瑞典央行与金融机构及国家安全部门深化合作,共同应对网络威胁。今年5月,瑞典遭遇大规模分布式拒绝服务攻击,政府和金融机构受到严重冲击。总理克里斯特松承诺增加资金支持,建立更强大的公私合作伙伴关系。央行将举办第二届在线网络安全挑战峰会,鼓励金融机构提升网络安全能力。瑞典金融协会敦促建立危机管理机制,与国家网络安全中心等机构协调配合。
字节跳动发布Seedream 4.0多模态图像生成系统,实现超10倍速度提升,1.4秒可生成2K高清图片。该系统采用创新的扩散变换器架构,统一支持文字生成图像、图像编辑和多图合成功能,在两大国际竞技场排行榜均获第一名,支持4K分辨率输出,已集成至豆包、剪映等平台,为内容创作带来革命性突破。
工作压力源于大脑储存混乱而非系统。本文介绍5个ChatGPT提示词,帮你将工作压力转化为结构化行动:优先级排序任务清单、快速撰写专业邮件回复、从冗长文档中提取关键信息、生成问题解决方案、高效准备会议内容。通过系统化处理工作事务,将分散的精力转为专注执行,让大脑专注于决策而非重复劳动。
红帽公司研究团队提出危险感知系统卡(HASC)框架,为AI系统建立类似"体检报告"的透明度文档,记录安全风险、防护措施和问题修复历史。同时引入ASH识别码系统,为AI安全问题建立统一标识。该框架支持自动生成和持续更新,与ISO/IEC 42001标准兼容,旨在平衡透明度与商业竞争,建立更可信的AI生态系统,推动行业协作和标准化。