微软发布了一款名为Phi-2的人工智能模型,该模型表现出了不凡的能力,其性能可媲美甚至超越规模是其25倍的、更大、更成熟的模型。
微软在近日的一篇博文中宣布,Phi-2是一个拥有27亿参数的语言模型,与其他基础模型相比,它在复杂的基准测试中表现出了 "先进的性能",这些测试评估了推理、语言理解、数学、编码和常识能力。Phi-2现在通过微软Azure人工智能工作室的模型目录发布,这意味着研究人员和开发人员现在就可以将其集成到第三方应用程序中。
Phi-2由微软首席执行官Satya Nadella(如图)于11月在Ignite大会上首次发布,其强大的功能得益于该公司所称的“教科书质量”数据(专门针对知识),以及学习其他模型传递的洞见的技术。
Phi-2 的有趣之处在于,传统上,大型语言模型的能力总是与其总体规模密切相关,而总体规模是以参数来衡量的。参数越大的模型通常能力越强,但 Phi-2 的出现改变了这种状况。
微软表示,Phi-2在某些基准测试中显示出与更大型的基础模型相匹敌甚至超越它们的能力,包括Mistral AI 70亿参数的Mistral、Meta Platforms公司130亿参数的Llama 2,甚至在某些基准测试中超过了700亿参数的Llama-2。
最令人惊讶的说法可能是,它的性能甚至超过了谷歌的 Gemini Nano,后者是上周发布的 Gemini系列LLM中效率最高的一款。Gemini Nano 专为设备上的任务而设计,可以在智能手机上运行,实现文本摘要、高级校对、语法修正以及上下文智能回复等功能。
微软的研究人员说,Phi-2涉及的测试非常广泛,包括语言理解、推理、数学、编码挑战等。
该公司表示,Phi-2之所以能取得如此优异的成绩,是因为它是用精心挑选的教科书级数据训练而成,这些数据旨在教授推理、知识和常识,这意味着它可以从更少的信息中学到更多的东西。微软的研究人员还使用了一些技术,允许从更小的模型中获取知识。
研究人员表示,值得注意的是,Phi-2可以不使用基于人类反馈的强化学习或者教学性微调等技术就实现强劲的性能,这些技术通常用于改善人工智能模型行为。尽管没有使用这些技术,但是与其他使用了这些技术的开源模型相比,Phi-2在减少偏见和有毒内容方面依然表现卓越。该公司认为这是量身定制的数据整理的功劳。
Phi-2是微软研究人员所称的“小型语言模型(SLM)”系列的最新版本。该系列第一个模型是 Phi-1,于今年早些时候首次发布,拥有13亿参数,针对基本的Python编码任务进行了微调。今年9月,该公司又推出了拥有13亿参数的Phi-1.5,使用新的数据源进行训练,其中包括用自然语言编程生成的各种合成文本。
微软表示,Phi-2的高效性使其成为研究人员探索增强人工智能安全性、可解释性和语言模型道德发展等领域的理想平台。
好文章,需要你的鼓励
人工智能初创公司Counterintuitive Corp.正式发布,旨在通过开发专为推理而非模仿设计的芯片和软件来重新定义AI。该公司提出人工推理单元(ARU)这一全新计算架构类别,以解决现代AI面临的"精度无真理、推理无记忆"双重困境。ARU采用确定性、记忆驱动的推理架构,配合全栈推理软件,承诺突破当前AI局限性,开启后GPU时代的智能计算新纪元。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
全球最大云服务提供商亚马逊云服务(AWS)遭遇大规模故障,影响政府机构、AI公司和金融平台等众多客户。尽管AWS称已基本恢复,但仍有用户无法连接租用服务器。故障源于关键数据库服务的数字目录故障,导致依赖该数据库的软件无法获取信息而出现连锁反应。受影响服务包括Venmo、苹果音乐、Zoom等数百个网站和应用。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。