据The Information近日报道,微软公司正在开发一个拥有约5000亿个参数的大型语言模型。
据悉,这个在微软内部被称为MAI-1的大型语言模型预计最早将于本月亮相。
OpenAI在2020年中期推出 GPT-3 时,详细说明了该模型的初始版本拥有1750亿个参数。该公司透露,GPT-4的规模更大,但尚未透露具体数字。有报道称,OpenAI的旗舰LLM包含1.76 万亿个参数,而性能与GPT-4相当的Google LLC的Gemini Ultra据说有1.6万亿个参数。
据报道,微软的MAI-1包含5000亿个参数,这表明它可以被定位为GPT-3和ChatGPT-4之间的一种中端选择。这样的配置可以让模型提供较高的响应精度,但耗电量却大大低于OpenAI的旗舰LLM。这将降低微软的推理成本。
据The Information报道,MAI-1的开发工作由LLM开发商Inflection AI公司的创始人Mustafa Suleyman负责。据称,微软以6.25亿美元的价格收购了这家初创公司,Suleyman与这家公司的大部分员工一起于今年3月加入微软。这位高管早些时候曾与他人共同创办了谷歌(Google LLC)的 DeepMind AI 研究小组。
据报道,微软可能会使用Inflection AI的训练数据和某些其他资产来支持 MAI-1。据说该模型的训练数据集还包括各类信息,包括由GPT-4生成的文本和网页内容。据报道,微软正在使用配备英伟达显卡的“大型服务器集群”进行开发。
The Information的消息来源指出,该公司尚未决定如何使用MAI-1。如果该模型确实拥有5000亿个参数,那么它就太复杂了,无法在消费类设备上运行。这意味着微软最有可能在其数据中心部署 MAI-1,将LLM集成到必应和Azure等服务中。
据信,如果MAI-1能够显示出足够的前景,微软将在5月16日举行的Build开发者大会上首次发布MAI-1。这暗示该公司有望在几周内拥有该模型的工作原型(如果现在还没有的话)。
正在开发MAI-1的消息传出之前不到两周,微软刚刚开源了一个被称为Pi-3 Mini的语言模型。据该公司称,Pi-3 Mini 拥有 38 亿个参数,性能超过规模是其10倍以上的LLM。Pi-3 是人工智能系列的一部分,该系列还包括另外两个更大、性能稍好的神经网络。
好文章,需要你的鼓励
本文探讨如何使用生成式AI和大语言模型作为倾听者,帮助用户表达内心想法。许多主流AI如ChatGPT、Claude等被设计成用户的"最佳伙伴",或试图提供心理健康建议,但有时用户只想要一个尊重的倾听者。文章提供了有效的提示词技巧,指导AI保持中性、尊重的态度,专注于倾听和理解,而非给出建议或判断。同时提醒用户注意隐私保护和AI的局限性。
北京大学团队开发出WoW世界模型,这是首个真正理解物理规律的AI系统。通过200万机器人互动数据训练,WoW不仅能生成逼真视频,更能理解重力、碰撞等物理定律。其创新的SOPHIA框架让AI具备自我纠错能力,在物理理解测试中达到80.16%准确率。该技术将推动智能机器人、视频制作等领域发展,为通用人工智能奠定重要基础。
人工通用智能和超级人工智能的出现,可能会创造出一种全新的外星智能形态。传统AI基于人类智能模式构建,但AGI和ASI一旦存在,可能会选择创造完全不同于人类认知方式的新型智能。这种外星人工智能既可能带来突破性进展,如找到癌症治愈方法,也可能存在未知风险。目前尚不确定这种新智能形态是否会超越人类智能,以及我们是否应该追求这一可能改变人类命运的技术突破。
香港大学和蚂蚁集团联合推出PromptCoT 2.0,这是一种让AI自动生成高质量训练题目的创新方法。通过"概念-思路-题目"的三步策略,AI能像老师备课一样先构思解题思路再出题,大幅提升了题目质量和训练效果。实验显示该方法在数学竞赛和编程任务上都取得了显著提升,为解决AI训练数据稀缺问题提供了新思路。