至顶网软件频道消息: OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在GPU上建立更快、更高效、占内存更少的神经网络。
神经网络由一些连接节点层组成。神经网络的结构处决于数据和应用程序,各种结构的变化可以很大,但所有的模型都受到GPU运行方式的限制。
一种使用较小的计算达到训练较大模型的方法是使用稀疏矩阵。如果一个矩阵里大多数元素都是零,该矩阵即为稀疏矩阵。矩阵的空白元素(零)可以被压缩,在做矩阵乘法时可以跳过这些元素,而且,稀疏矩阵占用的GPU内存较少。
OpenAI的研究科学家Durk Kingma在向记者解释时表示,矩阵运算时的计算成本与矩阵中非零项的数量成正比。
使用稀疏矩阵就意味着节省下来的额外计算可用于构建横向更宽或纵向更深的网络,从而可以更高效地训练和执行推导运算,比率可高达十倍。
通过增加稀疏性后,密集神经网络(左)可以变成更宽(中)或更深(右)神经网络。 (图片来源:OpenAI)
Kingma表示,Nvidia其实并不支持稀疏模型。OpenAI的一个团队因此决定为广泛的研究社区开发核心程序(一种编译在硬件上运行的软件的小程序),核心程序是针对构建块状稀疏网络优化过的。
Elon Musk的人工智能研究部门的研究人员在内部利用OpenAI的核心程序训练长期短期记忆神经网络,这些神经网络被用于亚马逊和IMDB上评论文章的情绪分析。
研究人员在提交准备发表的文章(https://blog.openai.com/unsupervised-sentiment-neuron/)里表示,“我们的稀疏模型改善了文档级IMDB数据集截止目前为止的最好结果,由原来的5.91%错误率提高到5.01%。该改善结果与我们之前的结果比表现出了其潜力,原来的方法只有在处理短句层次文档时才能达到最佳效果。”
该核心程序是用CUDA编写的,OpenAI目前只为其开发了一个TensorFlow包装器,使用别的框架的研究人员需编写自己的包装器。还有,该核心程序仅支持Nvidia GPU。
Open AI的技术人员Scott Gray告诉记者,“该核心程序肯定可以扩展到其他支持小块矩阵乘法的架构,包括我知道的大多数架构,不过不包括Google的TPU2。“
Kingma说,尽管这些结果很有潜力,但“由于核心程序是新开发的,我们并不是明确知道核心程序在什么时候以及什么地方可以帮助神经网络架构。在实验中,我们提供了一些有助于在模型里添加稀疏性的例子。我们鼓励社区进一步探索这个空间。“
Gray做了补充,他表示,Nvidia已经获悉核心程序方面的工作,他们正在等代码发布后进一步提供更广泛的支持。
OpenAI的工作与Taco类似。Taco是由麻省理工学院的研究人员创建的一个软件,可自动生成处理稀疏矩阵的代码。
好文章,需要你的鼓励
Docker公司通过增强的compose框架和新基础设施工具,将自己定位为AI智能体开发的核心编排平台。该平台在compose规范中新增"models"元素,允许开发者在同一YAML文件中定义AI智能体、大语言模型和工具。支持LangGraph、CrewAI等多个AI框架,提供Docker Offload服务访问NVIDIA L4 GPU,并与谷歌云、微软Azure建立合作。通过MCP网关提供企业级安全隔离,解决了企业AI项目从概念验证到生产部署的断层问题。
中科院联合字节跳动开发全新AI评测基准TreeBench,揭示当前最先进模型在复杂视觉推理上的重大缺陷。即使OpenAI o3也仅获得54.87%分数。研究团队同时提出TreeVGR训练方法,通过要求AI同时给出答案和精确定位,实现真正可追溯的视觉推理,为构建更透明可信的AI系统开辟新路径。
马斯克的AI女友"Ani"引爆全球,腾讯RLVER框架突破情感理解边界:AI下半场竞争核心已转向对人性的精准把握。当技术学会共情,虚拟陪伴不再停留于脚本应答,而是通过"心与心的循环"真正理解人类孤独——这背后是强化学习算法与思考模式的化学反应,让AI从解决问题转向拥抱情感。
PyVision是上海AI实验室开发的革命性视觉推理框架,让AI系统能够根据具体问题动态创造Python工具,而非依赖预设工具集。通过多轮交互机制,PyVision在多项基准测试中实现显著性能提升,其中在符号视觉任务上提升达31.1%。该框架展现了从"工具使用者"到"工具创造者"的AI能力跃迁,为通用人工智能的发展开辟了新路径。