至顶网软件频道消息: OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在GPU上建立更快、更高效、占内存更少的神经网络。
神经网络由一些连接节点层组成。神经网络的结构处决于数据和应用程序,各种结构的变化可以很大,但所有的模型都受到GPU运行方式的限制。
一种使用较小的计算达到训练较大模型的方法是使用稀疏矩阵。如果一个矩阵里大多数元素都是零,该矩阵即为稀疏矩阵。矩阵的空白元素(零)可以被压缩,在做矩阵乘法时可以跳过这些元素,而且,稀疏矩阵占用的GPU内存较少。
OpenAI的研究科学家Durk Kingma在向记者解释时表示,矩阵运算时的计算成本与矩阵中非零项的数量成正比。
使用稀疏矩阵就意味着节省下来的额外计算可用于构建横向更宽或纵向更深的网络,从而可以更高效地训练和执行推导运算,比率可高达十倍。
通过增加稀疏性后,密集神经网络(左)可以变成更宽(中)或更深(右)神经网络。 (图片来源:OpenAI)
Kingma表示,Nvidia其实并不支持稀疏模型。OpenAI的一个团队因此决定为广泛的研究社区开发核心程序(一种编译在硬件上运行的软件的小程序),核心程序是针对构建块状稀疏网络优化过的。
Elon Musk的人工智能研究部门的研究人员在内部利用OpenAI的核心程序训练长期短期记忆神经网络,这些神经网络被用于亚马逊和IMDB上评论文章的情绪分析。
研究人员在提交准备发表的文章(https://blog.openai.com/unsupervised-sentiment-neuron/)里表示,“我们的稀疏模型改善了文档级IMDB数据集截止目前为止的最好结果,由原来的5.91%错误率提高到5.01%。该改善结果与我们之前的结果比表现出了其潜力,原来的方法只有在处理短句层次文档时才能达到最佳效果。”
该核心程序是用CUDA编写的,OpenAI目前只为其开发了一个TensorFlow包装器,使用别的框架的研究人员需编写自己的包装器。还有,该核心程序仅支持Nvidia GPU。
Open AI的技术人员Scott Gray告诉记者,“该核心程序肯定可以扩展到其他支持小块矩阵乘法的架构,包括我知道的大多数架构,不过不包括Google的TPU2。“
Kingma说,尽管这些结果很有潜力,但“由于核心程序是新开发的,我们并不是明确知道核心程序在什么时候以及什么地方可以帮助神经网络架构。在实验中,我们提供了一些有助于在模型里添加稀疏性的例子。我们鼓励社区进一步探索这个空间。“
Gray做了补充,他表示,Nvidia已经获悉核心程序方面的工作,他们正在等代码发布后进一步提供更广泛的支持。
OpenAI的工作与Taco类似。Taco是由麻省理工学院的研究人员创建的一个软件,可自动生成处理稀疏矩阵的代码。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。