至顶网软件频道消息: OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在GPU上建立更快、更高效、占内存更少的神经网络。
神经网络由一些连接节点层组成。神经网络的结构处决于数据和应用程序,各种结构的变化可以很大,但所有的模型都受到GPU运行方式的限制。
一种使用较小的计算达到训练较大模型的方法是使用稀疏矩阵。如果一个矩阵里大多数元素都是零,该矩阵即为稀疏矩阵。矩阵的空白元素(零)可以被压缩,在做矩阵乘法时可以跳过这些元素,而且,稀疏矩阵占用的GPU内存较少。
OpenAI的研究科学家Durk Kingma在向记者解释时表示,矩阵运算时的计算成本与矩阵中非零项的数量成正比。
使用稀疏矩阵就意味着节省下来的额外计算可用于构建横向更宽或纵向更深的网络,从而可以更高效地训练和执行推导运算,比率可高达十倍。
通过增加稀疏性后,密集神经网络(左)可以变成更宽(中)或更深(右)神经网络。 (图片来源:OpenAI)
Kingma表示,Nvidia其实并不支持稀疏模型。OpenAI的一个团队因此决定为广泛的研究社区开发核心程序(一种编译在硬件上运行的软件的小程序),核心程序是针对构建块状稀疏网络优化过的。
Elon Musk的人工智能研究部门的研究人员在内部利用OpenAI的核心程序训练长期短期记忆神经网络,这些神经网络被用于亚马逊和IMDB上评论文章的情绪分析。
研究人员在提交准备发表的文章(https://blog.openai.com/unsupervised-sentiment-neuron/)里表示,“我们的稀疏模型改善了文档级IMDB数据集截止目前为止的最好结果,由原来的5.91%错误率提高到5.01%。该改善结果与我们之前的结果比表现出了其潜力,原来的方法只有在处理短句层次文档时才能达到最佳效果。”
该核心程序是用CUDA编写的,OpenAI目前只为其开发了一个TensorFlow包装器,使用别的框架的研究人员需编写自己的包装器。还有,该核心程序仅支持Nvidia GPU。
Open AI的技术人员Scott Gray告诉记者,“该核心程序肯定可以扩展到其他支持小块矩阵乘法的架构,包括我知道的大多数架构,不过不包括Google的TPU2。“
Kingma说,尽管这些结果很有潜力,但“由于核心程序是新开发的,我们并不是明确知道核心程序在什么时候以及什么地方可以帮助神经网络架构。在实验中,我们提供了一些有助于在模型里添加稀疏性的例子。我们鼓励社区进一步探索这个空间。“
Gray做了补充,他表示,Nvidia已经获悉核心程序方面的工作,他们正在等代码发布后进一步提供更广泛的支持。
OpenAI的工作与Taco类似。Taco是由麻省理工学院的研究人员创建的一个软件,可自动生成处理稀疏矩阵的代码。
好文章,需要你的鼓励
Jabra 推出 PanaCast 40 VBS:首款专为小会议室设计的 180° Android 智能音视频一体机
这是一项关于计算机视觉技术突破的研究,由多家知名院校联合完成。研究团队开发了LINO-UniPS系统,能让计算机像人眼一样从不同光照下的照片中准确识别物体真实的表面细节,解决了传统方法只能在特定光照条件下工作的局限性,为虚拟现实、文物保护、工业检测等领域带来重要应用前景。
字节跳动智能创作实验室发布革命性AI视频数据集Phantom-Data,解决视频生成中的"复制粘贴"问题。该数据集包含100万个跨场景身份一致配对,通过三阶段构建流程实现主体检测、多元化检索和身份验证,显著提升文本遵循能力和视频质量。
这篇文章介绍了北京人工智能研究院开发的OmniGen2模型,一个能够同时处理文字转图像、图像编辑和情境生成的全能AI系统。该模型采用双轨制架构,分别处理文本和图像任务,并具备独特的自我反思机制,能够自动检查和改进生成结果。研究团队还开发了专门的数据构建流程和OmniContext评测基准,展现了开源模型的强大潜力。