谷歌研究人员创建了号称是“学习一切的模型”,可利用多种类型的训练数据在不同的任务里训练人工智能(AI)模型。
谷歌希望旗下的Tensor2Tensor程序库可以加速深度学习的研究
谷歌研究人员和以AI为重点的谷歌大脑团队(Google Brain Team)打造的新Tensor2Tensor程序库里还包括其他工具及模块化组件,简单来说其就是一个程序库包,他们希望该程序库包可以加速深度学习的研究。
另外,该谷歌框架可望减少环境定制的一些工作,令深度学习模型可以处理各种任务。
谷歌研究人员在一篇文章里称此为“学习一切的模型”,到目前为止,尽管深度学习在语音识别、图像分类和翻译方面取得了成功,但每个模型都需针对特定的任务进行微调。
而且,各种模型通常是针对来自相同“域”的任务进行训练的,例如,一种翻译任务的训练用的是其他翻译任务。
这些因素凑在一起将减缓了深度学习的研究,并且也没有遵循人类大脑的工作原理,人类大脑能够从一个挑战中学会一些东西,并将其应用于解决新的任务。
而谷歌创建的模型是针对各种任务训练的,包括图像识别、翻译任务、图像字幕和语音识别等。
谷歌研究人员称该单一模型可以同时从多个领域学习许多的任务,而且该模型还能够传递知识。该模型能够从拥有大量训练数据的任务里学习,并将学习到知识应用到一些数据有限的任务。
Tensor2Tensor程序库由谷歌大脑团队的研究人员和工程师维护,该程序库提供了一套用于训练TensorFlow深入学习模型的开源工具。据Tensor2Tensor的GitHub网页(https://github.com/tensorflow/tensor2tensor)介绍,Tensor2Tensor库“的目标是最大限度地提高想法带宽并最大限度地减少执行延迟”。
谷歌大脑团队高级研究科学家及文章的主要作者Lukasz Kaiser做了如下解释,“Tensor2Tensor库有助于为各种机器学习应用程序创建最先进的模型,例如翻译、解析、图像字幕等等,有了Tensor2Tensor,就能快速探索各种想法。”
另外,Tensor2Tensor库还包括一个从谷歌大脑研究人员最近发表的论文里获取的数据集和模型库。
Kaiser日前还发布了用于机器翻译的BLEU基准测试结果,结果表明,Tensor2Tensor的最佳模式可提供业内最佳结果,而用的GPU数量更少,用的时间比过去未使用Tensor2Tensor的模型少很多。
Kaiser 表示,“用了Tensor2Tensor,就可以在一天内使用单个GPU得到业内最佳结果,这一点很了不起。”
Tensor2Tensor库还包括相关的数据集、模型架构、优化器、学习速率衰减方案、超参数等等,并包含这些组件之间的标准接口。
好文章,需要你的鼓励
当前企业面临引入AI的机遇与挑战。管理层需要了解机器学习算法基础,包括线性回归、神经网络等核心技术。专家建议从小规模试点开始,优先选择高影响用例,投资数据治理,提升员工技能。对于影子IT现象,应将其视为机会而非问题,建立治理流程将有效工具正式化。成功的AI采用需要明确目标、跨部门协作、变革管理和持续学习社区建设。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
美国垃圾收集行业2024年创收690亿美元,近18万辆垃圾车每周运营六至七天,每日停靠超千次。设备故障成为行业最大隐性成本,每辆车年均故障费用超5000美元。AI技术通过实时监控传感器数据,能提前数周预测故障,优化零部件库存管理,减少重复维修。车队报告显示,预测性维护每辆车年节省高达2500美元,显著提升运营效率和服务可靠性。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。