ZD至顶网软件频道消息: 本文作者曾经多次预测了技术发展的趋势,最近的一次预测是“2011年软件发展的趋势与预测”。10项预言中,准确地命中了6项,比如JavaScript VM、NoSQL、大数据分析、私有云、Scala语言等等。今年,他对深度学习的发展趋势做了一个预测,主要是研究领域的趋势预测,而不是工业界的应用。
以下是作者对2017年度的预测内容。
硬件将加速倍增摩尔定律
作者根据其观察到Nvidia和Intel的发展动态,认为这是显而易见的趋势。由于Nvidia具有完整的深度学习生态系统,它们在整个2017年都将主导占据主导地位。在另一个深度学习生态系统成熟之前,没有人会抛弃Nvidia而追求其它的平台。Intel的Xeon Phi方案中途夭折,预计要到2017年年中才能在性能上追赶上Nvidia,那时基于Nervana的芯片才推向市场。Intel的FPGA方案可能因为成本原因而被云提供商所采纳。降低功耗是头等大事。预计到2017年年中,Intel的Nervana芯片每秒可完成30万亿次浮点运算。作者个人猜测,Nvidia目前已经能够实现每秒20万亿次浮点运算,他打赌Intel在2018年之前不会有太多动作。Intel手中的唯一可能的一张王牌是3D XPoint技术。这将有助于提高整个硬件堆栈,但不一定是提升核心能力。
卷积神经网络(CNN)将会统治而RNNs和LSTM将被淘汰
作者认为CNN模型将成为深度学习系统的主流模型。RNN和LSTM模型及其递归设置和嵌套的记忆节点将越来越少地使用,因为它们无法与CNN所抗衡。就如同GOTO在代码中消失一样,作者希望RNN和LSTM模型也被淘汰。
简单的调参工作将被元学习取代
当作者刚开始接触深度学习时,他认为优化算法,特别是二阶的算法能够有巨大的提升。如今,已经有替我们优化模型的深度学习模型了。我们不在需要费尽心思改进SGD算法了,作者认为重要的一个原因是元学习(meta-learning)能够根据领域自适应地优化学习过程。
可微分记忆网络将更常见
记忆模块将从核心节点中抽取出来,只是作为计算机制的一个独立组件,作者觉得这是一个很自然的结果或者说架构。他认为LSTM的遗忘门、输入门和输出门没有必要,它们可以被辅助的可微分记忆模块所取代。这呼应了作者对CNN模型的预测。
强化学习只会变得更具创造性
对于现实的观察永远是不完美的。我们身边存在着大量SGD无法解决的问题。因此,任何实践性的深度学习系统都必须包含某些形式的强化学习。除此之外,强化学习将会出现在各种深度学习的训练过程中。作者认为强化学习极大地促进了元学习。
对抗与合作学习将成为王牌
在过去,我们的深度学习系统都只有单一的目标函数。今后,作者希望看到两个或两个以上的网络合作或竞争来实现一个最佳的解决方案。参见“博弈论揭示了深度学习的未来”。
转移学习引领产业化
Andrew Ng认为这非常重要,作者也表示赞同!
更多的应用程序将使用深度学习组件
在2016年,我们已经看到深度学习在更大的搜索算法中用作一个功能评价组件。alphago采用深层学习来评估策略。谷歌的Gmail自动回复系统将深度学习与集束搜索(beam search)结合。作者希望看到更多的这类混合算法,而不是新的end-to-end的被训练的DL系统。
更多的采用设计模式
深度学习只是众多需要抽象结构的复杂领域之一。尽管它用到了很多高深的数学知识,仍有很多未经证明和模糊的概念可以借鉴在其它复杂领域已被证明是有效的方法,比如在软件开发领域有效。作者认为人们最终会从深度学习与模式设计中得到启发。
工程将超过理论
作者认为研究人员的背景和他们所使用的数学工具会给他们的研究方法带来偏见。深度学习系统和无监督学习系统等等这些新的东西可能我们从来没有遇到过。因此,他觉得没有证据表明我们的传统分析工具将对解开深度学习的谜团提供任何帮助。几十年来,物理学中大量的动态系统一直困扰着作者,他将此类比于深度学习系统。
然而,尽管我们缺乏了解其本质,但是将不会阻止工程上的应用。作者觉得深度学习几乎就像是生物技术或基因工程。我们已经创建了模拟学习机,我们不知道他们是如何工作的,但是这并没有阻止任何人进行创新。
原文: 10 Deep Learning Trends and Predictions for 2017
作者: Carlos E. Perez
译者: KK4SBB
好文章,需要你的鼓励
OpenAI在最新博客中首次承认,其AI安全防护在长时间对话中可能失效。该公司指出,相比短对话,长对话中的安全训练机制可能会退化,用户更容易通过改变措辞或分散话题来绕过检测。这一问题不仅影响OpenAI,也是所有大语言模型面临的技术挑战。目前OpenAI正在研究加强长对话中的安全防护措施。
北航团队推出VoxHammer技术,实现3D模型的精确局部编辑,如同3D版Photoshop。该方法直接在3D空间操作,通过逆向追踪和特征替换确保编辑精度,在保持未修改区域完全一致的同时实现高质量局部修改。研究还创建了Edit3D-Bench评估数据集,为3D编辑领域建立新标准,展现出在游戏开发、影视制作等领域的巨大应用潜力。
谷歌宣布计划到2026年底在弗吉尼亚州投资90亿美元,重点发展云计算和AI基础设施。投资包括在里士满南部切斯特菲尔德县建设新数据中心,扩建现有设施,并为当地居民提供教育和职业发展项目。弗吉尼亚州长表示这项投资是对该州AI经济领导地位的有力认可。此次投资是谷歌北美扩张战略的一部分。
宾夕法尼亚大学研究团队开发出PIXIE系统,这是首个能够仅通过视觉就快速准确预测三维物体完整物理属性的AI系统。该技术将传统需要数小时的物理参数预测缩短至2秒,准确率提升高达4.39倍,并能零样本泛化到真实场景。研究团队还构建了包含1624个标注物体的PIXIEVERSE数据集,为相关技术发展奠定了重要基础,在游戏开发、机器人控制等领域具有广阔应用前景。