至顶网软件与服务频道消息:近日,人工智能国际顶会ICML 2020公布了论文收录结果,阿里巴巴7篇论文入选,是入选论文数量最多的中国科技公司。ICML是机器学习领域全球最具影响力的学术会议之一,今年接受率仅为21.8%。
根据ICML官方显示,阿里7篇论文涵盖在图像识别、自然语言处理、搜索推荐等领域的研究成果,其中一篇《Boosting Deep Neural Network Efficiency with Dual-Module Inference》,提出了一种全新的AI推理方法,可大幅减少AI对计算和内存资源的消耗,能将推理速度提升3倍。
近年来AI模型变得越来越复杂化,尤其是类似语言AI这类复杂模型,给计算、内存资源带来了新的挑战。目前,业界通用的解决方法是采用更先进的计算性能来运行AI任务,例如采用GPU、FPGA或者NPU等异构计算,但该方法并没有从根源上解决问题。
阿里巴巴达摩院设计出了一种“AI双脑思考”的方法,能让大型神经网络像人类一样学会“快思考”与“慢思考”,从而进行高效且准确的推理过程。
该方法被称为“双模推理”, 即将一个复杂任务拆分成两个任务,例如在复杂AI推理任务过程中,可以先以很小的资源运行“小网络”,同时分析哪些网络的区域较为敏感,然后只对敏感区域在“大网络”中运行计算。
达摩院的科学家从理论上证明了双模推理的可行性,且在CPU上实现了该方法。实际效果显示,该方法能在保证模型精度的基础上,在语言模型上减小40%的访存,达到1.54倍-1.75倍的性能提升,同时可以在仅损耗0.5%精度基础上,提升3倍的推理速度。
近年来,阿里在AI领域迎来了基础研究与产业应用成果双爆发的阶段。三年前,阿里巴巴成立了内部研究机构达摩院,深入AI研究前沿。据了解,阿里AI已在国际顶级技术赛事上获得了近60项世界第一,500多篇论文入选国际顶会。同时,阿里AI落地了多项重大研究成果,全面赋能各行各业。达摩院医疗AI团队疫情期间研发的AI诊断技术,已在全球近600家医院落地,完成50余万例临床诊断。
好文章,需要你的鼓励
这项研究由德累斯顿工业大学等机构的研究团队完成,旨在解决主动学习未被广泛应用的问题。研究者构建了包含460万种超参数组合的实验网格,系统分析了各参数对主动学习性能的影响。研究发现,不同策略实现间存在显著差异,基于边缘的不确定性策略整体表现最佳,随机选择约4000个超参数组合即可获得可靠结果。这些发现为设计可重现、可信赖的主动学习实验提供了明确指导,有助于降低入门门槛,促进技术在实际应用中的普及。
这项由英国爱丁堡大学和上海人工智能实验室研究者共同完成的工作提出了LongBioBench,一种用于评估长文本语言模型的新型基准测试框架。通过使用人工生成的虚构人物传记作为测试环境,该框架在保持可控性的同时,提供了更真实的评估场景。研究对18个长文本模型的测试表明,即使最先进的模型在检索、推理和可信任性方面仍存在显著挑战,特别是上下文长度增加时。研究还揭示了现有合成基准测试的设计缺陷和长上下文预训练的局限性,为未来模型开发提供了重要指导。
SuperWriter是一项来自新加坡科技设计大学和清华大学的突破性研究,通过模仿人类"先思考后写作"的过程,彻底改良了AI长文生成能力。该研究团队开发的框架包含三个关键阶段:规划、写作和修改,使AI能像专业作家一样进行结构化思考。实验结果表明,经过训练的SuperWriter-LM模型不仅超越同等规模的所有AI模型,甚至在某些领域表现优于规模更大的顶级模型,为AI辅助写作开创了新的可能性。
香港大学与阿里巴巴达摩院合作开发的LayerFlow是一种突破性的层级视频生成技术,能同时生成透明前景、完整背景和混合场景视频。该技术通过创新的框架设计将不同视频层级作为子片段连接,并引入层级嵌入使模型区分各层级。面对高质量训练数据稀缺的挑战,研究团队设计了三阶段训练策略,结合Motion LoRA和Content LoRA,实现了图像和视频数据的联合训练。LayerFlow不仅支持多层视频生成,还能实现视频分解和条件层生成,为视频创作领域带来革命性变革。