至顶网软件与服务频道消息:近日,人工智能国际顶会ICML 2020公布了论文收录结果,阿里巴巴7篇论文入选,是入选论文数量最多的中国科技公司。ICML是机器学习领域全球最具影响力的学术会议之一,今年接受率仅为21.8%。
根据ICML官方显示,阿里7篇论文涵盖在图像识别、自然语言处理、搜索推荐等领域的研究成果,其中一篇《Boosting Deep Neural Network Efficiency with Dual-Module Inference》,提出了一种全新的AI推理方法,可大幅减少AI对计算和内存资源的消耗,能将推理速度提升3倍。
近年来AI模型变得越来越复杂化,尤其是类似语言AI这类复杂模型,给计算、内存资源带来了新的挑战。目前,业界通用的解决方法是采用更先进的计算性能来运行AI任务,例如采用GPU、FPGA或者NPU等异构计算,但该方法并没有从根源上解决问题。
阿里巴巴达摩院设计出了一种“AI双脑思考”的方法,能让大型神经网络像人类一样学会“快思考”与“慢思考”,从而进行高效且准确的推理过程。
该方法被称为“双模推理”, 即将一个复杂任务拆分成两个任务,例如在复杂AI推理任务过程中,可以先以很小的资源运行“小网络”,同时分析哪些网络的区域较为敏感,然后只对敏感区域在“大网络”中运行计算。
达摩院的科学家从理论上证明了双模推理的可行性,且在CPU上实现了该方法。实际效果显示,该方法能在保证模型精度的基础上,在语言模型上减小40%的访存,达到1.54倍-1.75倍的性能提升,同时可以在仅损耗0.5%精度基础上,提升3倍的推理速度。
近年来,阿里在AI领域迎来了基础研究与产业应用成果双爆发的阶段。三年前,阿里巴巴成立了内部研究机构达摩院,深入AI研究前沿。据了解,阿里AI已在国际顶级技术赛事上获得了近60项世界第一,500多篇论文入选国际顶会。同时,阿里AI落地了多项重大研究成果,全面赋能各行各业。达摩院医疗AI团队疫情期间研发的AI诊断技术,已在全球近600家医院落地,完成50余万例临床诊断。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。