当地时间2月25日,AAAI 2025 在美国宾夕法尼亚州费城举办,会议为期8天,于3月4日结束。AAAI 由国际人工智能促进协会主办,是人工智能领域历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议,每年举办一届。AAAI 2025 共有12957篇有效投稿,录用3032篇,录取率为 23.4%。其中,Oral论文占比4.6%。
AAAI 2025 收录了多篇来自中国高校和互联网企业的技术论文。如厦门大学信息学院有32篇论文入选,研究方向涉及多模态、目标检测、自动驾驶等领域。香港科技大学数据科学与分析学域有14篇论文入选,研究方向涉及大语言模型压缩、微调,监督学习,AI图像处理等领域。快手有7篇论文入选,研究方向涉及短视频处理、视频问答技术、推荐模型等。蚂蚁集团则有18篇论文入选,其中3篇入选Oral论文,研究领域涉及增强大模型隐私保护、提高推理速度与推理能力、提升大模型训练效率、降低模型幻觉等。
这些论文中,聚焦大模型的技术优化和技术突破尤为引人关注。
大模型的快速及持续发展,离不开对模型所有权和数据隐私的保护。由蚂蚁数科、浙江大学、利物浦大学和华东师范大学联合完成的Oral论文《隐私-实用性可变的大模型跨域微调算法》提出了一种全新的跨域微调(offsite-tuning)框架ScaleOT。该框架可为模型隐私提供多种不同规模的有损压缩的仿真器,还能促进无损微调。实验表明,与基于知识蒸馏的方法相比,ScaleOT在多种模型上取得了12.5%的全量微调达成率提升。相较于知识蒸馏方法,ScaleOT还节省了90%的算力需求,为百亿级参数模型的轻量化跨域微调提供可行方案。目前,该算法已融入蚂蚁数科旗下的摩斯大模型隐私保护产品中,并成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。
大语言模型的飞速发展,还打破了许多自然语言处理任务间的壁垒。对于知识图谱而言,实体作为最基本的数据单元,往往需要多个自然语言词元才能准确描述,这导致知识图谱与自然语言之间存在明显的粒度不匹配。蚂蚁集团和浙江大学联合实验室完成的另一篇Oral论文《K-ON:在大模型的输出层堆叠知识图谱知识》提出了一个叫K-ON的方法,其采用的多步Token预测机制不仅能一步生成对所有实体的评估结果,并且实现了适配语言模型的图谱实体层级的对比学习,这是知识图谱表示学习中最有力的工具之一。实验结果表明,K-ON不仅优于传统方法,而且在性能上也超过了那些利用额外文本和视觉信息的多模态方法。此外,与传统方法相比,K-ON的训练轮数从1000轮减少到了5轮。在DB15K数据集上使用8张A100显卡可以在1小时内完成训练。
记者发现,近年来,全球AI顶级会议上的“中国队”越来越活跃。中国科学技术信息研究所《中国科技论文统计报告 2024》显示,中国热点论文数世界第一(48.4%),高被引论文数世界第二(33.8%),以及计算机科学等 7 个学科论文被引次数世界第一。
“中国队”中,互联网企业和科技企业等“队友”的表现引人注目。斯坦福 AIIndex2024 总结的十大趋势显示,当下,工业界正在主导人工智能前沿研究。
中国的互联网企业和科技公司,如今亦已成长为不容忽视的中国科研力量,期待由产学研联手的“中国队”,继续在全球前沿科技舞台上斩获佳绩。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。