在具体业务场景中应用大模型时,模型微调是关键步骤。然而,传统微调方法面临两难:将数据上传给模型方,可能会引发数据隐私和安全风险;而将完整模型交给数据方则可能会导致模型知识产权泄漏,并增加微调模型遭受攻击的风险。
近日,在全球人工智能顶级学术会议AAAI 2025期间,由蚂蚁数科、浙江大学、利物浦大学和华东师范大学联合团队提出了一种创新的跨域微调(offsite-tuning)框架——ScaleOT,该框架可实现在模型性能无损的前提下,将隐私保护效果提升50%。与知识蒸馏技术相比,Scale OT显著降低了90%的算力消耗,为百亿级参数模型的跨域微调提供了一种高效、轻量化的解决方案。这篇论文以其创新性入选了全球AI顶会AAAI的oral论文。据了解,本届AAAI大会共收到近13000篇论文,被选中做口头报告的论文比例仅4.6%。
为同时保护模型产权与数据隐私,目前业内采用的主流方案是"跨域微调"。跨域微调是一种大模型隐私保护训练方法,它通过有损压缩技术将大模型转换为仿真器(Emulator),数据持有方基于仿真器训练适配器(Adapter)并返回给大模型,从而完成调优。在此过程中,由于数据和模型均未出域,该方法同时保护了模型方与数据方的隐私。然而跨域微调往往需要牺牲模型的性能或者付出高昂算力成本。
当前主流的跨域微调方法存在显著局限性:其一,其“均匀抽积木”式的处理方式容易造成模型关键层的缺失,从而导致模型性能显著下降;其二,若采用蒸馏技术来弥补性能损失,计算成本几乎与重新训练一个中型模型相当。此外,现有方法在隐私保护方面缺乏灵活性,难以根据不同场景需求动态调整隐私保护强度。
据蚂蚁数科技术团队介绍,ScaleOT提出了三大创新思路,有效地实现了在模型性能与隐私安全之间的平衡。首先是对大模型智能层的重要性进行评估,用强化学习给大模型做扫描,自动识别哪些层对当前任务最关键,动态保留模型“核心层”,有效降低模型性能损耗。其次,对保留的模型原始层做“打码”,让攻击者无法通过中间层复原原始模型,可以在性能几乎无损的情况下,显著提升隐私保护强度。最后,该框架还可以根据不同场景需求进行灵活组装,实现隐私强度可调节。
解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。蚂蚁数科技术团队这一创新的大模型隐私微调算法,为大模型隐私保护提供了新颖的思路与解决方案。目前,该算法已经融入蚂蚁数科旗下的摩斯大模型隐私保护产品中,并已成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。
好文章,需要你的鼓励
这篇研究论文介绍了"Speechless",一种创新方法,可以在不使用实际语音数据的情况下训练语音指令模型,特别适用于越南语等低资源语言。研究团队通过将文本指令转换为语义表示,绕过了对高质量文本转语音(TTS)系统的依赖。该方法分三个阶段:首先训练量化器将语音转为语义标记;然后训练Speechless模型将文本转为这些标记;最后用生成的合成数据微调大型语言模型。实验表明,该方法在越南语ASR任务中表现出色,为低资源语言的语音助手开发提供了经济高效的解决方案。
《Transformer Copilot》论文提出了一种革命性的大语言模型微调框架,通过系统记录和利用模型训练过程中的"错误日志"来提升推理性能。研究团队受人类学习者记录和反思错误的启发,设计了一个"副驾驶"模型来辅助原始"驾驶员"模型,通过学习错误模式并在推理时校正输出。这一方法在12个基准测试上使模型性能提升高达34.5%,同时保持计算开销最小,展现了强大的可扩展性和可迁移性,为大语言模型的优化提供了全新思路。
德克萨斯大学Austin分校的研究团队提出了RIPT-VLA,一种创新的视觉-语言-动作模型后训练范式。该方法通过让AI模型与环境互动并仅接收简单的成功/失败反馈来学习,无需复杂的奖励函数或价值模型。实验证明,RIPT-VLA能显著提升现有模型性能,在轻量级QueST模型上平均提升21.2%,将大型OpenVLA-OFT模型推至97.5%的前所未有成功率。最令人惊叹的是,仅用一个示范样本,它就能将几乎不可用的模型在15次迭代内从4%提升至97%的成功率,展现出卓越的数据效率和适应能力。
北京大学与华为诺亚方舟实验室研究团队共同开发了TIME基准,这是首个专为评估大语言模型在真实世界场景中的时间推理能力而设计的多层级基准。该研究提出了三个层级的时间推理框架,包含11个细粒度任务,并构建了涵盖38,522个问答对的数据集,针对知识密集型信息、快速变化的事件动态和社交互动中的复杂时间依赖性三大现实挑战。实验结果表明,即使是先进模型在构建时间线和理解复杂时间关系方面仍面临显著挑战,而测试时扩展技术可明显提升时间逻辑推理能力。