在具体业务场景中应用大模型时,模型微调是关键步骤。然而,传统微调方法面临两难:将数据上传给模型方,可能会引发数据隐私和安全风险;而将完整模型交给数据方则可能会导致模型知识产权泄漏,并增加微调模型遭受攻击的风险。
近日,在全球人工智能顶级学术会议AAAI 2025期间,由蚂蚁数科、浙江大学、利物浦大学和华东师范大学联合团队提出了一种创新的跨域微调(offsite-tuning)框架——ScaleOT,该框架可实现在模型性能无损的前提下,将隐私保护效果提升50%。与知识蒸馏技术相比,Scale OT显著降低了90%的算力消耗,为百亿级参数模型的跨域微调提供了一种高效、轻量化的解决方案。这篇论文以其创新性入选了全球AI顶会AAAI的oral论文。据了解,本届AAAI大会共收到近13000篇论文,被选中做口头报告的论文比例仅4.6%。
为同时保护模型产权与数据隐私,目前业内采用的主流方案是"跨域微调"。跨域微调是一种大模型隐私保护训练方法,它通过有损压缩技术将大模型转换为仿真器(Emulator),数据持有方基于仿真器训练适配器(Adapter)并返回给大模型,从而完成调优。在此过程中,由于数据和模型均未出域,该方法同时保护了模型方与数据方的隐私。然而跨域微调往往需要牺牲模型的性能或者付出高昂算力成本。
当前主流的跨域微调方法存在显著局限性:其一,其“均匀抽积木”式的处理方式容易造成模型关键层的缺失,从而导致模型性能显著下降;其二,若采用蒸馏技术来弥补性能损失,计算成本几乎与重新训练一个中型模型相当。此外,现有方法在隐私保护方面缺乏灵活性,难以根据不同场景需求动态调整隐私保护强度。
据蚂蚁数科技术团队介绍,ScaleOT提出了三大创新思路,有效地实现了在模型性能与隐私安全之间的平衡。首先是对大模型智能层的重要性进行评估,用强化学习给大模型做扫描,自动识别哪些层对当前任务最关键,动态保留模型“核心层”,有效降低模型性能损耗。其次,对保留的模型原始层做“打码”,让攻击者无法通过中间层复原原始模型,可以在性能几乎无损的情况下,显著提升隐私保护强度。最后,该框架还可以根据不同场景需求进行灵活组装,实现隐私强度可调节。
解决数据和模型的隐私安全问题,是大模型在产业界尤其是金融行业落地的重要课题。蚂蚁数科技术团队这一创新的大模型隐私微调算法,为大模型隐私保护提供了新颖的思路与解决方案。目前,该算法已经融入蚂蚁数科旗下的摩斯大模型隐私保护产品中,并已成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。
好文章,需要你的鼓励
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
OpenAI明确表示要成为互联网一切事物的主导界面。AI智能体正在改变用户的数字习惯,从健康记录分析到购物指导,ChatGPT已经在多个领域扩展影响力。用户快速采用AI工具,但企业和生态系统的适应速度滞后。电商领域的权力分配尚不明确,用户偏好AI驱动的答案优先体验,品牌则推动生成式引擎优化。研究旨在了解用户与企业在AI变革中的适应差异。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。