蚂蚁数科论文入选全球AI顶会AAAI 2025

大模型在产业的落地应用及健康发展，离不开对模型所有权及数据隐私的保护。在具体业务场景中应用大模型时，模型微调是关键步骤。然而，传统微调方法面临两难：将数据上传给模型方，可能会引发数据隐私和安全风险；而将完整模型交给数据方则可能会导致模型知识产权泄漏，并增加微调模型遭受攻击的风险。

最近，在全球人工智能顶级学术会议AAAI 2025期间，我们与浙江大学、利物浦大学和华东师范大学组成的联合团队提出了一种创新跨域微调（offsite-tuning）框架——ScaleOT。

ScaleOT可实现在模型性能无损的前提下，将隐私保护效果提升50%。同时，与知识蒸馏技术相比，ScaleOT还显著降低了90%的算力消耗，为百亿级参数模型的跨域微调提供了一种高效、轻量化的解决方案。

这篇论文以创新性入选了本届AAAI的Oral（口头报告）论文，并在2月27日在现场做报告演讲。（AAAI由国际人工智能促进协会主办，是人工智能领域历史最悠久、涵盖内容最广泛的国际顶级学术会议之一。AAAI今年共收到近13000篇论文，入选Oral（口头报告）论文的比例不足5%。）

论文的创新之处：

为同时保护模型产权与数据隐私，目前业内采用的主流方案是"跨域微调"。跨域微调是一种大模型隐私保护训练方法，它通过有损压缩技术将大模型转换为仿真器(Emulator)，数据持有方基于仿真器训练适配器（Adapter)并返回给大模型，从而完成调优。

在此过程中，由于数据和模型均未出域，同时保护了模型方与数据方的隐私。然而跨域微调往往需要牺牲模型的性能或者付出高昂算力成本。

总结来看，当前主流的跨域微调方法存在显著局限性：

ScaleOT提出了三大创新思路，有效地实现了在模型性能与隐私安全之间的平衡。

首先，对大模型智能层的重要性进行评估，用强化学习给大模型做扫描，自动识别哪些层对当前任务最关键，动态保留模型“核心层”，有效降低模型性能损耗。

其次，对保留的模型原始层做“打码”，让攻击者无法通过中间层复原原始模型，可以在性能几乎无损的情况下，显著提升隐私保护强度。

最后，该框架还可以根据不同场景需求进行灵活组装，实现隐私强度可调节。

解决数据和模型的隐私安全问题，是大模型在产业界尤其是金融等严谨行业落地的重要课题。

这一创新的大模型隐私微调算法，为大模型隐私保护提供了新颖的思路与解决方案。目前，该算法已经融入蚂蚁数科旗下的摩斯大模型隐私保护产品中，并已成为国内首批通过信通院大模型可信执行环境产品专项测试的产品之一。