2025_NIPS_Gradient Descent with Linearly Correlated Noise: Theory and Applications to Differentia...

文章总结与翻译

一、主要内容

本文围绕“带线性相关噪声的梯度下降”展开研究，核心动机是解决差分隐私（DP）优化中隐私与效用的权衡问题，尤其针对联邦学习等难以应用隐私放大技术的场景。

1. 研究背景：传统DP-SGD依赖大批次或隐私放大技术（如子采样、洗牌），在跨设备联邦学习等场景中适用性受限；而DP-FTRL及其改进版MF-DP-FTRL通过矩阵分解注入线性相关噪声，无需隐私放大即可实现较好性能，但现有MF-DP-FTRL的离线矩阵分解目标基于宽松的在线收敛界，未能充分捕捉相关噪声对优化的影响。
2. 核心研究：
   • 提出简化的随机优化问题，剥离无关因素，孤立线性相关噪声对优化的作用；
   • 针对凸函数和非凸函数，推导带线性相关噪声的梯度下降收敛率，采用新颖的重启迭代虚拟序列分析方法，结果比现有研究更紧致，且能准确复现抗相关扰动梯度下降（Anti-PGD）等特殊情况的收敛率；
   • 基于新的收敛分析，设计更优的离线矩阵分解目标，替代原有基于Frobenius范数的目标；
   • 通过理论验证和实证实验（含随机二次函数、MNIST/CIFAR-10/Stack Overflow数据集），证明新方法（DP-MF⁺）在收敛速度、最终迭代性能上优于DP-MF和带隐私放大的DP-SGD。

二、创新点

1. 理论分析创新：提出含重启迭代的虚拟序列分析框