2025_NIPS_Private Everlasting Prediction

文章核心总结与翻译

一、主要内容

本文围绕“私有永恒预测（Private Everlasting Prediction, PEP）”展开研究，核心是解决传统私有学习在处理无限序列查询时的样本复杂度高、部分场景不可行的问题，具体内容如下：

1. 背景与问题：私有学习需保护训练集隐私，但样本复杂度显著高于非私有学习（如一维阈值函数），且无限域上的私有学习不可行；现有私有预测模型仅支持单查询，无法应对无限长度的查询流，且单纯依赖初始训练集的预测器会受限于私有学习的复杂度下界。
2. 核心定义：提出私有永恒预测的概念，要求预测器能处理无限序列的自适应查询，同时保护训练集和查询点的隐私，且每个查询的预测标签需基于低泛化误差的假设，保证高正确率。
3. 关键结论：证明仅依赖初始训练集的永恒预测器会受私有学习复杂度下界约束，因此需结合查询点信息更新内部假设。
4. 构造方案：设计通用算法GenericBBL，通过多轮迭代实现私有永恒预测：
   • 初始化：基于初始训练集（样本复杂度为VC维的二次多项式级别）构建初始假设集合；
   • 每轮迭代：将当前标记样本集分割训练多个分类器，通过隐私保护的多数投票回答查询，再利用LabelBoost算法将查询点重新标记为新的训练样本，用于下一轮迭代，且泛化误差逐轮减半；
   • 隐私保障：结合差分隐私的组合性、子采样隐私放大等技术，确保训练集和查询点的隐私安全。