23、揭示顺序加密与隐私学习的难度

揭示顺序加密与隐私学习的难度

1. 技术概述

在隐私学习领域，存在一类概念虽可进行大概正确（PAC）学习，但无法通过任何(ε, δ)-差分隐私算法实现高效学习。这一结论甚至适用于非恰当学习者和近似差分隐私的宽松概念。

1.1 概念类 EncThresh 的构建与分析

• 阈值概念类 Thresh 及其学习算法 ：考虑定义域 [N] = {1, …, N}，对于 t ∈ [N]，阈值概念 ct 定义为 ct(x) = 1 当且仅当 x ≤ t。阈值概念类存在简单高效的恰当 PAC 学习算法 LThresh。给定由未知概念 ct 标记的样本 {(x1, ct(x1)), …, (xn, ct(xn))}，学习者 LThresh 找出最大正例 xi∗ 并输出假设 h = cxi∗，即选择使样本经验误差最小的阈值概念。为在任何示例分布上实现小的恒定误差，只需取 n = O(1) 个样本。此外，该学习者可通过按假设经验误差指数衰减的概率随机采样阈值假设来保证差分隐私，采样可在多项式时间内完成，且样本复杂度仅有适度增加。
• LThresh 的特性 ：LThresh 完全不依赖示例的实际数值，甚至不依赖定义域为 [N] 这一事实。实际上，它在任何可高效比较示例的全序定义域上都能良好工作。在极端情况下，当示例通过揭示顺序加密（ORE）方案加密时，LThresh 仍能工作，因为 ORE 方案保证其能学习示例的顺序，但无法获取其他信息。经过小的技术修改，概念类 EncThresh 就是示例通过 ORE 方案加密的 Thresh 类。
• 强正确性条件