差分隐私最优组合的复杂性

差分隐私最优组合计算的复杂度

摘要

在差分隐私的研究中,组合定理(始于杜沃克、麦克谢里、尼西姆 和史密斯(TCC’06)的原始论文)用于界定多个差分隐私算法组合时隐 私性的衰减情况。凯鲁兹、欧和维斯瓦纳特(ICML’15)展示了如何计 算组合 k个任意(ε, δ)‐差分隐私算法的最优边界。我们刻画了更一般情形 下的最优组合,即组合 k个任意(ε1, δ1)…,(εk, δk)‐差分隐私算法,其中每 个算法的隐私参数可能不同。我们证明了一般情况下计算最优组合是#P‐ 完全的。由于精确计算最优组合不可行(除非FP=#P),我们给出了一种 近似算法,可在多项式时间内以任意精度计算该组合。该算法是对戴尔用 于近似计数背包问题解的动态规划方法(STOC’03)的改进。

关键词 :差分隐私 · Composition · Computational复杂性 · Approximation algorithms

1 引言

差分隐私是一种允许对私有数据库进行统计分析同时最小化对数据库中个体风险的框架。其思想在于,无论个体决定加入还是退出研究数据集,他或她所受到的影响都应相对较小。更具体地说,对数据库进行统计分析的输出概率分布应几乎与在同一数据库中移除单个人的数据后的输出分布相同。这里的概率空间是指处理查询的随机化差分隐私算法的随机选择过程。为形式化这一点,我们称两个数据库 $D_0, D_1$,每个都有 $n$ 行,如果它们在至少 $n−1$ 行上相同,则称其为相邻;并据此定义差分隐私如下:

定义1.1(差分隐私 [2,3]) 。一个随机算法 $M$ 是(ε, δ)‐差分隐私的,如果对于所有相邻数据库对 $D_0$ 和 $D_1$ 以及所有输出集 $S \subseteq \text{Range}(M)$
$$
\Pr[M(D_0) \in S] \leq e^\varepsilon \Pr[M(D_1) \in S]+ \delta
$$
其中概率是针对算法 $M$ 的随机选择而言的。

在差分隐私的实际应用中,我们通常将 $\varepsilon$ 视为一个较小但不可忽略的常数(例如 $\varepsilon=.1$)。我们将 $\delta$ 视为密码学意义上的“安全参数”,即其值非常小(例如$\delta= 2^{-30}$)。差分隐私的一个重要性质是,若我们在同一数据库上运行多个不同的差分隐私算法,则所得的组合算法也满足差分隐私,尽管其隐私参数会有所退化(ε, δ)。本文关注的是量化在组合下隐私性的退化程度。我们将 $k$ 个差分隐私算法$M_1, M_2,…, M_k$的组合记为$(M_1, M_2,…, Mk)$,其中
$$
(M_1, M_2,…, M_k)(x)=(M_1(x), M_2(x),…, M_k(x)).
$$

文献中已经存在一些组合定理。第一个基本结果表明:

定理1.2(基本组合 [2]) 。对于每个 $\varepsilon \geq 0, \delta \in[0, 1],$和(ε, δ)-差分隐私算法 $M_1, M_2,\ldots, M_k$,其组合($M_1,M_2,\ldots, M_k$)满足($k\varepsilon, k\delta$)-差分隐私。

这告诉我们,在组合情况下,各个算法的隐私参数可以说是“相加”的。

我们关注组合的原因在于,实际应用中我们很少只想发布关于数据集的单个统计量。发布多个统计量可能需要在同一数据库上运行多个差分隐私算法。组合在算法设计中也是一个非常有用的工具。通常,新的差分隐私算法是通过组合若干更简单的算法而得到的。组合定理有助于我们分析以这种方式设计的算法的隐私属性。

定理 1.2表明,随着组合中算法数量($k$)的增加,全局隐私呈线性下降, 因此改进这一界限具有重要意义。如果我们能够证明隐私在组合下的衰减速度更慢,那么在相同的全局隐私保证下,我们的算法将获得更高的效用。杜沃克、罗斯布鲁姆和瓦德汉对上述基本累加组合给出了以下改进 [5]。

定理1.3(高级组合[5]) 。对于每个 $\varepsilon> 0, \delta, \delta’> 0, k \in\mathbb{N}$以及($\varepsilon, \delta$)-差分隐私算法 $M_1, M_2,\ldots, M_k$,其组合($M_1, M_2,\ldots, M_k$)满足($\varepsilon_g , k\delta+ \delta’$)-差分隐私。
$$
\varepsilon_g =\sqrt{2k \ln(1/\delta’)} \cdot \varepsilon+ k \cdot \varepsilon \cdot(e^\varepsilon −1).
$$

定理1.3表明,差分隐私算法在组合下的隐私性退化由函数 $O(\sqrt{k}\ln(1/\delta’))$ 决定,若 $\delta’= 2^{-O(k)}$成立,则这是一种改进。可以证明,即使对于最简单的差分隐私算法(如随机响应)[11],隐私性退化函数 $\Omega(\sqrt{k}\ln(1/\delta))$也是必需的。

尽管为全局隐私参数给出了渐近正确的上界,$\varepsilon_g$,定理1.3并不精确。我们希望得到精确的刻画,因为除了在理论上具有重要意义之外,组合定理中的常数因子在差分隐私的实际应用中也可能产生显著影响。此外,定理1.3仅适用于“同质”组合,即每个单独算法具有相同的隐私参数对($\varepsilon, \delta$)。在实际中,我们通常希望分析更一般的情况,其中组合中的某些单独算法可能比其他算法提供更多的或更少的隐私保护。也就是说,给定算法 $M_1, M_2,…, M_k$,我们希望计算($M_1, M_2,…, M_k$)所能达到的最佳隐私参数。形式化地,我们希望计算以下函数:
$$
\text{OptComp}(M_1, M_2,…, M_k, \delta_g)= \inf{\varepsilon_g:(M_1, M_2,…, M_k) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}}.
$$

对我们而言,将 $\delta_g$视为已知并计算最优的 $\varepsilon_g$,较为方便,但将$\varepsilon_g$视为已知的对偶形式是等价的(通过二分搜索)。实际上,我们希望得到一个仅依赖于各个算法隐私参数的函数:
$$
\text{OptComp}((\varepsilon_1, \delta_1),(\varepsilon_2, \delta_2),…,(\varepsilon_k, \delta_k), \delta_g)=
\sup{\text{OptComp}(M_1, M_2,…, M_k, \delta_g): M_i \text{ is }(\varepsilon_i, \delta_i)\text{-DP } \forall i \in[k]}.
$$

换句话说,我们希望最优组合(OptComp)能为我们提供在给定隐私参数 ($\varepsilon_i, \delta_i$)下,对每一系列算法保持隐私的最小可能 $\varepsilon_g$值。此定义适用于算法序列($M_1,…, M_k$)和它们所作用的一对相邻数据库($D_0, D_1$)固定的情况,但我们证明即使算法和数据库是自适应选择的,同样的最优界也成立,即 $M_i$和数据库($D_0, D_1$)可以根据$M_1,…, M_{i−1}$的输出结果进行自适应选择。(参见第2节以获取形式化定义。)

凯鲁兹、欧和维斯瓦纳特的一项结果 [9] 刻画了同构情况下的最优组合( OptComp)。

定理 1.4(最优同构组合 [9]) 。 对于每个 $\varepsilon \geq 0$和 $\delta \in[0, 1)$,最优组合($((\varepsilon, \delta) 1,(\varepsilon, \delta)_2,\ldots,(\varepsilon, \delta)_k, \delta_g)$=$(k−2i)\varepsilon,$,其中$i$是${0, 1,…,\lfloor k/2\rfloor}$中满足以下条件的最大整数:
$$
\sum
{l=0}^{i-1} \binom{k}{l} \frac{e^{(k-l)\varepsilon} - e^{(k-2i+l)\varepsilon}}{(1+ e^\varepsilon)^k} \leq 1 - \frac{1 - \delta_g}{(1 - \delta)^k}.
$$

根据这一定理,作者们利用多项式时间可计算解精确刻画了差分隐私算法的组合行为。

问题仍然在于找到更一般的异构情况下的最优组合行为。凯鲁兹、欧和维斯瓦纳特还提供了一个异构组合的上界,该上界推广了 $O(\sqrt{k}\ln(1/\delta’))$ 退化,如定理1.3 中同构组合所给出的,但并未评论该上界与最优性的接近程度。

1.1 我们的结果

我们首先将凯鲁兹、吴和维斯瓦纳特 [9] 的结果推广到一般的异质情况。

定理1.5(最优异构组合) 。对于所有 $\varepsilon_1,…, \varepsilon_k \geq0$和 $\delta_1,…, \delta_k, \delta_g \in[0, 1)$,最优组合$((\varepsilon_1, \delta_1),(\varepsilon_2, \delta_2)…,(\varepsilon_k, \delta_k), \delta_g)$等于满足以下条件的最小的 $\varepsilon_g$值:
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}\leq 1− \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)} \quad (1)
$$

定理1.5精确刻画了任意一组差分隐私算法的最优组合行为。它还表明,可以通过对$S \subseteq{1,…, k}$进行暴力求和,在关于 $k$的指数时间内计算出最优组合。当然,在实际中,对于较大的 $k$,指数时间算法是不可接受的。我们的下一个结果表明这种指数复杂度是不可避免的:

定理1.6 。 计算最优组合是#P-完全的,即使在满足$\delta_1= \delta_2=…= \delta_k= 0$和$\sum_{i\in[k]} \varepsilon_i \leq \varepsilon$的实例上,其中 $\varepsilon> 0$为任意给定常数。

回想一下,#P 是与 NP 中的判定问题相关的计数问题类别。因此,#P‐完全意味着:除非存在一个多项式时间算法用于计算布尔公式的满足赋值数量 (或等价地,计算所有NP问题解的个数),否则 OptComp 不存在多项式时间算法。因此,OptComp 几乎肯定没有高效的算法,因而也没有解析解。尽管精确计算是难以处理的,但我们证明了 OptComp 可以被高效地近似。

定理1.7 。 存在一个多项式时间算法,给定 $\varepsilon_1,…, \varepsilon_k \geq0, \delta_1,… \delta_k, \delta_g \in[0, 1)$和 $\eta> 0$, 输出 $\varepsilon^ $其中
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^
\leq \text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), e^{-\eta/2}\cdot\delta_g) +\eta.
$$
The algorithm runs in $O\left(\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$ time assuming constant-time arithmetic operations.

请注意,在近似 $\delta_g$时会产生相对误差 $\eta$和 在近似$\varepsilon_g$时会产生加性误差 $\eta$。由于我们始终将$\varepsilon_g$取为不可忽略的,甚至是一个常数,因此当 $\eta$是多项式级小量或甚至是常数时,我们能得到非常好的近似。因此,运行时间在 $1/\eta$上为多项式级别是可以接受的。

除了上述结果外,我们对定理1.5 的证明还为凯鲁兹‐欧‐维斯瓦纳特齐次组合定理(定理4[9])提供了相对更简洁的证明。文献[9]中的证明通过假设检验的视角引入了差分隐私的观点,并使用了几何论证方法。而我们的证明仅依赖于差分隐私文献中常见的初等技术。

实际应用 。 本文提出的理论结果源于我们参与的一个名为“用于共享研究数据的隐私工具”的应用项目。我们正在构建一个系统,使拥有敏感数据集的研究人员能够通过使用Dataverse平台 [1,8]的数据存储库发布其数据的差分隐私统计信息。该系统的一部分是一个工具,可帮助数据提交者和数据分析人员将全局隐私预算分配到多个统计量中。用户可以选择希望计算的统计量,并获得每个统计量可计算精度的估计值。他们还可以根据认为在其数据集中最有价值的统计量重新分配其隐私预算。我们实现了定理1.7中的近似算法,并将其集成到该工具中,以确保用户能从其隐私预算中获得最大效用。

2 技术基础

用于思考差分隐私的一个有用符号定义如下。

定义2.1 。 对于取值于相同输出空间 $S$的两个离散随机变量 $Y$和 $Z$, $\delta$‐近似最大散度定义为 $Y$和 $Z$的:
$$
D_\delta^\infty(Y|Z) \equiv \max_S[\ln \Pr[Y \in S] - \delta \Pr[Z \in S]].
$$

注意,一个算法 $M$是($\varepsilon, \delta$)差分隐私的,当且仅当对于所有相邻数据库对$D_0, D_1$,我们有 $D_\delta^\infty(M(D_0)|M(D_1)) \leq \varepsilon$。差分隐私在“后处理”下保持封闭这一标准性质现在可以表述为:

事实2.2 。 如果 $f: S \to R$是任意随机化函数,则
$$
D_\delta^\infty(f(Y)|f(Z)) \leq D_\delta^\infty(Y|Z).
$$

自适应组合。我们论文中的组合结果实际上适用于比上述描述更广泛的组合模型。该模型称为 $k$‐fold 自适应组合,在[5]中被形式化。我们将他们的公式推广到异构场景,即在组合中不同算法的隐私参数可能不同。

其思想是,无需在单个数据库上一次性运行 $k$个差分隐私算法,而是可以设想一个对手自适应地参与一场“组合博弈”。该博弈接收一个比特 $b \in{0, 1}$ 以及隐私参数($\varepsilon_1, \delta_1$)…,($\varepsilon_k, \delta_k$)作为输入。一个随机化的对手 $A$通过 $k$轮交互来尝试学习 $b$,具体过程如下:在博弈的第 $i$轮,$A$选择一个($\varepsilon_i, \delta_i$)‐差分隐私算法 $M_i$以及两份相邻数据库 $D_{(i,0)}, D_{(i,1)}$。随后, $A$收到一个输出 $y_i \leftarrow M_i(D_{(i,b)})$,其中 $M_i$的内部随机性独立于$M_1,…, M_{i−1}$的内部随机性。 $M_i, D_{(i,0)},$和 $D_{(i,1)}$的选择可能依赖于 $y_0,…, y_{i−1}$以及对手自身的随机性。

这一博弈的结果称为对手的视图, $V_b$其定义为($y_1,…, y_k$)以及 $A$的抛硬币结果。每一轮中的算法 $M_i$和数据库 $D_{(i,0)}, D_{(i,1)}$均可从 $V_b$中重构出来。现在我们可以正式定义在 $k$次自适应组合下的隐私保证。

定义2.3 。 我们称隐私参数序列 $\varepsilon_1,…, \varepsilon_k \geq0, \delta_1,\ldots, \delta_k \in[0, 1)$在自适应组合下满足($\varepsilon_g, \delta_g$)-差分隐私,如果对于每个对手 $A$都有 $D_{\delta_g}^\infty(V_0|V_1) \leq \varepsilon_g,$,其中 $V_b$表示 $A$在组合博弈 $b$中的视图,该组合博弈的隐私参数输入为($\varepsilon_1, \delta_1$). . .,($\varepsilon_k, \delta_k$)。

计算实值函数。 我们讨论的许多计算涉及无理数,我们需要明确如何在有限离散机器上对这类计算进行建模。也就是说,当我们谈论计算一个函数 $f:{0, 1}^* \to \mathbb{R}$时,实际指的是将 $f$计算到任意指定精度 $q$位。更准确地说,给定 $x$, $q$,任务是计算一个数 $y \in \mathbb{Q}$,使得 $|f(x) - y| \leq \frac{1}{2^q}$。我们将该任务的算法复杂度表示为 $|x| + q$的函数。

3 最优组合的刻画

根据 [9],,我们证明,为了分析任意($\varepsilon_i, \delta_i$)‐DP算法的组合,只需分析以下随机响应简单变体的组合即可[11]。

定义 3.1 ([9]) 。 定义一个随机算法 $M_{(\varepsilon,\delta)}: {0, 1} \to{0, 1, 2, 3}$如下,设 $\alpha= 1 - \delta$:
$$
\begin{aligned}
&\Pr[M_{(\varepsilon,\delta)}(0)= 0]= \delta & \Pr[M_{(\varepsilon,\delta)}(1)= 0]= 0 \
&\Pr[M_{(\varepsilon,\delta)}(0)= 1]= \alpha \cdot \frac{e^\varepsilon}{1+e^\varepsilon} & \Pr[M_{(\varepsilon,\delta)}(1)= 1]= \alpha \cdot \frac{1}{1+e^\varepsilon} \
&\Pr[M_{(\varepsilon,\delta)}(0)= 2]= \alpha \cdot \frac{1}{1+e^\varepsilon} & \Pr[M_{(\varepsilon,\delta)}(1)= 2]= \alpha \cdot \frac{e^\varepsilon}{1+e^\varepsilon} \
&\Pr[M_{(\varepsilon,\delta)}(0)= 3]= 0 & \Pr[M_{(\varepsilon,\delta)}(1)= 3]= \delta
\end{aligned}
$$

注意, $M_{(\varepsilon,\delta)}$实际上是($\varepsilon, \delta$)‐DP。凯鲁兹、吴和维斯瓦纳特表明,$M_{(\varepsilon,\delta)}$可用于模拟每个($\varepsilon, \delta$)‐DP算法在相邻数据库上的输出。

引理3.2 ([9]) 。 对于每个 $(\varepsilon, \delta)$-差分隐私算法 $M$以及相邻数据库$D_0$, $D_1$,存在一个随机算法 $T$使得 $T(M_{(\varepsilon,\delta)}(b))$与 $M(D_b)$在 $b= 0$和 $b= 1$上同分布。

由于$M_{(\varepsilon,\delta)}$可以模拟任何($\varepsilon, \delta$)差分隐私算法,并且已知后处理保持差分隐私性(事实2.2),因此要分析任意差分隐私算法的组合,只需分析$M_{(\varepsilon_i,\delta_i)}$的组合即可:

引理3.3 。对于所有 $\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,…, \delta_k, \delta_g \in[0, 1)$,
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g)= \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}, \delta_g).
$$

证明 。 由于$M_{(\varepsilon_1,\delta_1)}, …,M_{(\varepsilon_k,\delta_k)}$是($\varepsilon_1, \delta_1$)…,($\varepsilon_k, \delta_k$)‐差分隐私的,我们有:
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g)
= \sup{\text{OptComp}(M_1,…, M_k, \delta_g): M_i \text{ is }(\varepsilon_i, \delta_i)\text{-DP } \forall i \in[k]}
\geq \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}, \delta_g).
$$

对于另一个方向,只需证明对于所有满足 $(\varepsilon_1, \delta_1)$…,($\varepsilon_k, \delta_k$)‐差分隐私的 $M_1,…,M_k$,我们有
$$
\text{OptComp}(M_1,…, M_k, \delta_g) \leq \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}).
$$
也就是说,
$$
\inf{\varepsilon_g:(M_1,…, M_k) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}} \leq \inf{\varepsilon_g:(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}}.
$$

因此,假设$(M_{(\varepsilon_1,\delta_1)}, …,M_{(\varepsilon_k,\delta_k)})$是($\varepsilon_g, \delta_g$)‐DP。我们将证明$(M_1,…, M_k)$也是($\varepsilon_g, \delta_g$)‐DP。对 $\varepsilon_g$取下确界即可完成证明。

由引理3.2可知,对于每一对相邻的数据库 $D_0, D_1$,必须存在随机算法 $T_1, …, T_k$,使得对所有 $i \in{1,…, k}$, $T_i(M_{(\varepsilon_i,\delta_i)}(b))$与 $M_i(D_b)$同分布。根据假设,我们有
$$
D_{\delta_g}^\infty((M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \leq \varepsilon_g.
$$

因此根据事实2.2我们有:
$$
\begin{aligned}
&D_{\delta_g}^\infty ((M_1(D_0),…, M_k(D_0))|(M_1(D_1),…, M_k(D_1)))\
=& D_{\delta_g}^\infty((T_1(M_{(\varepsilon_1,\delta_1)}(0)),…, T_k(M_{(\varepsilon_k,\delta_k)}(0)))|(T_1(M_{(\varepsilon_1,\delta_1)}(1)),…, T_k(M_{(\varepsilon_k,\delta_k)}(1)))) \leq \varepsilon_g.
\end{aligned}
$$

差分隐私最优组合计算的复杂度

3 最优组合的刻画(续)

现在我们已准备好为任意一组差分隐私算法刻画最优组合。

证明(定理1.5的证明) 。给定$(\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k)$ 和 $\delta_g$,令 $M_k(b)$表示组合$(M_{(\varepsilon_1,\delta_1)}(b),\ldots, M_{(\varepsilon_k,\delta_k)}(b))$,并令 $\tilde{P}_k^b(x)$为 $M_k(b)$的概率质量函数,其中 $b= 0$和 $b= 1$。

根据引理3.3,$\text{OptComp}((\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k), \delta_g)$是使得以下成立的最小的$\varepsilon_g$值:
$$
\delta_g \geq \max_{Q\subseteq{0,1,2,3}^k}\left{ \tilde{P}_k^0(Q) - e^{\varepsilon_g} \cdot \tilde{P}_k^1(Q) \right}.
$$

给定 $\varepsilon_g$,使右侧最大化的集合 $S \subseteq{0, 1, 2, 3}^k$ 是
$$
S=S(\varepsilon_g)=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^0(x) \geq e^{\varepsilon_g} \cdot \tilde{P}_k^1(x)\right}.
$$

我们可以进一步将 $S(\varepsilon_g)$ 拆分为 $S(\varepsilon_g) = S_0(\varepsilon_g) \cup S_1(\varepsilon_g)$,其中
$$
\begin{aligned}
S_0(\varepsilon_g)&=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^1(x)= 0\right}, \
S_1(\varepsilon_g)&=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^0(x) \geq e^{\varepsilon_g} \cdot \tilde{P}_k^1(x), \text{ and } \tilde{P}_k^1(x)> 0\right}.
\end{aligned}
$$

注意 $S_0(\varepsilon_g) \cap S_1(\varepsilon_g) = \emptyset$。我们有 $\tilde{P} k^1(S_0(\varepsilon_g)) = 0$ 且 $\tilde{P}_k^0(S_0(\varepsilon_g)) =1 - \Pr[M_k(0) \in{1, 2, 3}^k]= 1 -\prod {i=1}^k(1 - \delta_i)$。因此
$$
\begin{aligned}
\tilde{P} k^0(S(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S(\varepsilon_g)) &= \tilde{P}_k^0(S_0(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_0(\varepsilon_g)) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)) \
&= 1 - \prod
{i=1}^k(1 - \delta_i) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)).
\end{aligned}
$$

现在我们只需分析 $\tilde{P} k^0(S_1(\varepsilon_g))-e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g))$。注意到 $S_1(\varepsilon_g) \subseteq{1, 2}^k$,因为对于所有 $x \in S_1(\varepsilon_g)$,我们都有 $\tilde{P}_0(x) > \tilde{P}_1(x) > 0$。因此我们可以写成:
$$
\begin{aligned}
&\tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \cdot \tilde{P}_k^1(S_1(\varepsilon_g)) \
=& \sum
{y\in{1,2}^k} \max\left{ \prod_{i:y_i=1} (1 - \delta_i)\frac{e^{\varepsilon_i}}{1+ e^{\varepsilon_i}} \cdot \prod_{i:y_i=2} (1 - \delta_i)\frac{1}{1+ e^{\varepsilon_i}} - e^{\varepsilon_g} \prod_{i:y_i=1} (1 - \delta_i)\frac{1}{1+ e^{\varepsilon_i}} \cdot \prod_{i:y_i=2} (1 - \delta_i)\frac{e^{\varepsilon_i}}{1+ e^{\varepsilon_i}}, 0 \right} \
=& \prod_{i=1}^k \frac{1 - \delta_i}{1+ e^{\varepsilon_i}} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}.
\end{aligned}
$$

综合所有内容可得:
$$
\begin{aligned}
\delta_g &\geq \tilde{P} k^0(S_0(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_0(\varepsilon_g)) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)) \
&= 1 - \prod
{i=1}^k(1 - \delta_i) + \frac{\prod_{i=1}^k(1 - \delta_i)}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}.
\end{aligned}
$$

我们已经刻画了一组任意的差分隐私算法($M_1,…, M_k$)在预先选定算法且所有算法都在同一数据库上运行的假设下的最优组合。接下来,我们将证明,在这种受限的组合模型下的最优组合实际上与第2节中讨论的更一般的 $k$‐次自适应组合是等价的。

定理3.4 。 隐私参数 $\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,…, \delta_k \in[0, 1)$,满足 $(\varepsilon_g, \delta_g)$-差分隐私在自适应组合下当且仅当$\text{OptComp}((\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$。

证明 。 首先假设隐私参数 $\varepsilon_1,…, \varepsilon_k, \delta_1,…, \delta_k$ 在自适应组合下满足 $(\varepsilon_g, \delta_g)$‐差分隐私。那么 $\text{OptComp}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$,因为自适应组合比定义最优组合的组合更一般。

反之,假设最优组合$((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$。特别地,这意味着最优组合$(M_{(\varepsilon_1,\delta_1)}…,M_{(\varepsilon_k,\delta_k)}, \delta_g) \leq \varepsilon_g$。为了完成证明,我们必须证明隐私参数 $\varepsilon_1,…, \varepsilon_k, \delta_1,…, \delta_k$在自适应组合作用下满足 $(\varepsilon_g, \delta_g)$‐差分隐私。

固定一个对手 $A$。在每一轮 $i$中, $A$利用其抛硬币结果 $r$和之前的输出 $y_1,\ldots,y_{i-1}$ 来选择一个 $(\varepsilon_i, \delta_i)$‐差分隐私算法 $M_i=M_r^{y_1\ldots y_{i-1}}$,以及相邻数据库 $D_0=D_r^{y_1\ldots y_{i-1},0}, D_1=D_r^{y_1\ldots y_{i-1},1}$。令 $V_b$表示在组合博弈 $b$下,针对 $b= 0$和 $b= 1$在给定隐私参数下的对手 $A$的视图。

引理3.2告诉我们存在一个算法 $T_i=T_r^{y_1\ldots y_{i-1}}$,使得 $T_i(M_{(\varepsilon_i,\delta_i)}(b))$与 $M_i(D_b)$在 $b= 0,1$对所有 $i \in[k]$上同分布。定义 $\hat{T}(z_1,…, z_k)$,其中 $z_1,…, z_k \in{0, 1, 2, 3}$如下:
1. 随机选择硬币 $r$。
2. 对于 $i= 1\ldots k$ 令 $y_i \leftarrow T_r^{y_1\ldots y_{i-1}}(z_i)$。
3. 输出 $(r, y_1,…, y_k)$。

注意到 $\hat{T}(M_{(\varepsilon_1,\delta_1)}(b),\ldots, M_{(\varepsilon_k,\delta_k)}(b))$ 对于 $b= 0,1$ 的两个情况具有相同的分布。根据假设,我们有
$$
D_{\delta_g}^\infty((M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \leq \varepsilon_g.
$$

因此根据事实2.2我们有:
$$
\begin{aligned}
D_{\delta_g}^\infty(V_0|V_1) &= D_{\delta_g}^\infty(\hat{T}(M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|\hat{T}(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \
&\leq \varepsilon_g.
\end{aligned}
$$

4 最优组合的复杂性

P是与NP中的判定问题相关的所有计数问题的类。它是一组用于计算某个 NP问题解的数量的函数。更正式地:

定义 4.1 。 一个函数 $f:{0, 1}^ \to \mathbb{N}$属于类 #P,如果存在一个多项式 $p: \mathbb{N} \to \mathbb{N}$和一个多项式时间算法 $M$,使得对于每个$x \in{0, 1}^ $:
$$
f(x)= \left|\left{y \in{0, 1}^{p(|x|)}: M(x, y)= 1\right}\right|.
$$

定义 4.2 。 一个函数 $g$被称为 #P‐难 ,如果每个函数 $f \in$#P在拥有对 $g$的预言机访问的情况下可以在多项式时间内计算。也就是说,对$g$的求值可以在一个时间步内完成。如果一个函数是 #P‐难的,那么除非存在一个能在多项式时间内计算所有 NP问题解的数量的算法,否则该函数不存在多项式时间算法来计算。

定义 4.3 。 一个函数 $f$被称为 #P‐易 ,如果存在某个函数 $g \in$#P,使得在拥有对 $g$的预言机访问的情况下, $f$可以在多项式时间内被计算。

如果一个函数既是 #P‐难的又是 #P‐易的,我们称它是 #P‐完全的。证明计算最优组合是 #P‐完全的可以分为两个步骤:证明它是 #P‐易的,并证明它是 #P‐难的。

引理 4.4 。 计算最优组合是 #P-易的。

接下来,我们通过一系列归约证明计算最优组合也是#P‐难的。我们从划分问题的乘法版本开始,该问题已知由Ehrgott [7]证明是#P‐完全的。归约链中的问题在下方定义。

定义 4.5 。 #INT-PARTITION 是以下问题:给定一个正整数集合 $Z= {z_1, z_2,…, z_k}$,计算满足以下条件的划分 $P \subseteq[k]$ 的数量
$$
\prod_{i\in P} z_i -\prod_{i \notin P} z_i= 0.
$$

我们归约链中剩余的所有问题都接受输入${w_1,…, w_k}$,其中对所有 $i \in[k]$和某个正整数 $D$, $1 \leq w_i \leq e$是一个正整数的 $D$th次根。我们给出的所有归约对于每个正整数 $D$都成立,包括当输入为整数时的 $D= 1$情形。

定义 4.6 。 #PARTITION 是以下问题:给定一个数 $D \in\mathbb{N}$ 和一个实数集 $W={w_1, w_2,…, w_k}$,其中对于所有 $i \in[k]$, $1 \leq w_i \leq e$ 是某个正整数的 $D$ 次根,计算满足如下条件的划分 $P \subseteq[k]$ 的数量,使得
$$
\prod_{i\in P} w_i -\prod_{i \notin P} w_i= 0.
$$

定义 4.7 。 #T-PARTITION 是以下问题:给定一个数 $D \in \mathbb{N}$ 和一组实数 $W={w_1, w_2,…, w_k}$,其中对于所有 $i \in[k]$,$1 \leq w_i \leq e$ 是某个正整数的 $D$ 次根,以及一个 正 实数 $T$,计算满足如下条件的划分 $P \subseteq[k]$ 的数量:
$$
\prod_{i\in P} w_i -\prod_{i \notin P} w_i= T.
$$

定义 4.8 。 #SUM-PARTITION:给定一个数 $D \in \mathbb{N}$ 和一个实数集合 $W= {w_1, w_2,…, w_k}$,其中对于所有 $i \in[k]$, $1 \leq w_i \leq e$是某个正整数的 $D$ 次根,以及一个实数 $r> 1$,求
$$
\sum_{P\subseteq[k]} \max\left{\prod_{i\in P} w_i - r \cdot\prod_{i \notin P} w_i, 0\right}.
$$

我们通过以下一系列归约证明计算最优组合是#P‐难的:
$$
\text{#INT-PARTITION} \leq \text{#PARTITION} \leq \text{#T-PARTITION} \leq \text{#SUM-PARTITION} \leq \text{最优组合}.
$$

由于 #INT-PARTITION已知是 #P‐完全的,[7],这一系列归约将证明最优组合是 #P‐难的。

引理4.9 。 对于每个常数 $c> 1$,#PARTITION 在 $\prod_i w_i \leq c$ 的实例上是 #P-难的。

引理 4.10 。 对于每个常数 $c> 1$,#T-PARTITION是#P-难的,即使在满足 $\prod_i w_i \leq c$的实例上也是如此。

引理 4.11 。 对于每个常数 $c> 1$,#SUM-PARTITION 即使在满足 $\prod_i w_i \leq c$的实例上也是 #P-难的。

现在我们证明计算最优组合是#P‐完全的。

证明(1.6定理的证明) 。 我们已经证明了计算最优组合是#P‐容易的。这里我们证明它也是#P‐难的,从而证明了#P‐完全性。

给定#SUM-PARTITION的一个实例 $D, W={w_1,…, w_k}, r$,其中$\forall i \in[k], w_i$是某个整数的第 $D$个根,且集合 $\varepsilon_i= \ln(w_i) \forall i \in[k], \delta_1= \delta_2=… \delta_k= 0$和$\varepsilon_g= \ln(r)$。注意 $\sum_i \varepsilon_i= \ln(\prod_i w_i) \leq\ln(c)$。由于我们可以令 $c$为任意大于1的任意常数,因此可确保对于任意的 $\varepsilon> 0$,$\sum_i \varepsilon_i \leq \varepsilon$成立。

我们再次使用以$\varepsilon_g$作为输入并输出$\delta_g$的最优组合版本。在使用最优组合预言机找到 $\delta_g$之后,我们知道定理1.5中所述的最优组合公式(公式1)成立:
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= 1− \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)} = \delta_g.
$$

因此我们可以计算:
$$
\delta_g \cdot \prod_{i=1}^k(1+ e^{\varepsilon_i})= \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= \sum_{S\subseteq{1,…,k}} \max\left{\prod_{i\in S} w_i - r \cdot\prod_{i \notin S} w_i, 0\right}.
$$

最后一个表达式正是我们所给的#SUM-PARTITION实例的解。我们通过一次对最优组合预言机的调用,在多项式时间内解决了#SUM-PARTITION。因此,计算最优组合是#P‐难的。

5 OptComp的近似

尽管我们无法期望在多项式时间内高效计算一般差分隐私算法的最优组合(假设$\mathrm{P}\neq\mathrm{NP}$或甚至$\mathrm{FP}\neq#\mathrm{P}$),但我们在本节中证明,可以在多项式时间内任意精确地逼近最优组合。

定理1.7(重述) 。 存在一个多项式时间算法,给定$\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,… \delta_k, \delta_g \in[0, 1)$和 $\eta> 0$,输出 $\varepsilon^ $,其中
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^
\leq \text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), e^{-\eta/2}\cdot\delta_g) +\eta.
$$
该算法在假设算术运算为常数时间的情况下,运行时间为 $O\left(\log\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$。

我们通过以下三个引理来证明这一定理:

引理5.1 。 给定非负整数$a_1,…, a_k, B$和权重$w_1,…, w_k \in \mathbb{R}$,可以计算
$$
\sum_{\substack{S\subseteq[k] \ \sum_{i\in S} a_i\leq B}} \prod_{i\in S} w_i
$$
在时间 $O(Bk)$内。

引理5.2 。 给定 $\varepsilon_1,…, \varepsilon_k, \varepsilon^ \geq 0, \delta_1,… \delta_k, \delta_g \in[0, 1)$,如果对于某些非负整数 $a_i$和某个 $\varepsilon_0> 0$,满足 $\varepsilon_i= a_i\varepsilon_0 \forall i \in{1,…, k}$,则存在一个算法可以判断 最优组合$((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^ $是否成立,该算法的运行时间为 $O\left( \frac{k}{\varepsilon_0} \sum_{i=1}^k \varepsilon_i\right)$。

引理5.3 。 对于所有 $\varepsilon_1,…, \varepsilon_k, c \geq 0$ 和 $\delta_1,…, \delta_k, \delta_g \in[0, 1)$:
$$
\text{OptComp}((\varepsilon_1+ c, \delta_1)…,(\varepsilon_k+ c, \delta_k), \delta_g) \leq \text{最优组合}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), e^{-kc/2} \cdot \delta_g) + kc.
$$

接下来,我们证明三个引理,然后说明定理1.7成立。

证明(引理5.1) 。 我们修改了戴尔用于近似计数背包问题解的算法[6]。该算法使用动态规划。给定非负整数 $a_1,…, a_k, B$和权重 $w_1,…, w_k \in\mathbb{R}$,定义
$$
F(r, s)= \sum_{\substack{S\subseteq[r] \ \sum_{i \in S} a_i\leq s}} \prod_{i\in S} w_i.
$$
我们想要计算 $F(k, B)$。可以通过使用递归方法,对 $(0 \leq r \leq k, 0 \leq s \leq B)$ 计算 $F(r, s)$ 并制表来得到该值。
$$
F(r, s)=
\begin{cases}
1 & \text{if } r= 0 \
F(r -1, s)+ w_rF(r -1, s− a_r) & \text{if } r> 0 \text{ and } a_r \leq s \
F(r -1, s) & \text{if } r> 0 \text{ and } a_r > s.
\end{cases}
$$
给定前面的单元格 $F(r’, s’)$,其中 $r’< r$,表格中的每个单元格 $F(r, s)$ 都可以在常数时间内计算出来。因此,填满整个表格需要时间 $O(Bk)$。

证明(引理5.2的证明) 。 给定$\varepsilon_1,…, \varepsilon_k, \varepsilon^ \geq 0$,使得对于某些非负整数$a_i$和某个 $\varepsilon_0> 0$,有 $\varepsilon_i= a_i\varepsilon_0 \forall i \in{1,…, k}$成立,则定理 1.5 告诉我们如何回答是否
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^

$$
等价于回答以下不等式是否成立:
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon^ } \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}\leq 1 - \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
右侧以及求和项的系数在给定输入的情况下容易计算,因此为了验证该不等式,我们将说明如何计算该求和。定义
$$
K=\left{T \subseteq[k] \mid \sum_{i \in T} \varepsilon_i \leq \frac{ \sum_{i=1}^k \varepsilon_i - \varepsilon^
}{2}\right}=\left{T \subseteq[k] \mid \sum_{i\in T} a_i \leq B\right} \text{ for } B= \left\lfloor\frac{ \sum_{i=1}^k \varepsilon_i - \varepsilon^ }{2\varepsilon_0}\right\rfloor
$$
并观察到,通过设置 $T= S^c$,我们有
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon^
} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= \sum_{T\in K} \left( \left(e^{\sum_{i=1}^k \varepsilon_i} \prod_{i\in T} e^{-\varepsilon_i}\right) - \left(e^{\varepsilon^*} \prod_{i\in T} e^{\varepsilon_i}\right) \right).
$$
我们只需要计算这个最终的表达式,并且可以对每一项分别进行计算,因为 $K$ 是一组背包问题的解。具体来说,设 $w_i=e^{-\varepsilon_i} \forall i \in[k]$,引理5.1告诉我们,可以计算 $\sum_{T\subseteq[k]}\prod_{i\in T} w_i$,约束条件为$\sum_{i\in T} a_i \leq B$,这等价于 $\sum_{T\in K}\prod_{i\in T} e^{-\varepsilon_i}$。为了计算 $\sum_{T\in K}\prod_{i\in T} e^{\varepsilon_i}$,我们改为设置 $w_i= e^{\varepsilon_i}$并运行相同的程序。由于我们使用了引理 5.1中的算法,运行时间为$O(Bk)= O\left( \frac{k}{\varepsilon_0} \sum_{i=1}^k \varepsilon_i\right)$。

证明(引理5.3) 。 设 $\text{OptComp}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), e^{-kc/2}\cdot\delta_g) = \varepsilon_g$。由定理1中的公式1.5可知:
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}\leq 1 - \frac{1 - e^{-kc/2} \cdot \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
两边同时乘以 $e^{kc/2}$得到:
$$
\frac{e^{kc/2}}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}\leq e^{kc/2} \cdot\left(1 - \frac{1 - e^{-kc/2} \cdot \delta_g}{\prod_{i=1}^k(1 - \delta_i)}\right) \leq 1 - \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
上述不等式结合定理1.5意味着,证明以下内容即可完成证明:
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} (\varepsilon_i+c)} - e^{\varepsilon_g+kc} \cdot e^{\sum_{i\notin S} (\varepsilon_i+c)}, 0\right}\leq \frac{e^{kc/2} \cdot\prod_{i=1}^k(1+ e^{\varepsilon_i+c})}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}.
$$
由于对每个 $\varepsilon_i> 0$,$(1+ e^{\varepsilon_i+c})/(1+ e^{\varepsilon_i}) \geq e^{c/2}$成立,因此只需证明:
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} (\varepsilon_i+c)} - e^{\varepsilon_g+kc} \cdot e^{\sum_{i\notin S} (\varepsilon_i+c)}, 0\right}\leq \sum_{S\subseteq{1,…,k}} e^{kc} \cdot \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}.
$$
该不等式在每一项上均成立。如果右侧项为零($\sum_{i\in S} \varepsilon_i \leq \varepsilon_g+\sum_{i \notin S} \varepsilon_i$),则对应的左侧项也为零($\sum_{i\in S}(\varepsilon_i+ c) \leq \varepsilon_g+ kc+\sum_{i \notin S}(\varepsilon_i+ c)$)。对于非零项,$e^{kc}$ 的因子确保了右侧项大于左侧项。

证明(定理1.7) 。 引理5.2告诉我们,如果 $\varepsilon$值被离散化,则可以确定一组隐私参数是否满足某个全局差分隐私保证。注意到,对于离散化的 $\varepsilon$值集合,我们可以通过对$\varepsilon^ $的值进行二分搜索,直到找到满足($\varepsilon^ , \delta_g$)‐差分隐私的最小 $\varepsilon^*$, 从而精确求解最优组合。

给定 $\varepsilon_1,…, \varepsilon_k, \varepsilon^ $,和一个加性误差参数 $\eta> 0$,设 $a_i= \left\lfloor\frac{\eta}{k} \varepsilon_i\right\rfloor, \varepsilon’ i= \frac{\eta}{k} \cdot a_i \forall i \in[k]$。在此设定下, $a_i$为非负整数,且$\varepsilon’_i$的值均为 $\varepsilon_0= \eta/k$的整数倍。引理5.2告诉我们,可以在时间 $O\left(\frac{k^2}{\eta} \sum {i=1}^k \varepsilon_i\right)$内判断具有 $\varepsilon’$值的新隐私参数是否满足($\varepsilon^ , \delta_g$) ‐DP。通过对$\varepsilon^*$的值运行二分搜索,即可在时间$O\left(\log\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$内精确计算最优组合$((\varepsilon’_1, \delta_1),…,(\varepsilon’_k, \delta_k), \delta_g) = \varepsilon’_g$。

注意 $\varepsilon_i - \eta/k \leq \varepsilon’_i \leq \varepsilon_i \forall i \in[k]$。引理 5.3指出输出的$\varepsilon’_g$ 至多为 $\text{OptComp}((\varepsilon_1, \delta_1) …,(\varepsilon

差分隐私中的组合性质-串行,并行,推论 文章目录Laplace噪声的概率累积函数Laplace噪声概率函数Laplace噪声的概率累积函数兄弟数据集解释对称差集⨁\bigoplus⨁差分隐私定义概念延展(完整版)差分隐私的组合原理差分隐私的串行组合原理差分隐私的并行组合原理重要说明(证明)推论 Laplace噪声的概率累积函数 Laplace噪声概率函数 f(x∣μ,b)=12be−∣x−μ∣b f(x|\mu,b)=\frac{1}{... 阅读详情

相关推荐

数据隐私保护实战:差分隐私、同态加密与成员推理攻击攻防解析

在数据驱动的时代,数据安全与隐私保护是核心技术挑战。从原理层面看,隐私保护技术旨在实现数据可用性与机密性的平衡。差分隐私通过向查询结果注入可控噪声,为数据发布和聚合查询提供可证明的数学保障,其核心在于隐私预算参数ε的权衡。同态加密则允许在密文上直接进行计算,解决了数据外包计算时的信任问题,尤其适用于安全聚合与隐私保护推理。这两种技术分别从“输出扰动”和“数据加密”维度构建防御。然而,新兴的成员推理攻击能够通过分析模型输出推断训练数据成员身份,对机器学习系统构成严重威胁。因此,在构建隐私安全系统时,需结合差分

weixin_30703911的博客 439

差分隐私(Differential privacy)浅析

通过几天对差分隐私的左思右想,总算是摸到了点门道,顺着学习思路,就一些比较关键性概念说一下自己的看法: 一、关键性概念 1、查询 对数据集的各种映射函数被定义为查询(Query),用 ={, , ......}来表示一组查询。 2、邻近数据集(兄弟数据集) 设数据集与,具有相同的属性结构,两者对称差记作,||表示对称差的数量。若||=1,则称和为邻近数据集...

Ano_onA的博客 5万+

基于差分隐私的实时网页浏览数据安全发布方案SecWeb详解

在数据驱动的互联网时代,如何在保护用户隐私的前提下实现数据的有效利用,是技术领域的关键挑战。其核心原理在于通过密码学和统计学方法,对原始数据进行脱敏和扰动,确保无法从中推断出任何特定个体的信息,同时保留数据的宏观统计价值。差分隐私作为当前隐私保护的前沿技术,通过向查询结果中添加精心计算的噪声,为数据发布提供了可量化的隐私保证。这项技术的价值在于,它使得企业能够在遵守GDPR等严格数据法规的同时,继续从聚合数据中获取业务洞察,平衡了合规需求与数据效用。其应用场景广泛,包括实时公共趋势分析、广告效果衡量、产品体

chengli1824的博客 565

【差分隐私入门】差分隐私系统学习记录 (一)

The Algorithmic Foundations of Differential Privacy (一)写在前面的话The Promise of Differential PrivacyBasic TermsThe model of computationTowards defining private data analysisFormalizing differential privacyWhat differential privacy promisesWhat differential pri

谈论现实 2785

隐私保护AI实战:联邦学习、差分隐私与同态加密混合架构详解

在数据驱动的时代,如何在利用数据价值的同时保护用户隐私,是人工智能领域面临的核心挑战。其基本原理在于通过密码学、概率统计和分布式架构等技术,在不暴露原始数据的前提下完成模型训练与推理。这一技术体系的价值在于,它使得AI应用能够在遵守日益严格的数据安全法规(如GDPR)的同时,持续获取高质量数据,从而保障了商业模式的合规性与可持续性。其典型应用场景包括跨机构的联合风控建模、多中心医疗研究以及移动设备上的个性化推荐等。本文聚焦于联邦学习这一主流范式,它通过让模型而非数据在参与方之间流动,有效应对了数据孤岛问题。

weixin_30412167的博客 421

生成式AI医疗隐私保护:差分隐私与合成数据实战指南

生成式AI在医疗领域的应用正面临隐私合规的刚性约束,其核心挑战在于如何在保障患者数据安全的前提下维持模型效能。差分隐私提供可验证的数学保障,合成数据则构建统计保真、临床可信的数字孪生体,二者协同形成‘隐私优先的生成闭环’。该技术路径不仅满足HIPAA、GDPR及中国《个人信息保护法》对去标识化与重识别风险的严苛要求,更支撑医学影像增强、病历摘要生成、临床决策辅助等关键场景落地。本文聚焦医疗AI工程化中的真实瓶颈——如文本语义泄露、影像元数据残留、联邦学习异构收敛难等,通过三甲医院、药企RWS平台与药监审评项

weixin_30443813的博客 534

隐私保护联邦学习之差分隐私原理

联邦学习中的隐私保护方法之差分隐私,包含差分隐私的原理以及深度学习与联邦学习中的差分隐私技术

whdeast的博客 6030

数据挖掘中的伦理礼仪:从技术操作到用户尊重的实践框架

数据挖掘不仅是算法与算力的结合,更是一种涉及用户信任、隐私边界和语义责任的技术实践。其核心原理在于将‘知情—授权—脱敏—可控’嵌入全链路,以差分隐私、行为泛化、语义安全网关等关键技术保障数据处理的合规性与人文温度。这种‘不冒犯式挖掘’已超越道德倡议,成为提升用户留存、降低投诉率、增强商业可持续性的关键能力。它广泛应用于个性化推荐、健康服务匹配、金融风控等需高频触达用户数据的场景,并在GDPR、《个人信息保护法》等监管背景下,成为企业数据治理体系的底层基础设施。

weixin_34327223的博客 380

差分隐私算法项目(OpenDP)

OpenDP是一个专注于差分隐私算法的开源项目,提供一个模块化的统计算法库,确保数据分析过程中的隐私保护。其主要编程语言包括Rust、Python和R。Rust是核心库的实现语言,而Python和R则提供了方便的绑定,方便开发者使用。

weixin_43156294的博客 1484

22、差分隐私中的最优组合计算与私有学习难题

本文探讨了差分隐私中的最优组合计算与私有学习的挑战。首先,通过将#SUM-PARTITION问题与OptComp关联,证明了计算最优组合(OptComp)是#P-难的,但在多项式时间内可以近似求解。其次,研究了差分隐私与私有学习的关系,回顾了PAC学习模型和私有学习的基本概念。在合理的密码学假设下,构造了一个概念类EncThresh,表明它虽然是高效PAC可学习的,但无法通过高效的差分隐私算法进行学习。此外,介绍了顺序揭示加密(ORE)方案及其在私有学习中的应用,提出了从ORE到强正确比较的通用转换方法。最

perl8的博客 84

21、计算最优组合的复杂性:理论与实践探索

本文探讨了差分隐私领域中计算最优异构组合的复杂性问题,理论上证明了精确计算最优组合(OptComp)是#P完全的,意味着不存在高效的多项式时间算法。同时,提出了一种具有加性误差和相对误差控制的多项式时间近似算法,并在实际应用中集成到隐私工具中用于共享研究数据。研究为差分隐私的组合行为提供了理论基础和实用解决方案,具有广泛的应用前景。

perl8的博客 63

差分隐私 matlab,一种分布式事务数据的差分隐私发布策略

为了统一形式,对条件(1)与条件(2)两边同时取对数,整理后得到新的概率差分隐私约束条件:(3)$\forall {T_i} \in D,\sum\limits_{\forall ite{m_j} \in {T_i}} {\ln \left( {1 - \frac{{ite{m_j}.x}}{{ite{m_j}.count}}} \right)} \ge \theta ,\theta = \m...

weixin_35159324的博客 698

【信息科学与工程学】计算机科学与自动化——第十五篇 云计算11——组合数学01

通过物理隔离确保高安全性,同时需解决两条单向通道(A→B和B→A)的同步性与数据一致性问题。

weixin_49199313的博客 1020

基于贝叶斯对抗风险分析的AI系统网络安全防护组合优化

在人工智能与网络安全领域,如何量化评估并动态应对复杂威胁是核心挑战。贝叶斯方法提供了一种概率框架,能够根据新证据动态更新对威胁的信念,从而量化风险。结合对抗风险分析,可以从攻击者视角建模威胁,评估潜在影响。防护组合优化则运用数学工具,在成本约束下求解最优防御措施组合,实现风险与资源的最佳平衡。这一框架将安全决策从静态清单升级为动态博弈,尤其适用于模型窃取、数据投毒等AI特定风险场景,为构建弹性智能系统提供了量化、自适应的工程实践路径。

weixin_33889245的博客 398

48、联邦学习与深度学习在医疗领域的应用综述

本文综述了联邦学习与深度学习在医疗领域的应用,重点探讨了联邦学习在保护数据隐私前提下实现分布式模型训练的优势。文章介绍了多种联邦学习方法(如CFL、STC、DP、BrainTorrent等)和深度学习模型(如SU-Net、DenseNet-41、VGG-19等)在疾病诊断、医学图像分析中的应用,并对比了各类方法的性能表现。同时,分析了联邦学习面临的通信成本、数据隐私、模型收敛性和系统异构性等挑战及其应对策略。通过流程图展示了典型方法的工作机制和应用场景,最后总结了联邦学习在医疗领域的发展潜力与未来方向。

water的专栏 79

YOLOv5s模型训练全流程解析:从数据准备到实战检测

本文详细解析了YOLOv5s模型训练的全流程,涵盖从环境搭建、数据准备与格式转换,到模型训练、参数调优及实战检测的完整步骤。文章提供了具体的代码示例和常见问题解决方案,旨在帮助开发者,特别是新手,高效掌握YOLOv5s模型训练的核心技术,并成功应用于实际检测任务中。

weixin_29041767的博客 336

AI测试用例生成的数据驱动革命:从真实行为到精准覆盖

摘要:数据驱动测试通过采集真实用户行为数据重构传统测试方法,显著提升测试效果。某电商平台实践显示,AI模型使边界值用例覆盖率和异常场景发现率分别提升47%和32%。关键技术包括多维度数据采集体系、用户画像立方体模型和生成对抗网络。工业案例证明该方法能有效发现合规漏洞和预测崩溃场景。实施路线包含数据治理、模型训练和持续优化三阶段。未来需应对量子计算等前沿挑战,测试人员需转型为行为模式分析师和数据策略架构师,推动测试团队从成本中心升级为战略控制中心。(150字)

2501_94261392的博客 191

保姆级教程:手把手配置AutoSar诊断复位(Dcm 0x11服务联动BswM/EcuM)

本文提供AutoSar诊断复位(Dcm 0x11服务联动BswM/EcuM)的保姆级配置教程,详细讲解从诊断服务基础配置到BswM规则引擎搭建、服务端口映射及EcuM复位执行的完整流程。通过Vector配置工具的实际截图和代码片段,帮助开发者高效实现远程复位功能,并分享调试技巧与性能优化实践。

weixin_30756499的博客 545

【微调专栏】微调前沿进展:个性化微调、自动化微调与联邦学习微调的技术突破与未来展望

本文系统梳理大模型微调技术的最新研究方向,聚焦个性化微调、自动化微调与联邦学习微调三大前沿领域。在个性化微调方面,深入分析基于元学习的PerFedAvg、FedRep等算法框架,揭示其在处理非独立同分布数据时的理论优势与隐私保护机制;在自动化微调领域,详细解析AutoPEFT的神经架构搜索与多目标贝叶斯优化方法,阐述其如何实现参数效率与任务性能的帕累托最优;在联邦学习微调方向,探讨差分隐私、安全聚合等隐私增强技术的数学原理与工程实现。文章通过数学模型推导、架构设计分析与核心代码实现,全面展现微调技术的最新突

m0_50709695的博客 489

实战分享:如何用YOLOv5s+BIFPN高效检测隧道裂缝(附数据集获取)

本文详细介绍了如何利用YOLOv5s结合BIFPN(双向特征金字塔网络)构建高效的隧道裂缝智能检测系统。文章从高质量数据集构建、针对性数据增强、模型架构选型与调优,到工程化部署全链路进行了实战分享,旨在为基础设施自动化巡检提供兼顾精度与速度的解决方案。

weixin_29062823的博客 383

solidworks实体显示线框

solidworks实体莫名其妙显示为有点虚的线框

qq_35858902的博客 1万+

隐私保护动态规划:从算法原理到工程实践

动态规划(DP)是一种通过状态定义和转移方程解决复杂优化问题的核心算法,其“记住过去,决策未来”的思想在路径规划、资源分配等场景中广泛应用。然而,当处理医疗记录、金融数据等敏感信息时,传统的DP计算过程可能导致隐私泄露,例如从中间状态值反推出原始输入。为此,隐私保护计算技术应运而生,旨在实现数据的可用不可见。其中,同态加密允许在密文上直接进行计算,为安全执行DP的状态转移提供了密码学基础;而差分隐私则通过向数据或结果中添加精心设计的噪声,以可控的精度损失换取严格的隐私保证。这两种技术为动态规划穿上了“隐身衣

ciya3282的博客 398

AI大模型实战——模型测评:如何评估大模型的表现

大模型评测体系解析:从数据集到基准测试 本文系统梳理了大模型评测的关键要素。在数据集方面,重点介绍了C-Eval等中文评估套件,强调数据质量需通过人工验证保证。评测维度涵盖自然语言理解、知识推理、代码生成等核心能力。基准测试作为标准化评估方法,Glue、SuperClue等平台提供了公平比较的依据。文章指出厂商自评榜单存在水分问题,建议关注第三方评测。同时解析了少样本和零样本两种prompt模式的应用场景差异。最后解释了"SOTA"这一术语在描述模型最优性能时的应用价值。整体呈现了大模型

小志的博客 898
上一篇: 5、优化数学基础入门
下一篇: 绳索驱动外骨骼助偏瘫康复
php55
博客等级 码龄15年 51粉丝 1553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值