差分隐私最优组合的复杂性

差分隐私最优组合计算的复杂度

摘要

在差分隐私的研究中，组合定理（始于杜沃克、麦克谢里、尼西姆 和史密斯（TCC’06）的原始论文）用于界定多个差分隐私算法组合时隐 私性的衰减情况。凯鲁兹、欧和维斯瓦纳特（ICML’15）展示了如何计 算组合 k个任意(ε, δ)‐差分隐私算法的最优边界。我们刻画了更一般情形 下的最优组合，即组合 k个任意(ε1, δ1)…,(εk, δk)‐差分隐私算法，其中每 个算法的隐私参数可能不同。我们证明了一般情况下计算最优组合是#P‐ 完全的。由于精确计算最优组合不可行（除非FP=#P），我们给出了一种 近似算法，可在多项式时间内以任意精度计算该组合。该算法是对戴尔用 于近似计数背包问题解的动态规划方法（STOC’03）的改进。

关键词 ：差分隐私 · Composition · Computational复杂性 · Approximation algorithms

1 引言

差分隐私是一种允许对私有数据库进行统计分析同时最小化对数据库中个体风险的框架。其思想在于，无论个体决定加入还是退出研究数据集，他或她所受到的影响都应相对较小。更具体地说，对数据库进行统计分析的输出概率分布应几乎与在同一数据库中移除单个人的数据后的输出分布相同。这里的概率空间是指处理查询的随机化差分隐私算法的随机选择过程。为形式化这一点，我们称两个数据库 $D_0, D_1$，每个都有 $n$ 行，如果它们在至少 $n−1$ 行上相同，则称其为相邻；并据此定义差分隐私如下：

定义1.1（差分隐私 [2,3]） 。一个随机算法 $M$ 是（ε, δ）‐差分隐私的，如果对于所有相邻数据库对 $D_0$ 和 $D_1$ 以及所有输出集 $S \subseteq \text{Range}(M)$
$$
\Pr[M(D_0) \in S] \leq e^\varepsilon \Pr[M(D_1) \in S]+ \delta
$$
其中概率是针对算法 $M$ 的随机选择而言的。

在差分隐私的实际应用中，我们通常将 $\varepsilon$ 视为一个较小但不可忽略的常数（例如 $\varepsilon=.1$）。我们将 $\delta$ 视为密码学意义上的“安全参数”，即其值非常小（例如$\delta= 2^{-30}$）。差分隐私的一个重要性质是，若我们在同一数据库上运行多个不同的差分隐私算法，则所得的组合算法也满足差分隐私，尽管其隐私参数会有所退化（ε, δ）。本文关注的是量化在组合下隐私性的退化程度。我们将 $k$ 个差分隐私算法$M_1, M_2,…, M_k$的组合记为$(M_1, M_2,…, Mk)$，其中
$$
(M_1, M_2,…, M_k)(x)=(M_1(x), M_2(x),…, M_k(x)).
$$

文献中已经存在一些组合定理。第一个基本结果表明：

定理1.2（基本组合 [2]） 。对于每个 $\varepsilon \geq 0, \delta \in[0, 1],$和（ε, δ）-差分隐私算法 $M_1, M_2,\ldots, M_k$，其组合（$M_1,M_2,\ldots, M_k$）满足（$k\varepsilon, k\delta$）-差分隐私。

这告诉我们，在组合情况下，各个算法的隐私参数可以说是“相加”的。

我们关注组合的原因在于，实际应用中我们很少只想发布关于数据集的单个统计量。发布多个统计量可能需要在同一数据库上运行多个差分隐私算法。组合在算法设计中也是一个非常有用的工具。通常，新的差分隐私算法是通过组合若干更简单的算法而得到的。组合定理有助于我们分析以这种方式设计的算法的隐私属性。

定理 1.2表明，随着组合中算法数量（$k$）的增加，全局隐私呈线性下降， 因此改进这一界限具有重要意义。如果我们能够证明隐私在组合下的衰减速度更慢，那么在相同的全局隐私保证下，我们的算法将获得更高的效用。杜沃克、罗斯布鲁姆和瓦德汉对上述基本累加组合给出了以下改进 [5]。

定理1.3（高级组合[5]） 。对于每个 $\varepsilon> 0, \delta, \delta’> 0, k \in\mathbb{N}$以及($\varepsilon, \delta$)-差分隐私算法 $M_1, M_2,\ldots, M_k$，其组合($M_1, M_2,\ldots, M_k$)满足($\varepsilon_g , k\delta+ \delta’$)-差分隐私。
$$
\varepsilon_g =\sqrt{2k \ln(1/\delta’)} \cdot \varepsilon+ k \cdot \varepsilon \cdot(e^\varepsilon −1).
$$

定理1.3表明，差分隐私算法在组合下的隐私性退化由函数 $O(\sqrt{k}\ln(1/\delta’))$ 决定，若 $\delta’= 2^{-O(k)}$成立，则这是一种改进。可以证明，即使对于最简单的差分隐私算法（如随机响应）[11]，隐私性退化函数 $\Omega(\sqrt{k}\ln(1/\delta))$也是必需的。

尽管为全局隐私参数给出了渐近正确的上界，$\varepsilon_g$,定理1.3并不精确。我们希望得到精确的刻画，因为除了在理论上具有重要意义之外，组合定理中的常数因子在差分隐私的实际应用中也可能产生显著影响。此外，定理1.3仅适用于“同质”组合，即每个单独算法具有相同的隐私参数对($\varepsilon, \delta$)。在实际中，我们通常希望分析更一般的情况，其中组合中的某些单独算法可能比其他算法提供更多的或更少的隐私保护。也就是说，给定算法 $M_1, M_2,…, M_k$，我们希望计算($M_1, M_2,…, M_k$)所能达到的最佳隐私参数。形式化地，我们希望计算以下函数：
$$
\text{OptComp}(M_1, M_2,…, M_k, \delta_g)= \inf{\varepsilon_g:(M_1, M_2,…, M_k) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}}.
$$

对我们而言，将 $\delta_g$视为已知并计算最优的 $\varepsilon_g$,较为方便，但将$\varepsilon_g$视为已知的对偶形式是等价的（通过二分搜索）。实际上，我们希望得到一个仅依赖于各个算法隐私参数的函数：
$$
\text{OptComp}((\varepsilon_1, \delta_1),(\varepsilon_2, \delta_2),…,(\varepsilon_k, \delta_k), \delta_g)=
\sup{\text{OptComp}(M_1, M_2,…, M_k, \delta_g): M_i \text{ is }(\varepsilon_i, \delta_i)\text{-DP } \forall i \in[k]}.
$$

换句话说，我们希望最优组合（OptComp）能为我们提供在给定隐私参数 （$\varepsilon_i, \delta_i$）下，对每一系列算法保持隐私的最小可能 $\varepsilon_g$值。此定义适用于算法序列（$M_1,…, M_k$）和它们所作用的一对相邻数据库（$D_0, D_1$）固定的情况，但我们证明即使算法和数据库是自适应选择的，同样的最优界也成立，即 $M_i$和数据库（$D_0, D_1$）可以根据$M_1,…, M_{i−1}$的输出结果进行自适应选择。（参见第2节以获取形式化定义。）

凯鲁兹、欧和维斯瓦纳特的一项结果 [9] 刻画了同构情况下的最优组合（ OptComp）。

定理 1.4（最优同构组合 [9]） 。 对于每个 $\varepsilon \geq 0$和 $\delta \in[0, 1)$，最优组合（$((\varepsilon, \delta) 1,(\varepsilon, \delta)_2,\ldots,(\varepsilon, \delta)_k, \delta_g)$=$(k−2i)\varepsilon,$，其中$i$是${0, 1,…,\lfloor k/2\rfloor}$中满足以下条件的最大整数：
$$
\sum {l=0}^{i-1} \binom{k}{l} \frac{e^{(k-l)\varepsilon} - e^{(k-2i+l)\varepsilon}}{(1+ e^\varepsilon)^k} \leq 1 - \frac{1 - \delta_g}{(1 - \delta)^k}.
$$

根据这一定理，作者们利用多项式时间可计算解精确刻画了差分隐私算法的组合行为。

问题仍然在于找到更一般的异构情况下的最优组合行为。凯鲁兹、欧和维斯瓦纳特还提供了一个异构组合的上界，该上界推广了 $O(\sqrt{k}\ln(1/\delta’))$ 退化，如定理1.3 中同构组合所给出的，但并未评论该上界与最优性的接近程度。

1.1 我们的结果

我们首先将凯鲁兹、吴和维斯瓦纳特 [9] 的结果推广到一般的异质情况。

定理1.5（最优异构组合） 。对于所有 $\varepsilon_1,…, \varepsilon_k \geq0$和 $\delta_1,…, \delta_k, \delta_g \in[0, 1)$，最优组合$((\varepsilon_1, \delta_1),(\varepsilon_2, \delta_2)…,(\varepsilon_k, \delta_k), \delta_g)$等于满足以下条件的最小的 $\varepsilon_g$值：
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}\leq 1− \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)} \quad (1)
$$

定理1.5精确刻画了任意一组差分隐私算法的最优组合行为。它还表明，可以通过对$S \subseteq{1,…, k}$进行暴力求和，在关于 $k$的指数时间内计算出最优组合。当然，在实际中，对于较大的 $k$，指数时间算法是不可接受的。我们的下一个结果表明这种指数复杂度是不可避免的：

定理1.6 。 计算最优组合是#P-完全的，即使在满足$\delta_1= \delta_2=…= \delta_k= 0$和$\sum_{i\in[k]} \varepsilon_i \leq \varepsilon$的实例上，其中 $\varepsilon> 0$为任意给定常数。

回想一下，#P 是与 NP 中的判定问题相关的计数问题类别。因此，#P‐完全意味着：除非存在一个多项式时间算法用于计算布尔公式的满足赋值数量 （或等价地，计算所有NP问题解的个数），否则 OptComp 不存在多项式时间算法。因此，OptComp 几乎肯定没有高效的算法，因而也没有解析解。尽管精确计算是难以处理的，但我们证明了 OptComp 可以被高效地近似。

定理1.7 。 存在一个多项式时间算法，给定 $\varepsilon_1,…, \varepsilon_k \geq0, \delta_1,… \delta_k, \delta_g \in[0, 1)$和 $\eta> 0$， 输出 $\varepsilon^ $其中
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^ \leq \text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), e^{-\eta/2}\cdot\delta_g) +\eta.
$$
The algorithm runs in $O\left(\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$ time assuming constant-time arithmetic operations.

请注意，在近似 $\delta_g$时会产生相对误差 $\eta$和 在近似$\varepsilon_g$时会产生加性误差 $\eta$。由于我们始终将$\varepsilon_g$取为不可忽略的，甚至是一个常数，因此当 $\eta$是多项式级小量或甚至是常数时，我们能得到非常好的近似。因此，运行时间在 $1/\eta$上为多项式级别是可以接受的。

除了上述结果外，我们对定理1.5 的证明还为凯鲁兹‐欧‐维斯瓦纳特齐次组合定理（定理4[9]）提供了相对更简洁的证明。文献[9]中的证明通过假设检验的视角引入了差分隐私的观点，并使用了几何论证方法。而我们的证明仅依赖于差分隐私文献中常见的初等技术。

实际应用 。 本文提出的理论结果源于我们参与的一个名为“用于共享研究数据的隐私工具”的应用项目。我们正在构建一个系统，使拥有敏感数据集的研究人员能够通过使用Dataverse平台 [1,8]的数据存储库发布其数据的差分隐私统计信息。该系统的一部分是一个工具，可帮助数据提交者和数据分析人员将全局隐私预算分配到多个统计量中。用户可以选择希望计算的统计量，并获得每个统计量可计算精度的估计值。他们还可以根据认为在其数据集中最有价值的统计量重新分配其隐私预算。我们实现了定理1.7中的近似算法，并将其集成到该工具中，以确保用户能从其隐私预算中获得最大效用。

2 技术基础

用于思考差分隐私的一个有用符号定义如下。

定义2.1 。 对于取值于相同输出空间 $S$的两个离散随机变量 $Y$和 $Z$， $\delta$‐近似最大散度定义为 $Y$和 $Z$的：
$$
D_\delta^\infty(Y|Z) \equiv \max_S[\ln \Pr[Y \in S] - \delta \Pr[Z \in S]].
$$

注意，一个算法 $M$是($\varepsilon, \delta$)差分隐私的，当且仅当对于所有相邻数据库对$D_0, D_1$，我们有 $D_\delta^\infty(M(D_0)|M(D_1)) \leq \varepsilon$。差分隐私在“后处理”下保持封闭这一标准性质现在可以表述为：

事实2.2 。 如果 $f： S \to R$是任意随机化函数，则
$$
D_\delta^\infty(f(Y)|f(Z)) \leq D_\delta^\infty(Y|Z).
$$

自适应组合。我们论文中的组合结果实际上适用于比上述描述更广泛的组合模型。该模型称为 $k$‐fold 自适应组合，在[5]中被形式化。我们将他们的公式推广到异构场景，即在组合中不同算法的隐私参数可能不同。

其思想是，无需在单个数据库上一次性运行 $k$个差分隐私算法，而是可以设想一个对手自适应地参与一场“组合博弈”。该博弈接收一个比特 $b \in{0, 1}$ 以及隐私参数($\varepsilon_1, \delta_1$)…,($\varepsilon_k, \delta_k$)作为输入。一个随机化的对手 $A$通过 $k$轮交互来尝试学习 $b$，具体过程如下：在博弈的第 $i$轮，$A$选择一个($\varepsilon_i, \delta_i$)‐差分隐私算法 $M_i$以及两份相邻数据库 $D_{(i,0)}, D_{(i,1)}$。随后， $A$收到一个输出 $y_i \leftarrow M_i(D_{(i,b)})$，其中 $M_i$的内部随机性独立于$M_1,…, M_{i−1}$的内部随机性。 $M_i, D_{(i,0)},$和 $D_{(i,1)}$的选择可能依赖于 $y_0,…, y_{i−1}$以及对手自身的随机性。

这一博弈的结果称为对手的视图， $V_b$其定义为($y_1,…, y_k$)以及 $A$的抛硬币结果。每一轮中的算法 $M_i$和数据库 $D_{(i,0)}, D_{(i,1)}$均可从 $V_b$中重构出来。现在我们可以正式定义在 $k$次自适应组合下的隐私保证。

定义2.3 。 我们称隐私参数序列 $\varepsilon_1,…, \varepsilon_k \geq0, \delta_1,\ldots, \delta_k \in[0, 1)$在自适应组合下满足($\varepsilon_g, \delta_g$)-差分隐私，如果对于每个对手 $A$都有 $D_{\delta_g}^\infty(V_0|V_1) \leq \varepsilon_g,$，其中 $V_b$表示 $A$在组合博弈 $b$中的视图，该组合博弈的隐私参数输入为($\varepsilon_1, \delta_1$). . .,($\varepsilon_k, \delta_k$)。

计算实值函数。 我们讨论的许多计算涉及无理数，我们需要明确如何在有限离散机器上对这类计算进行建模。也就是说，当我们谈论计算一个函数 $f:{0, 1}^* \to \mathbb{R}$时，实际指的是将 $f$计算到任意指定精度 $q$位。更准确地说，给定 $x$， $q$，任务是计算一个数 $y \in \mathbb{Q}$，使得 $|f(x) - y| \leq \frac{1}{2^q}$。我们将该任务的算法复杂度表示为 $|x| + q$的函数。

3 最优组合的刻画

根据 [9],，我们证明，为了分析任意($\varepsilon_i, \delta_i$)‐DP算法的组合，只需分析以下随机响应简单变体的组合即可[11]。

定义 3.1 ([9]) 。 定义一个随机算法 $M_{(\varepsilon,\delta)}： {0, 1} \to{0, 1, 2, 3}$如下，设 $\alpha= 1 - \delta$：
$$
\begin{aligned}
&\Pr[M_{(\varepsilon,\delta)}(0)= 0]= \delta & \Pr[M_{(\varepsilon,\delta)}(1)= 0]= 0 \
&\Pr[M_{(\varepsilon,\delta)}(0)= 1]= \alpha \cdot \frac{e^\varepsilon}{1+e^\varepsilon} & \Pr[M_{(\varepsilon,\delta)}(1)= 1]= \alpha \cdot \frac{1}{1+e^\varepsilon} \
&\Pr[M_{(\varepsilon,\delta)}(0)= 2]= \alpha \cdot \frac{1}{1+e^\varepsilon} & \Pr[M_{(\varepsilon,\delta)}(1)= 2]= \alpha \cdot \frac{e^\varepsilon}{1+e^\varepsilon} \
&\Pr[M_{(\varepsilon,\delta)}(0)= 3]= 0 & \Pr[M_{(\varepsilon,\delta)}(1)= 3]= \delta
\end{aligned}
$$

注意， $M_{(\varepsilon,\delta)}$实际上是($\varepsilon, \delta$)‐DP。凯鲁兹、吴和维斯瓦纳特表明，$M_{(\varepsilon,\delta)}$可用于模拟每个($\varepsilon, \delta$)‐DP算法在相邻数据库上的输出。

引理3.2 ([9]) 。 对于每个 $(\varepsilon, \delta)$-差分隐私算法 $M$以及相邻数据库$D_0$， $D_1$，存在一个随机算法 $T$使得 $T(M_{(\varepsilon,\delta)}(b))$与 $M(D_b)$在 $b= 0$和 $b= 1$上同分布。

由于$M_{(\varepsilon,\delta)}$可以模拟任何($\varepsilon, \delta$)差分隐私算法，并且已知后处理保持差分隐私性（事实2.2），因此要分析任意差分隐私算法的组合，只需分析$M_{(\varepsilon_i,\delta_i)}$的组合即可：

引理3.3 。对于所有 $\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,…, \delta_k, \delta_g \in[0, 1)$，
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g)= \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}, \delta_g).
$$

证明 。 由于$M_{(\varepsilon_1,\delta_1)}, …,M_{(\varepsilon_k,\delta_k)}$是($\varepsilon_1, \delta_1$)…,($\varepsilon_k, \delta_k$)‐差分隐私的，我们有：
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,(\varepsilon_k, \delta_k), \delta_g)
= \sup{\text{OptComp}(M_1,…, M_k, \delta_g): M_i \text{ is }(\varepsilon_i, \delta_i)\text{-DP } \forall i \in[k]}
\geq \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}, \delta_g).
$$

对于另一个方向，只需证明对于所有满足 $(\varepsilon_1, \delta_1)$…,($\varepsilon_k, \delta_k$)‐差分隐私的 $M_1,…,M_k$，我们有
$$
\text{OptComp}(M_1,…, M_k, \delta_g) \leq \text{OptComp}(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}).
$$
也就是说，
$$
\inf{\varepsilon_g:(M_1,…, M_k) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}} \leq \inf{\varepsilon_g:(M_{(\varepsilon_1,\delta_1)},…, M_{(\varepsilon_k,\delta_k)}) \text{ is }(\varepsilon_g, \delta_g)\text{-DP}}.
$$

因此，假设$(M_{(\varepsilon_1,\delta_1)}, …,M_{(\varepsilon_k,\delta_k)})$是($\varepsilon_g, \delta_g$)‐DP。我们将证明$(M_1,…, M_k)$也是($\varepsilon_g, \delta_g$)‐DP。对 $\varepsilon_g$取下确界即可完成证明。

由引理3.2可知，对于每一对相邻的数据库 $D_0, D_1$，必须存在随机算法 $T_1, …, T_k$，使得对所有 $i \in{1,…, k}$， $T_i(M_{(\varepsilon_i,\delta_i)}(b))$与 $M_i(D_b)$同分布。根据假设，我们有
$$
D_{\delta_g}^\infty((M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \leq \varepsilon_g.
$$

因此根据事实2.2我们有：
$$
\begin{aligned}
&D_{\delta_g}^\infty ((M_1(D_0),…, M_k(D_0))|(M_1(D_1),…, M_k(D_1)))\
=& D_{\delta_g}^\infty((T_1(M_{(\varepsilon_1,\delta_1)}(0)),…, T_k(M_{(\varepsilon_k,\delta_k)}(0)))|(T_1(M_{(\varepsilon_1,\delta_1)}(1)),…, T_k(M_{(\varepsilon_k,\delta_k)}(1)))) \leq \varepsilon_g.
\end{aligned}
$$

差分隐私最优组合计算的复杂度

3 最优组合的刻画（续）

现在我们已准备好为任意一组差分隐私算法刻画最优组合。

证明（定理1.5的证明） 。给定$(\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k)$ 和 $\delta_g$，令 $M_k(b)$表示组合$(M_{(\varepsilon_1,\delta_1)}(b),\ldots, M_{(\varepsilon_k,\delta_k)}(b))$，并令 $\tilde{P}_k^b(x)$为 $M_k(b)$的概率质量函数，其中 $b= 0$和 $b= 1$。

根据引理3.3，$\text{OptComp}((\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k), \delta_g)$是使得以下成立的最小的$\varepsilon_g$值：
$$
\delta_g \geq \max_{Q\subseteq{0,1,2,3}^k}\left{ \tilde{P}_k^0(Q) - e^{\varepsilon_g} \cdot \tilde{P}_k^1(Q) \right}.
$$

给定 $\varepsilon_g$，使右侧最大化的集合 $S \subseteq{0, 1, 2, 3}^k$ 是
$$
S=S(\varepsilon_g)=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^0(x) \geq e^{\varepsilon_g} \cdot \tilde{P}_k^1(x)\right}.
$$

我们可以进一步将 $S(\varepsilon_g)$ 拆分为 $S(\varepsilon_g) = S_0(\varepsilon_g) \cup S_1(\varepsilon_g)$，其中
$$
\begin{aligned}
S_0(\varepsilon_g)&=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^1(x)= 0\right}, \
S_1(\varepsilon_g)&=\left{x \in{0, 1, 2, 3}^k \mid \tilde{P}_k^0(x) \geq e^{\varepsilon_g} \cdot \tilde{P}_k^1(x), \text{ and } \tilde{P}_k^1(x)> 0\right}.
\end{aligned}
$$

注意 $S_0(\varepsilon_g) \cap S_1(\varepsilon_g) = \emptyset$。我们有 $\tilde{P} k^1(S_0(\varepsilon_g)) = 0$ 且 $\tilde{P}_k^0(S_0(\varepsilon_g)) =1 - \Pr[M_k(0) \in{1, 2, 3}^k]= 1 -\prod {i=1}^k(1 - \delta_i)$。因此
$$
\begin{aligned}
\tilde{P} k^0(S(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S(\varepsilon_g)) &= \tilde{P}_k^0(S_0(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_0(\varepsilon_g)) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)) \
&= 1 - \prod {i=1}^k(1 - \delta_i) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)).
\end{aligned}
$$

现在我们只需分析 $\tilde{P} k^0(S_1(\varepsilon_g))-e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g))$。注意到 $S_1(\varepsilon_g) \subseteq{1, 2}^k$，因为对于所有 $x \in S_1(\varepsilon_g)$，我们都有 $\tilde{P}_0(x) > \tilde{P}_1(x) > 0$。因此我们可以写成：
$$
\begin{aligned}
&\tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \cdot \tilde{P}_k^1(S_1(\varepsilon_g)) \
=& \sum {y\in{1,2}^k} \max\left{ \prod_{i:y_i=1} (1 - \delta_i)\frac{e^{\varepsilon_i}}{1+ e^{\varepsilon_i}} \cdot \prod_{i:y_i=2} (1 - \delta_i)\frac{1}{1+ e^{\varepsilon_i}} - e^{\varepsilon_g} \prod_{i:y_i=1} (1 - \delta_i)\frac{1}{1+ e^{\varepsilon_i}} \cdot \prod_{i:y_i=2} (1 - \delta_i)\frac{e^{\varepsilon_i}}{1+ e^{\varepsilon_i}}, 0 \right} \
=& \prod_{i=1}^k \frac{1 - \delta_i}{1+ e^{\varepsilon_i}} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}.
\end{aligned}
$$

综合所有内容可得：
$$
\begin{aligned}
\delta_g &\geq \tilde{P} k^0(S_0(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_0(\varepsilon_g)) + \tilde{P}_k^0(S_1(\varepsilon_g)) - e^{\varepsilon_g} \tilde{P}_k^1(S_1(\varepsilon_g)) \
&= 1 - \prod {i=1}^k(1 - \delta_i) + \frac{\prod_{i=1}^k(1 - \delta_i)}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}.
\end{aligned}
$$

我们已经刻画了一组任意的差分隐私算法（$M_1,…, M_k$）在预先选定算法且所有算法都在同一数据库上运行的假设下的最优组合。接下来，我们将证明，在这种受限的组合模型下的最优组合实际上与第2节中讨论的更一般的 $k$‐次自适应组合是等价的。

定理3.4 。 隐私参数 $\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,…, \delta_k \in[0, 1)$，满足 $(\varepsilon_g, \delta_g)$-差分隐私在自适应组合下当且仅当$\text{OptComp}((\varepsilon_1, \delta_1)\ldots,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$。

证明 。 首先假设隐私参数 $\varepsilon_1,…, \varepsilon_k, \delta_1,…, \delta_k$ 在自适应组合下满足 $(\varepsilon_g, \delta_g)$‐差分隐私。那么 $\text{OptComp}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$，因为自适应组合比定义最优组合的组合更一般。

反之，假设最优组合$((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon_g$。特别地，这意味着最优组合$(M_{(\varepsilon_1,\delta_1)}…,M_{(\varepsilon_k,\delta_k)}, \delta_g) \leq \varepsilon_g$。为了完成证明，我们必须证明隐私参数 $\varepsilon_1,…, \varepsilon_k, \delta_1,…, \delta_k$在自适应组合作用下满足 $(\varepsilon_g, \delta_g)$‐差分隐私。

固定一个对手 $A$。在每一轮 $i$中， $A$利用其抛硬币结果 $r$和之前的输出 $y_1,\ldots,y_{i-1}$ 来选择一个 $(\varepsilon_i, \delta_i)$‐差分隐私算法 $M_i=M_r^{y_1\ldots y_{i-1}}$，以及相邻数据库 $D_0=D_r^{y_1\ldots y_{i-1},0}, D_1=D_r^{y_1\ldots y_{i-1},1}$。令 $V_b$表示在组合博弈 $b$下，针对 $b= 0$和 $b= 1$在给定隐私参数下的对手 $A$的视图。

引理3.2告诉我们存在一个算法 $T_i=T_r^{y_1\ldots y_{i-1}}$，使得 $T_i(M_{(\varepsilon_i,\delta_i)}(b))$与 $M_i(D_b)$在 $b= 0,1$对所有 $i \in[k]$上同分布。定义 $\hat{T}(z_1,…, z_k)$，其中 $z_1,…, z_k \in{0, 1, 2, 3}$如下：
1. 随机选择硬币 $r$。
2. 对于 $i= 1\ldots k$ 令 $y_i \leftarrow T_r^{y_1\ldots y_{i-1}}(z_i)$。
3. 输出 $(r, y_1,…, y_k)$。

注意到 $\hat{T}(M_{(\varepsilon_1,\delta_1)}(b),\ldots, M_{(\varepsilon_k,\delta_k)}(b))$ 对于 $b= 0,1$ 的两个情况具有相同的分布。根据假设，我们有
$$
D_{\delta_g}^\infty((M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \leq \varepsilon_g.
$$

因此根据事实2.2我们有：
$$
\begin{aligned}
D_{\delta_g}^\infty(V_0|V_1) &= D_{\delta_g}^\infty(\hat{T}(M_{(\varepsilon_1,\delta_1)}(0),…, M_{(\varepsilon_k,\delta_k)}(0))|\hat{T}(M_{(\varepsilon_1,\delta_1)}(1),…, M_{(\varepsilon_k,\delta_k)}(1))) \
&\leq \varepsilon_g.
\end{aligned}
$$

4 最优组合的复杂性

P是与NP中的判定问题相关的所有计数问题的类。它是一组用于计算某个 NP问题解的数量的函数。更正式地：

定义 4.1 。 一个函数 $f:{0, 1}^ \to \mathbb{N}$属于类 #P，如果存在一个多项式 $p: \mathbb{N} \to \mathbb{N}$和一个多项式时间算法 $M$，使得对于每个$x \in{0, 1}^ $：
$$
f(x)= \left|\left{y \in{0, 1}^{p(|x|)}: M(x, y)= 1\right}\right|.
$$

定义 4.2 。 一个函数 $g$被称为 #P‐难 ，如果每个函数 $f \in$#P在拥有对 $g$的预言机访问的情况下可以在多项式时间内计算。也就是说，对$g$的求值可以在一个时间步内完成。如果一个函数是 #P‐难的，那么除非存在一个能在多项式时间内计算所有 NP问题解的数量的算法，否则该函数不存在多项式时间算法来计算。

定义 4.3 。 一个函数 $f$被称为 #P‐易 ，如果存在某个函数 $g \in$#P，使得在拥有对 $g$的预言机访问的情况下， $f$可以在多项式时间内被计算。

如果一个函数既是 #P‐难的又是 #P‐易的，我们称它是 #P‐完全的。证明计算最优组合是 #P‐完全的可以分为两个步骤：证明它是 #P‐易的，并证明它是 #P‐难的。

引理 4.4 。 计算最优组合是 #P-易的。

接下来，我们通过一系列归约证明计算最优组合也是#P‐难的。我们从划分问题的乘法版本开始，该问题已知由Ehrgott [7]证明是#P‐完全的。归约链中的问题在下方定义。

定义 4.5 。 #INT-PARTITION 是以下问题：给定一个正整数集合 $Z= {z_1, z_2,…, z_k}$，计算满足以下条件的划分 $P \subseteq[k]$ 的数量
$$
\prod_{i\in P} z_i -\prod_{i \notin P} z_i= 0.
$$

我们归约链中剩余的所有问题都接受输入${w_1,…, w_k}$，其中对所有 $i \in[k]$和某个正整数 $D$， $1 \leq w_i \leq e$是一个正整数的 $D$th次根。我们给出的所有归约对于每个正整数 $D$都成立，包括当输入为整数时的 $D= 1$情形。

定义 4.6 。 #PARTITION 是以下问题：给定一个数 $D \in\mathbb{N}$ 和一个实数集 $W={w_1, w_2,…, w_k}$，其中对于所有 $i \in[k]$， $1 \leq w_i \leq e$ 是某个正整数的 $D$ 次根，计算满足如下条件的划分 $P \subseteq[k]$ 的数量，使得
$$
\prod_{i\in P} w_i -\prod_{i \notin P} w_i= 0.
$$

定义 4.7 。 #T-PARTITION 是以下问题：给定一个数 $D \in \mathbb{N}$ 和一组实数 $W={w_1, w_2,…, w_k}$，其中对于所有 $i \in[k]$，$1 \leq w_i \leq e$ 是某个正整数的 $D$ 次根，以及一个 正 实数 $T$，计算满足如下条件的划分 $P \subseteq[k]$ 的数量：
$$
\prod_{i\in P} w_i -\prod_{i \notin P} w_i= T.
$$

定义 4.8 。 #SUM-PARTITION：给定一个数 $D \in \mathbb{N}$ 和一个实数集合 $W= {w_1, w_2,…, w_k}$，其中对于所有 $i \in[k]$， $1 \leq w_i \leq e$是某个正整数的 $D$ 次根，以及一个实数 $r> 1$，求
$$
\sum_{P\subseteq[k]} \max\left{\prod_{i\in P} w_i - r \cdot\prod_{i \notin P} w_i, 0\right}.
$$

我们通过以下一系列归约证明计算最优组合是#P‐难的：
$$
\text{#INT-PARTITION} \leq \text{#PARTITION} \leq \text{#T-PARTITION} \leq \text{#SUM-PARTITION} \leq \text{最优组合}.
$$

由于 #INT-PARTITION已知是 #P‐完全的，[7],这一系列归约将证明最优组合是 #P‐难的。

引理4.9 。 对于每个常数 $c> 1$，#PARTITION 在 $\prod_i w_i \leq c$ 的实例上是 #P-难的。

引理 4.10 。 对于每个常数 $c> 1$，#T-PARTITION是#P-难的，即使在满足 $\prod_i w_i \leq c$的实例上也是如此。

引理 4.11 。 对于每个常数 $c> 1$，#SUM-PARTITION 即使在满足 $\prod_i w_i \leq c$的实例上也是 #P-难的。

现在我们证明计算最优组合是#P‐完全的。

证明（1.6定理的证明） 。 我们已经证明了计算最优组合是#P‐容易的。这里我们证明它也是#P‐难的，从而证明了#P‐完全性。

给定#SUM-PARTITION的一个实例 $D, W={w_1,…, w_k}, r$，其中$\forall i \in[k], w_i$是某个整数的第 $D$个根，且集合 $\varepsilon_i= \ln(w_i) \forall i \in[k], \delta_1= \delta_2=… \delta_k= 0$和$\varepsilon_g= \ln(r)$。注意 $\sum_i \varepsilon_i= \ln(\prod_i w_i) \leq\ln(c)$。由于我们可以令 $c$为任意大于1的任意常数，因此可确保对于任意的 $\varepsilon> 0$，$\sum_i \varepsilon_i \leq \varepsilon$成立。

我们再次使用以$\varepsilon_g$作为输入并输出$\delta_g$的最优组合版本。在使用最优组合预言机找到 $\delta_g$之后，我们知道定理1.5中所述的最优组合公式（公式1）成立：
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= 1− \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)} = \delta_g.
$$

因此我们可以计算：
$$
\delta_g \cdot \prod_{i=1}^k(1+ e^{\varepsilon_i})= \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= \sum_{S\subseteq{1,…,k}} \max\left{\prod_{i\in S} w_i - r \cdot\prod_{i \notin S} w_i, 0\right}.
$$

最后一个表达式正是我们所给的#SUM-PARTITION实例的解。我们通过一次对最优组合预言机的调用，在多项式时间内解决了#SUM-PARTITION。因此，计算最优组合是#P‐难的。

5 OptComp的近似

尽管我们无法期望在多项式时间内高效计算一般差分隐私算法的最优组合（假设$\mathrm{P}\neq\mathrm{NP}$或甚至$\mathrm{FP}\neq#\mathrm{P}$），但我们在本节中证明，可以在多项式时间内任意精确地逼近最优组合。

定理1.7（重述） 。 存在一个多项式时间算法，给定$\varepsilon_1,…, \varepsilon_k \geq 0, \delta_1,… \delta_k, \delta_g \in[0, 1)$和 $\eta> 0$，输出 $\varepsilon^ $，其中
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^ \leq \text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), e^{-\eta/2}\cdot\delta_g) +\eta.
$$
该算法在假设算术运算为常数时间的情况下，运行时间为 $O\left(\log\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$。

我们通过以下三个引理来证明这一定理：

引理5.1 。 给定非负整数$a_1,…, a_k, B$和权重$w_1,…, w_k \in \mathbb{R}$，可以计算
$$
\sum_{\substack{S\subseteq[k] \ \sum_{i\in S} a_i\leq B}} \prod_{i\in S} w_i
$$
在时间 $O(Bk)$内。

引理5.2 。 给定 $\varepsilon_1,…, \varepsilon_k, \varepsilon^ \geq 0, \delta_1,… \delta_k, \delta_g \in[0, 1)$，如果对于某些非负整数 $a_i$和某个 $\varepsilon_0> 0$，满足 $\varepsilon_i= a_i\varepsilon_0 \forall i \in{1,…, k}$，则存在一个算法可以判断 最优组合$((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^ $是否成立，该算法的运行时间为 $O\left( \frac{k}{\varepsilon_0} \sum_{i=1}^k \varepsilon_i\right)$。

引理5.3 。 对于所有 $\varepsilon_1,…, \varepsilon_k, c \geq 0$ 和 $\delta_1，…， \delta_k， \delta_g \in[0, 1)$：
$$
\text{OptComp}((\varepsilon_1+ c, \delta_1)…,(\varepsilon_k+ c, \delta_k), \delta_g) \leq \text{最优组合}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), e^{-kc/2} \cdot \delta_g) + kc.
$$

接下来，我们证明三个引理，然后说明定理1.7成立。

证明（引理5.1） 。 我们修改了戴尔用于近似计数背包问题解的算法[6]。该算法使用动态规划。给定非负整数 $a_1，…， a_k， B$和权重 $w_1，…， w_k \in\mathbb{R}$，定义
$$
F(r, s)= \sum_{\substack{S\subseteq[r] \ \sum_{i \in S} a_i\leq s}} \prod_{i\in S} w_i.
$$
我们想要计算 $F(k, B)$。可以通过使用递归方法，对 $(0 \leq r \leq k, 0 \leq s \leq B)$ 计算 $F(r, s)$ 并制表来得到该值。
$$
F(r, s)=
\begin{cases}
1 & \text{if } r= 0 \
F(r -1, s)+ w_rF(r -1, s− a_r) & \text{if } r> 0 \text{ and } a_r \leq s \
F(r -1, s) & \text{if } r> 0 \text{ and } a_r > s.
\end{cases}
$$
给定前面的单元格 $F(r’, s’)$，其中 $r’< r$，表格中的每个单元格 $F(r, s)$ 都可以在常数时间内计算出来。因此，填满整个表格需要时间 $O(Bk)$。

证明（引理5.2的证明） 。 给定$\varepsilon_1,…, \varepsilon_k, \varepsilon^ \geq 0$，使得对于某些非负整数$a_i$和某个 $\varepsilon_0> 0$，有 $\varepsilon_i= a_i\varepsilon_0 \forall i \in{1,…, k}$成立，则定理 1.5 告诉我们如何回答是否
$$
\text{OptComp}((\varepsilon_1, \delta_1),…,( \varepsilon_k, \delta_k), \delta_g) \leq \varepsilon^
$$
等价于回答以下不等式是否成立：
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon^ } \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}\leq 1 - \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
右侧以及求和项的系数在给定输入的情况下容易计算，因此为了验证该不等式，我们将说明如何计算该求和。定义
$$
K=\left{T \subseteq[k] \mid \sum_{i \in T} \varepsilon_i \leq \frac{ \sum_{i=1}^k \varepsilon_i - \varepsilon^ }{2}\right}=\left{T \subseteq[k] \mid \sum_{i\in T} a_i \leq B\right} \text{ for } B= \left\lfloor\frac{ \sum_{i=1}^k \varepsilon_i - \varepsilon^ }{2\varepsilon_0}\right\rfloor
$$
并观察到，通过设置 $T= S^c$，我们有
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon^ } \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}= \sum_{T\in K} \left( \left(e^{\sum_{i=1}^k \varepsilon_i} \prod_{i\in T} e^{-\varepsilon_i}\right) - \left(e^{\varepsilon^*} \prod_{i\in T} e^{\varepsilon_i}\right) \right).
$$
我们只需要计算这个最终的表达式，并且可以对每一项分别进行计算，因为 $K$ 是一组背包问题的解。具体来说，设 $w_i=e^{-\varepsilon_i} \forall i \in[k]$，引理5.1告诉我们，可以计算 $\sum_{T\subseteq[k]}\prod_{i\in T} w_i$，约束条件为$\sum_{i\in T} a_i \leq B$，这等价于 $\sum_{T\in K}\prod_{i\in T} e^{-\varepsilon_i}$。为了计算 $\sum_{T\in K}\prod_{i\in T} e^{\varepsilon_i}$，我们改为设置 $w_i= e^{\varepsilon_i}$并运行相同的程序。由于我们使用了引理 5.1中的算法，运行时间为$O(Bk)= O\left( \frac{k}{\varepsilon_0} \sum_{i=1}^k \varepsilon_i\right)$。

证明（引理5.3） 。 设 $\text{OptComp}((\varepsilon_1, \delta_1)…,(\varepsilon_k, \delta_k), e^{-kc/2}\cdot\delta_g) = \varepsilon_g$。由定理1中的公式1.5可知：
$$
\frac{1}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}\leq 1 - \frac{1 - e^{-kc/2} \cdot \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
两边同时乘以 $e^{kc/2}$得到：
$$
\frac{e^{kc/2}}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i \in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i \notin S} \varepsilon_i}, 0\right}\leq e^{kc/2} \cdot\left(1 - \frac{1 - e^{-kc/2} \cdot \delta_g}{\prod_{i=1}^k(1 - \delta_i)}\right) \leq 1 - \frac{1 - \delta_g}{\prod_{i=1}^k(1 - \delta_i)}.
$$
上述不等式结合定理1.5意味着，证明以下内容即可完成证明：
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} (\varepsilon_i+c)} - e^{\varepsilon_g+kc} \cdot e^{\sum_{i\notin S} (\varepsilon_i+c)}, 0\right}\leq \frac{e^{kc/2} \cdot\prod_{i=1}^k(1+ e^{\varepsilon_i+c})}{\prod_{i=1}^k(1+ e^{\varepsilon_i})} \sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}.
$$
由于对每个 $\varepsilon_i> 0$，$(1+ e^{\varepsilon_i+c})/(1+ e^{\varepsilon_i}) \geq e^{c/2}$成立，因此只需证明：
$$
\sum_{S\subseteq{1,…,k}} \max\left{e^{\sum_{i\in S} (\varepsilon_i+c)} - e^{\varepsilon_g+kc} \cdot e^{\sum_{i\notin S} (\varepsilon_i+c)}, 0\right}\leq \sum_{S\subseteq{1,…,k}} e^{kc} \cdot \max\left{e^{\sum_{i\in S} \varepsilon_i} - e^{\varepsilon_g} \cdot e^{\sum_{i\notin S} \varepsilon_i}, 0\right}.
$$
该不等式在每一项上均成立。如果右侧项为零($\sum_{i\in S} \varepsilon_i \leq \varepsilon_g+\sum_{i \notin S} \varepsilon_i$)，则对应的左侧项也为零($\sum_{i\in S}(\varepsilon_i+ c) \leq \varepsilon_g+ kc+\sum_{i \notin S}(\varepsilon_i+ c)$)。对于非零项，$e^{kc}$ 的因子确保了右侧项大于左侧项。

证明（定理1.7） 。 引理5.2告诉我们，如果 $\varepsilon$值被离散化，则可以确定一组隐私参数是否满足某个全局差分隐私保证。注意到，对于离散化的 $\varepsilon$值集合，我们可以通过对$\varepsilon^ $的值进行二分搜索，直到找到满足（$\varepsilon^ , \delta_g$）‐差分隐私的最小 $\varepsilon^*$， 从而精确求解最优组合。

给定 $\varepsilon_1,…, \varepsilon_k, \varepsilon^ $,和一个加性误差参数 $\eta> 0$，设 $a_i= \left\lfloor\frac{\eta}{k} \varepsilon_i\right\rfloor, \varepsilon’ i= \frac{\eta}{k} \cdot a_i \forall i \in[k]$。在此设定下， $a_i$为非负整数，且$\varepsilon’_i$的值均为 $\varepsilon_0= \eta/k$的整数倍。引理5.2告诉我们，可以在时间 $O\left(\frac{k^2}{\eta} \sum {i=1}^k \varepsilon_i\right)$内判断具有 $\varepsilon’$值的新隐私参数是否满足($\varepsilon^ , \delta_g$) ‐DP。通过对$\varepsilon^*$的值运行二分搜索，即可在时间$O\left(\log\left(\frac{k}{\eta} \sum_{i=1}^k \varepsilon_i\right) \frac{k^2}{\eta} \sum_{i=1}^k \varepsilon_i\right)$内精确计算最优组合$((\varepsilon’_1, \delta_1),…,(\varepsilon’_k, \delta_k), \delta_g) = \varepsilon’_g$。

注意 $\varepsilon_i - \eta/k \leq \varepsilon’_i \leq \varepsilon_i \forall i \in[k]$。引理 5.3指出输出的$\varepsilon’_g$ 至多为 $\text{OptComp}((\varepsilon_1, \delta_1) …,(\varepsilon