28、信息泄露、差分隐私与信道分析

信息泄露、差分隐私与信道分析

1. 熵的相关概念

在信息论中，存在多种满足特定公理的函数，其中包括Rényi熵族。Shannon熵可以通过取$H_{\alpha}$在$\alpha$趋近于1时的极限得到。利用洛必达法则，我们可以轻松证明：
$H_1(X) \stackrel{\text{def}}{=} \lim_{\alpha \to 1} H_{\alpha}(X) = - \sum_{x \in X} p(x) \log_2 p(x)$

我们尤其关注$H_{\alpha}$在$\alpha$趋近于无穷大时的极限，这被称为最小熵（min-entropy），可以证明：
$H_{\infty}(X) \stackrel{\text{def}}{=} \lim_{\alpha \to \infty} H_{\alpha}(X) = - \log_2 \max_{x \in X} p(x)$

对于条件熵的$\alpha$推广，Rényi并未给出定义，并且目前也没有统一的标准。不同的研究者提出了不同的定义，例如Cachin提出的：
$H_{\alpha}^{\text{Cachin}}(X | Y) = \sum_{y \in Y} p(y) H_{\alpha}(X | Y = y)$
当$\alpha \to \infty$时，它变为：
$H_{\infty}^{\text{Cachin}}(X | Y) = - \sum_{y \in Y} p(y) \log_2 \max_{x \in X} p(x | y)$

另一种关于$H_{\infty}(\cdot | \cdot)$的定义由[11,10]提出，并由S