46、可扩展的香农熵估计器解读

可扩展的香农熵估计器解读

1. 预备知识

在开始深入研究香农熵估计之前，我们需要了解一些基本的概念和符号。
- 变量表示 ：我们使用小写字母（可能带有下标）来表示命题变量，大写字母表示变量的子集。例如，公式 ∃Y ϕ(X, Y ) 中，X = {x1, · · ·, xn} 和 Y = {y1, · · ·, ym}，其中 Y 是存在量化的变量集合。为了符号的简洁性，当上下文明确时，我们直接用 ϕ 表示 ϕ(X, Y )。
- 变量集合 ：我们用 Vars(ϕ) 表示出现在公式 ϕ(X, Y ) 中的变量集合。一个文字（literal）是一个布尔变量或者它的否定。
- 满足赋值与解 ：公式 ϕ 的一个满足赋值或解是一个映射 τ : Vars(ϕ) → {0, 1}，使得公式在该赋值下的值为真。对于 V ⊆ Vars(ϕ)，τ↓V 表示在满足赋值 τ 下 V 中变量的真值。我们用 sol(ϕ) 表示公式 ϕ 的所有解的集合，对于 S ⊆ Vars(ϕ)，sol(ϕ)↓S 表示 ϕ 的解在 S 上的投影集合。
- 模型计数问题 ：模型计数问题是计算给定公式 ϕ 的解的数量 |sol(ϕ)|。投影模型计数则是针对给定的投影集合 S ⊆ Vars(ϕ)，计算 sol(ϕ)↓S 的元素数量。均匀采样器会输出一个解 y ∈ sol(ϕ)，使得输出 y 的概率 Pr[y 被输出] = 1 / |sol(ϕ)|。
- 电路公式 ：如果对于所有的赋值 τ1, τ2 ∈ sol(ϕ)，有 τ1↓X =