82、几乎最优显式 Johnson - Lindenstrauss 族：多元分布采样与降维技术-优快云博客

本文链接：https://blog.youkuaiyun.com/seed/article/details/153600556

几乎最优显式 Johnson - Lindenstrauss 族：多元分布采样与降维技术

1. 多元分布采样相关引理

在多元分布采样中，有一个重要的引理：对于任意 $x \in K$，若对于所有 $1 \leq j \leq n$ 都有 ${x_j} < 1/4$，那么 $[x_1], \ldots, [x_n]$ 是 3Sat 实例的一个可行赋值。证明过程为，对于任意约束 $L_1 \vee L_2 \vee L_3$，有 $L_1 + L_2 + L_3 \geq 3/4$，所以至少有一个 $L_k$ 满足 $L_k \geq 1/4$。又因为 ${x_j} < 1/4$，所以 $[x_j]$ 的值将满足这个约束，由于对任何约束都成立，从而得出 $[x_1], \ldots, [x_n]$ 是可行赋值。

2. Johnson - Lindenstrauss 引理基础

Johnson - Lindenstrauss 引理（JLL）是概率学中的一个基本结果，在算法设计和分析中有诸多应用。其一种版本为：对于所有 $w \in R^d$，$|w| = 1$，$0 < \varepsilon < 1/2$，$s \geq 1$，有
$$Pr_{S \in_u {1, -1}^{s \times d}}[ | |(1/\sqrt{s}) Sw|^2 - 1 | \geq \varepsilon ] \leq C \cdot e^{-C’\varepsilon^2s}$$
当一个随机矩阵族满足上述条件时，我们称其具有 JL 属性（或为 JL 族）。在典型应用中，误差 $\delta$ 通常取为 $1 / poly(d)$，目标是将 $d$ 维空间中的一组 $poly(d)$ 个点嵌入到 $O(log d)$ 维空间中，且失真度至多为 $1 + \varepsilon$（$\varepsilon$ 为固定常数）。

线性嵌入必然需要随机性，为了形式化这一点，我们定义：对于 $\varepsilon, \delta > 0$，一个生成器 $G : {0, 1}^r \to R^{s \times d}$ 是种子长度为 $r$ 的 $(d, s, \delta, \varepsilon)$ - JL 生成器，当且仅当对于每个 $w \in R^d$，$|w| = 1$，有
$$Pr_{y \in_u {0, 1}^r}[ | |G(y)w|^2 - 1 | \geq \varepsilon ] \leq \delta$$

3. 去随机化 JLL 的动机与现状

简单的概率论证表明，存在种子长度为 $r = O(log d + log(1/\delta))$ 的 $(d, O(log(1/\delta)/\varepsilon^2), \delta, \varepsilon)$ - JL 生成器。然而，目前已知的最佳显式生成器的种子长度至少为 $\min( \Omega(log(1/\delta) log d), \Omega(log d + log^2(1/\delta)) )$。显式 JL 生成器不仅是几何和去随机化中的自然问题，还可能有助于其他几何算法和度量嵌入构造的去随机化，并且对于流算法至关重要，因为在流环境中存储整个矩阵通常成本过高。

4. 主要结果

我们的主要结果是一个显式生成器，它大约使用 $O(log d(log log d))$ 个随机比特，并输出一个满足 JL 属性的矩阵 $A \in R^{s \times d}$（对于常数 $\varepsilon$ 和 $\delta = 1 / poly(d)$）。具体来说，对于 $0 < \varepsilon, \delta < 1/2$，存在一个显式的 $(d, C log(1/\delta)/\varepsilon^2, \delta, \varepsilon)$ - JL 生成器 $G : {0, 1}^r \to R^{s \times d}$，其种子长度为
$$r = O \left( log d + log(1/\delta) \cdot log \left( \frac{log(1/\delta)}{\varepsilon} \right) \right)$$

我们给出了两种不同的构造方法：
- 通用构造 ：这是一个通用模板，用于减少标准 JL 族所需的随机性。其基于一个简单的观察，即从任何 JL 族开始，如定理 1 中的随机伯努利构造，在生成矩阵所需的独立性数量和最终嵌入维度之间存在权衡。例如，如果只希望嵌入到 $\tilde{O}(\sqrt{d})$ 维度（而不是 $O(log d)$），那么随机伯努利矩阵的元素只需 $O(1)$ -wise 独立即可。我们通过迭代地将维度从 $d$ 降低到 $\tilde{O}(\sqrt{d})$ 等，在每次迭代中使用独立性逐渐增加的随机伯努利矩阵来实现这一思想。
- 快速 JL 构造 ：固定一个向量 $w \in R^d$，$|w| = 1$ 且 $\delta = 1 / poly(d)$。首先，我们使用 Ailon 和 Chazelle 的思想，得到一个酉变换族 $R$，使得对于每个 $w \in R^d$ 和 $V \in_u R$，向量 $Vw$ 是规则的，即 $|Vw| {\infty} = O(\sqrt{(log d)/d})$ 的概率很高。我们使用有限独立性对其构造进行去随机化，得到一个旋转族 $R$，使得对于 $V \in_u R$，$|Vw| {\infty} = O(d^{-(1/2 - \alpha)})$ 的概率很高（$\alpha$ 为足够小的常数）。然后，我们观察到对于一个向量 $w \in R^d$，当 $|w|_{\infty} = O(d^{-(1/2 - \alpha)}|w|^2)$ 时，投影到一组随机的 $O(d^{2\alpha} log(1/\delta)/\varepsilon^2)$ 个坐标上可以以高概率保持 $\ell_2$ 范数，失真度至多为 $\varepsilon$。我们使用 Zuckerman 的随机高效遗忘采样器来选择这些随机坐标。最后，迭代上述方案 $O(log log d)$ 次，将 $R^d$ 嵌入到 $R^{poly(log d)}$ 中，使用 $O(log d log log d)$ 个随机比特。然后，我们应用 Clarkson 和 Woodruff 的结果，使用具有 $O(log(1/\delta))$ - wise 独立元素的随机缩放伯努利矩阵进行最终嵌入，将其嵌入到 $O(log(1/\delta)/\varepsilon^2)$ 维度。

5. 预备知识

Khintchine - Kahane 不等式 ：对于每个 $w \in R^n$，$x \in_u {1, -1}^n$，$k > 0$，有
$$E[ |\langle w, x\rangle|^k ] \leq k^{k/2} E[ |\langle w, x\rangle|^2 ]^{k/2} = k^{k/2}|w|^k$$
随机高效遗忘采样器 ：存在一个常数 $C$，使得对于每个 $\varepsilon, \delta > 0$，存在一个显式的子集集合 $S(d, \varepsilon, \delta)$，每个 $S \in S$ 的基数为 $|S| = s(\varepsilon, \delta, d) = ((log d + log(1/\delta))/\varepsilon)^C$，使得对于每个函数 $f : [d] \to [0, 1]$，有
$$Pr_{S \in_u S} \left[ \left| \frac{1}{s} \sum_{i \in S} f(i) - E_{i \in_u [d]} f(i) \right| > \varepsilon \right] \leq \delta$$
并且存在一个 NC 算法，使用 $O(log d + log(1/\delta))$ 个随机比特来生成 $S$ 中的随机元素。

我们还定义了一些有用的概念：
- (d, s, δ, ε) - JL 分布 ：一个分布 $D$ 是 $(d, s, \delta, \varepsilon)$ - JL 分布，当且仅当对于任何 $w \in S^{d - 1}$，有
$$Pr_{S \sim D} \left[ \left| |Sw|^2 - 1 \right| > \varepsilon \right] < \delta$$
- (d, s, t, δ, ε) - JL 矩属性 ：一个分布 $D$ 具有 $(d, s, t, \delta, \varepsilon)$ - JL 矩属性，当且仅当对于任何 $w \in S^{d - 1}$，有
$$E_{S \sim D} \left[ \left| |Sw|^2 - 1 \right|^t \right] < \varepsilon^t \cdot \delta$$
- 强 (d, s) - JL 分布 ：一个分布 $D$ 是强 $(d, s)$ - JL 分布，当且仅当对于所有 $\varepsilon > 0$，它是 $(d, s, exp(-\Omega(\min{\varepsilon, \varepsilon^2} \cdot s)), \varepsilon)$ - JL 分布。如果对于所有 $\varepsilon > 0$ 和整数 $\ell \geq 2$，$D$ 具有 $(d, s, \ell, O(\max{\sqrt{\ell/(\varepsilon^2s)}, \ell/(\varepsilon s)})^{\ell}, \varepsilon)$ - JL 矩属性，则称 $D$ 具有强 $(d, s)$ - JL 矩属性。

6. 强 JL 分布的性质

可以证明，具有强 JL 矩属性和是强 JL 分布是等价的。具体来说，定理表明：一个分布 $D$ 是强 $(d, s)$ - JL 分布当且仅当它具有强 $(d, s)$ - JL 矩属性。

证明过程如下：
- 首先假设 $D$ 具有强 JL 矩属性。对于任意 $w \in S^{d - 1}$，$\varepsilon > 0$，有
$$Pr_{S \sim D}[||Sw|^2 - 1| > \varepsilon] < \varepsilon^{-\ell} \cdot E[||Sw|^2 - 1|^{\ell}] < O(\max{\sqrt{\ell/(\varepsilon^2s)}, \ell/(\varepsilon s)})^{\ell}$$
通过设置 $\ell = O(\min{\varepsilon, \varepsilon^2} \cdot s)$ 可以得到结论。
- 现在假设 $D$ 是强 JL 分布。设 $Z = ||Sw|^2 - 1|$，由于 $D$ 是强 JL 分布，$Z$ 的右尾是一个非负随机变量 $Y$ 的绝对值的大 $O$，其中 $Y$ 是均值为 0 且方差为 $O(1/s)$ 的高斯分布和参数为 $s$ 的指数分布的和。然后应用标准事实：设 $Y, Z$ 是非负随机变量，使得对于任何 $t \geq 0$，有 $Pr[Z \geq t] = O(Pr[Y \geq t])$，那么对于 $\ell \geq 1$，如果 $E[Y^{\ell}] < \infty$，则有 $E[Z^{\ell}] = O(E[Y^{\ell}])$。

这个定理还意味着任何强 JL 分布都可以使用 $2 log(1/\delta)$ - wise 独立性进行去随机化，这给出了 Clarkson 和 Woodruff 的去随机化 JL 结果的另一种证明。

7. 通用 JL 去随机化模板

定理 6 和相关备注为我们的构造提供了关键见解。如果我们使用 $2 log(1/\delta)$ - wise 独立的伯努利元素，对于 $s = \Theta(\varepsilon^{-2} log(1/\delta))$，种子长度将为 $O(\ell log d) = O(log(1/\delta) log d)$。然而，在相关等式中，我们可以在所需的独立性数量和最终嵌入维度之间进行权衡，而不改变误差概率。具体来说，如果我们嵌入到 $s = \Omega(\varepsilon^{-2}\delta^{-1})$ 维度，则只需使用 4 - wise 独立性。一般来说，如果 $s = C\varepsilon^{-2}q$（$log_2(1/\delta) \leq q \leq 1/\delta$），则设置 $\ell = O(log_q(1/\delta))$ 可以使等式右边至多为 $\delta$。

我们的主要构造如下：

// 输出 S 按照 (d, s, δ, ε) - JL 分布
1. 定义 m = log((log 1/δ)/(2 log log 1/δ))，ε′ = ε/(e(m + 2))，δ′ = δ/(m + 2)。
2. 定义 si = C(ε′)−2δ′−1/2i，ℓi = Θ(2i) 为偶数（i ≥ 0），定义 s−1 = d。
3. 对于 i = 0, ..., m，让 Si 是从具有 (si−1, si, ℓi, δ′, ε′) - JL 矩属性的分布中抽取的随机矩阵。
4. 让 Sfinal 是从 (sm, O(ε−2 log(1/δ)), δ′, ε′) - JL 分布中抽取的。
5. S ← Sfinal · Sm · ... · S0。

定理表明，上述输出矩阵 $S$ 按照 $(d, s, \delta, \varepsilon)$ - JL 分布（$s = O(log(1/\delta)/\varepsilon^2)$）。证明过程为，对于一个固定向量 $w$，设 $w_i = S_i \cdots S_0w$，$w_{-1}$ 表示 $w$。通过我们对 $s_i$ 的选择和对 $\ell_i$ 阶矩的 Markov 界，对于 $0 \leq i \leq m$，有
$$Pr \left[ \left| |w_i|^2 - |w_{i - 1}|^2 \right| > \varepsilon’|w_{i - 1}|^2 \right] < \varepsilon’^{-\ell_i} \cdot E[(|w_i|^2/|w_{i - 1}|^2 - 1)^{\ell_i}] < \delta’$$
并且 $Pr \left[ \left| |S_{final}w_m|^2 - |w_m|^2 \right| > \varepsilon’|w_m|^2 \right] < \delta’$。通过并集界，$|S_{final}w_m|^2 \leq (1 + \varepsilon’)^{m + 2} \leq e^{(m + 2)\varepsilon’} \leq 1 + \varepsilon$ 的概率为 $1 - (m + 2)\delta’ = 1 - \delta$。

作为推论，我们得到了我们的主要定理。

以下是通用构造的流程图：

graph TD;
    A[开始] --> B[定义 m, ε′, δ′];
    B --> C[定义 si, ℓi, s−1];
    C --> D[抽取 Si 矩阵];
    D --> E[抽取 Sfinal 矩阵];
    E --> F[S = Sfinal · Sm · ... · S0];
    F --> G[结束];

8. 通过采样器的显式 JL 族

我们现在给出另一种显式 JL 族的构造。这个构造与上一节的精神相似，并且具有一个额外的性质，即生成器输出的矩阵的矩阵 - 向量乘积可以在大约 $O(d log d + s^3)$ 时间内计算。

首先，我们给出一个旋转族来正则化 $R^d$ 中的向量。对于一个向量 $x \in R^d$，设 $D(x) \in R^{d \times d}$ 是对角矩阵，其中 $D(x) {ii} = x_i$。引理表明，设 $x \in {1, -1}^d$ 是从 $k$ - wise 独立分布中抽取的，那么对于每个 $w \in R^d$，$|w| = 1$，$0 < \alpha < 1/2$，有
$$Pr[ |HD(x)w| {\infty} > n^{-(1/2 - \alpha)} ] \leq \frac{k^{k/2}}{n^{\alpha k - 1}}$$

证明过程为，设 $v = HD(x)w$，对于 $i \in [d]$，$v_i = \sum_{j} H_{ij}x_jw_j$ 且 $E[v_i^2] = \sum_{j} H_{ij}^2w_j^2 = 1/d$。通过 Markov 不等式和 Khintchine - Kahane 不等式，有
$$Pr[ |v_i| > d^{-(1/2 - \alpha)} ] \leq E[v_i^k] \cdot d^{(1/2 - \alpha)k} \leq k^{k/2}d^{(1/2 - \alpha)k}/d^{k/2} = k^{k/2}d^{-\alpha k}$$
通过对 $i \in [d]$ 进行并集界得到结论。

然后，我们给出一个使用遗忘采样器将 $d$ 维空间降低到 $\tilde{O}(d^{1/2}) \cdot poly(s_{opt})$ 维度的变换族。对于 $S \subseteq [d]$，设 $P_S : R^d \to R^{|S|}$ 是投影到 $S$ 中的坐标上的投影。引理表明，设 $S \equiv S(d, d^{1/2}C, \varepsilon, \delta)$，$s = O(d^{1/2} log^C(1/\delta)/\varepsilon^C)$ 如推论 1 所示，并且设 $D$ 是 ${1, -1}^d$ 上的 $k$ - wise 独立分布。对于 $S \in_u S$，$x \leftarrow D$，定义随机线性变换 $A_{S, x} : R^d \to R^s$ 为
$$A_{S, x} = \sqrt{\frac{d}{s}} \cdot P_S \cdot HD(x)$$
那么对于每个 $w \in R^d$，$|w| = 1$，有
$$Pr[ ||A_{S, x}(w)|^2 - 1| \geq \varepsilon ] \leq \delta + \frac{k^{k/2}}{d^{k/4C - 1}}$$

证明过程为，设 $v = HD(x)w$，则 $|v| = 1$，通过引理 2（对于 $\alpha = 1/4C$），有 $Pr[ |v| {\infty} > d^{-(1/2 - 1/4C)} ] \leq \frac{k^{k/2}}{d^{k/4C - 1}}$。现在条件于事件 $|v| {\infty} \leq d^{-(1/2 - 1/4C)}$，定义 $f : [d] \to R$ 为 $f(i) = d \cdot v_i^2 \leq d^{1/2}C = B$。那么
$$|A_{S, x}(w)|^2 = (\frac{d}{s})|P_S(v)|^2 = \frac{1}{s} \sum_{i \in S} dv_i^2 = \frac{1}{s} \sum_{i \in S} f(i)$$
并且 $E_{i \in_u [d]} f(i) = (1/d) \sum_{i} d \cdot v_i^2 = 1$。因此，通过推论 1，有
$$Pr[ | |A_{S, x}(w)|^2 - 1 | \geq \varepsilon ] = Pr_{S \in_u S} \left[ \left| \frac{1}{s} \sum_{i \in S} f(i) - E_{i \in_u [d]} f(i) \right| \geq \varepsilon \right] \leq \delta$$

我们递归地应用上述引理。固定 $\varepsilon, \delta > 0$，设 $A(d, k) : R^d \to R^{s(d)}$ 是变换族 ${A_{S, x} : S \in_u S, x \leftarrow D}$，其中 $s(d) = s(d, d^{1/2}C, \varepsilon, \delta) = c_1d^{1/2}(log d/\varepsilon)^C$。我们可以使用 $r(d, k) = k log d + O(log d + log(1/\delta)) = O(k log d)$ 个随机比特从 $A(d, k)$ 中采样。

设 $d_0 = d$，$d_{i + 1} = s(d_i)$，$k_0 = 8C(c + 1)$（$\delta = 1/d^c$），$k_{i + 1} = 2^i k_0$。参数 $d_i, k_i$ 的选择使得 $1/d_i^{k_i}$ 总是多项式小的。固定 $t > 0$ 使得对于 $i < t$，有 $k_i < d_i^{1/4C}$。

引理表明，对于独立选择的 $A_0 \in_u A(d_0, k_0)$，$A_1 \in_u A(d_1, k_1)$，$\cdots$，$A_{t - 1} \in_u A(d_{t - 1}, k_{t - 1})$，以及 $w \in R^d$，$|w| = 1$，有
$$Pr[ (1 - \varepsilon)^t \leq |A_{t - 1} \cdots A_1A_0(w)|^2 \leq (1 + \varepsilon)^t ] \geq 1 - t\delta - \sum_{i = 0}^{t - 1} \frac{k_i^{k_i/2}}{d_i^{k_i/4C - 1}}$$

证明过程是通过对 $i = 1, \cdots, t$ 进行归纳。对于 $i = 1$，该结论与引理 3 相同。假设对于 $i - 1$ 该陈述为真，设 $v = A_{i - 1} \cdots A_0(w)$，则 $v \in R^{d_i}$，通过对 $A(d_i, k_i)$ 和 $v$ 应用引理 3 可以得到该引理。

以下是通过采样器构造的步骤列表：
1. 正则化向量：使用旋转族 $R$ 对向量进行正则化，使得 $|Vw|_{\infty}$ 满足一定条件。
2. 选择随机坐标：使用遗忘采样器选择一组随机坐标进行投影。
3. 递归降维：迭代应用上述步骤进行降维。
4. 最终嵌入：使用具有 $2 log(1/\delta)$ - wise 独立元素的伯努利矩阵进行最终嵌入。

通过一系列的计算，我们可以得到种子长度和误差的界。最终，我们得到一个快速去随机化的 JL 族：存在一个 $(d, O(log(1/\delta)/\varepsilon^2), \delta, \varepsilon)$ - JL 生成器，其种子长度为 $r = O(log d + log(1/\delta)(log(log(1/\delta)/\varepsilon)))$，并且对于每个向量 $w \in R^d$，$y \in {0, 1}^r$，$G(y)w$ 可以在 $O(d log d + poly(log(1/\delta)/\varepsilon))$ 时间内计算。

几乎最优显式 Johnson - Lindenstrauss 族：多元分布采样与降维技术

9. 计算复杂度分析

在通过采样器构造显式 JL 族的过程中，我们需要对计算复杂度进行详细分析，以确保该构造在实际应用中的可行性。

种子长度分析 ：
我们可以通过一系列的计算来确定种子长度的界。观察到 $d^{(1/2)^i} \leq d_i = d^{(1/2)^i} \cdot \left( \frac{c_1 log^C(d)}{\varepsilon^C} \right)^{1 + (1/2) + \cdots + (1/2)^{i - 1}} \leq d^{(1/2)^i} \left( \frac{c_1 log^C d}{\varepsilon^C} \right)^2$。
设 $t = O(log log d)$ 使得 $2^t = \frac{log d}{4C log log d}$，则 $d_t \leq log^{4C} d \cdot \left( \frac{c_1 log^C d}{\varepsilon^C} \right)^2 = O(\frac{log^{6C} d}{\varepsilon^{2C}})$，并且对于 $i < t$，有 $k_i < k_t = 8C(c + 1)2^t = \frac{2(c + 1) log d}{log log d} < log d = d^{(1/2)^t/4C} < d_i^{1/4C}$。
种子长度主要由各次迭代所需的随机比特数决定。每次迭代从 $A(d_i, k_i)$ 中采样需要 $r(d_i, k_i) = O(k_i log d_i)$ 个随机比特，经过 $t = O(log log d)$ 次迭代后，总的种子长度为 $\sum_{i = 0}^{t - 1} O(k_i log d_i) = O(log d log log d + (log d) log(1/\varepsilon))$。
误差分析 ：
根据引理 4，对于独立选择的 $A_0 \in_u A(d_0, k_0)$，$A_1 \in_u A(d_1, k_1)$，$\cdots$，$A_{t - 1} \in_u A(d_{t - 1}, k_{t - 1})$，以及 $w \in R^d$，$|w| = 1$，误差可以表示为 $Pr[ (1 - \varepsilon)^t \leq |A_{t - 1} \cdots A_1A_0(w)|^2 \leq (1 + \varepsilon)^t ] \geq 1 - t\delta - \sum_{i = 0}^{t - 1} \frac{k_i^{k_i/2}}{d_i^{k_i/4C - 1}}$。
通过一系列计算，误差可以进一步被界定为 $t\delta + \sum_{i = 0}^{t - 1} \frac{k_i^{k_i/2}}{d_i^{k_i/4C - 1}} \leq t\delta + d \sum_{i = 0}^{t - 1} d_i^{-k_i/8C} \leq t\delta + d \sum_{i = 0}^{t - 1} (d^{1/2^i})^{-8C(c + 1) \cdot 2^i/8C} \leq t\delta + t/d^c \leq 2t\delta$（因为 $\delta > 1/d^c$）。
矩阵 - 向量乘积计算时间分析 ：
对于 $i < t$，矩阵 $A_i$ 具有 $P_S \cdot H_{d_i}D(x)$ 的形式（其中 $x \in {1, -1}^{d_i}$ 是 $k$ - wise 独立的）。对于任何向量 $w_i \in R^{d_i}$，$A_i w_i$ 可以使用离散傅里叶变换在 $O(d_i log d_i)$ 时间内计算。
因此，对于任何 $w = w_0 \in R^{n_0}$，乘积 $A_{t - 1} \cdots A_1A_0 w_0$ 可以在时间 $\sum_{i = 0}^{t - 1} O(d_i log d_i) \leq O(d log d) + log d \cdot \sum_{i = 1}^{t - 1} O \left( d^{1/2^i} \left( \frac{log(1/\delta)}{\varepsilon^2} \right)^2 \right) = O(d log d + \sqrt{d} log d log^2(1/\delta)/\varepsilon^4)$ 内计算。
这个时间复杂度分析表明，通过采样器构造的显式 JL 族在计算效率上具有一定的优势，尤其是在处理高维数据时。

10. 优化策略与实际应用考虑

在实际应用中，我们可以根据具体的需求和场景对上述构造进行优化，以提高其性能和适用性。

参数优化 ：
在通用构造和通过采样器构造的过程中，有多个参数需要进行合理选择，如 $\varepsilon$、$\delta$、$k$ 等。例如，在通用构造中，我们可以根据目标误差 $\delta$ 和失真度 $\varepsilon$ 来调整嵌入维度 $s$ 和独立性阶数 $\ell$，以达到最小化种子长度的目的。在通过采样器构造中，我们可以根据数据维度 $d$ 和所需的精度来选择合适的 $k$ 和 $t$ 值。
并行计算 ：
由于在构造过程中涉及到多次矩阵 - 向量乘积和随机采样操作，我们可以考虑使用并行计算来加速计算过程。例如，在递归应用引理 3 进行降维时，不同迭代步骤的矩阵 - 向量乘积可以并行执行，从而显著减少总的计算时间。
实际应用场景 ：
显式 JL 族在许多领域都有广泛的应用，如数据挖掘、机器学习、计算机视觉等。在处理高维数据时，通过将数据嵌入到低维空间中，可以减少计算复杂度和存储需求，同时保持数据的重要特征。例如，在图像识别中，我们可以使用显式 JL 族将高维的图像特征向量嵌入到低维空间中，然后进行分类或聚类操作，从而提高算法的效率。

11. 总结与展望

本文主要介绍了几乎最优显式 Johnson - Lindenstrauss 族的构造方法，包括通用构造和通过采样器的构造。通过在所需的独立性数量和最终嵌入维度之间进行权衡，我们成功地减少了随机比特的使用，得到了具有几乎最优随机比特使用的显式生成器。

通用构造提供了一个通用的模板，适用于大多数标准 JL 族的去随机化。通过迭代地降低维度并增加独立性阶数，我们可以在保证误差和失真度的前提下，减少种子长度。

通过采样器的构造则具有计算效率高的优点，生成器输出的矩阵的矩阵 - 向量乘积可以在较短的时间内计算。通过正则化向量、选择随机坐标和递归降维等步骤，我们实现了将高维数据高效地嵌入到低维空间中。

未来的研究方向可以包括进一步优化构造方法，以减少种子长度和计算复杂度。例如，可以探索新的随机采样技术或矩阵构造方法，以提高构造的效率和性能。此外，还可以研究显式 JL 族在更多实际应用场景中的性能和适用性，为解决实际问题提供更有效的工具。

以下是一个总结表格，对比了两种构造方法的特点：
| 构造方法 | 种子长度 | 计算复杂度 | 适用场景 |
| — | — | — | — |
| 通用构造 | $O(log d + log(1/\delta) \cdot log \left( \frac{log(1/\delta)}{\varepsilon} \right))$ | 依赖于迭代次数和矩阵乘法 | 适用于大多数标准 JL 族去随机化 |
| 通过采样器构造 | $O(log d + log(1/\delta)(log(log(1/\delta)/\varepsilon)))$ | $O(d log d + poly(log(1/\delta)/\varepsilon))$ | 对计算效率要求较高的场景 |

以下是整个构造过程的流程图：

graph TD;
    A[开始] --> B{选择构造方法};
    B -->|通用构造| C[初始化参数 m, ε′, δ′等];
    C --> D[迭代抽取矩阵 Si 和 Sfinal];
    D --> E[S = Sfinal · Sm · ... · S0];
    E --> F[输出矩阵 S];
    B -->|通过采样器构造| G[正则化向量];
    G --> H[选择随机坐标];
    H --> I[递归降维];
    I --> J[最终嵌入];
    J --> F;
    F --> K[结束];

综上所述，几乎最优显式 Johnson - Lindenstrauss 族的研究为处理高维数据提供了一种有效的方法，具有重要的理论和实际意义。通过不断的优化和改进，我们相信这些构造方法将在更多领域得到广泛的应用。