Johnson-Lindenstrauss引理概述

更多请参考这篇文章，对$\text{JL}$很全面的一个综述

$\text{1. Johnson-Lindenstrauss}$引理

$\text{1.1. }$引理内容

1️⃣原始$\text{JL}$引理：存在一种方法，能将高维数据急剧压缩，并且各点间距离信息几乎不变

1. 前提：对维度 d ∈ { 1 , 2 , . . . } d\text{∈}\{1,2,...\} d∈{ 1,2,...}，小常数$\epsilon \text{∈}\left(0,1\right)$，有限点集$X\text{⊆}{\mathbb{R}}^d$，投影后维度$m\text{=}\Theta \left(\frac{\log \left|X\right|}{{\epsilon }^2}\right)$
2. 结论：存在函数$\mathbf{\psi }\text{:}X\text{→}{\mathbb{R}}^m$，使得$\forall u,v\text{∈}X$有$\Vert \mathbf{\psi }(u)–\mathbf{\psi }(v){\Vert }_{{\ell }_2}^2\text{∈}(1\text{±}\epsilon )\Vert u–v{\Vert }_{{\ell }_2}^2$

2️⃣分布型$\text{JL}$引理：存在分布$\Psi$，从中抽取的线性投影$\mathbf{\psi }$能将高维数据急剧压缩，且各点间距离大概率几乎不变

1. 前提$1$：对维度 d ∈ { 1 , 2 , . . . } d\text{∈}\{1,2,...\} d∈{ 1,2,...}，小常数$\epsilon ,\delta \text{∈}\left(0,1\right)$，投影后维度$m\text{=}\Theta \left(\frac{1}{{\epsilon }^2}\log \left(\frac{1}{\delta }\right)\right)$
2. 前提$2$：可从随机分布$\Psi$($\text{JL}$分布)中采样随机线性映射$\mathbf{\psi }\text{:}{\mathbb{R}}^d\text{→}{\mathbb{R}}^m$($\text{JL}$变换)，即$\mathbf{\psi }(x)\text{=}\text{A}x$其中$\text{A}\text{∈}{\mathbb{R}}^{m\text{×}d}$
3. 结论：分为对于单向量$u$的界，以及双向量$u,v$的联合界
   • 单向量：对$\forall u\text{∈}{\mathbb{R}}^d$，有$\text{Pr}\left[\Vert \mathbf{\psi }(u){\Vert }_{{\ell }_2}^2\text{∈}(1\text{±}\epsilon )\Vert u{\Vert }_{{\ell }_2}^2\right]\text{≥}1–\delta$
   • 双向量：对$\forall u,v\text{∈}X\text{⊆}{\mathbb{R}}^d$，另设$\delta \text{=}\frac{1}{|X{|}^2}$则有$\text{Pr}\left[\Vert \mathbf{\psi }(u)–\mathbf{\psi }(v){\Vert }_{{\ell }_2}^2\text{∈}(1\text{±}\epsilon )\Vert u–v{\Vert }_{{\ell }_2}^2\right]$