12.3 组会(基础知识，稀疏表达+采样)

12.3

稀疏表达

稀疏矩阵，（稠密$\rightarrow $稀疏）

$L_1$稀疏性，$L_2$没有稀疏性

证明详见Lasso论文（实际上产生原因来自于James-Stein统计量，意图降低参数的MSE）

用$\alpha$表达$x_i$, 字典:B(解混中的光谱库)

$min||x_i-B{\alpha }_i|{|}_2^2+\lambda ||{\alpha }_i|{|}_1$

优化过程:

• 固定B，优化$ \alpha$ （求导，前面一项不是二范数时用Lip条件）
• 固定$\alpha$，优化B（OLS或者SVD）

采样

逆函数直接采样

$f(ϵ)=cd{f}_P^{-1}(u),u\sim [0,1]$

覆盖采样

• 后面的间接采样相当于先采个别的，再二项分布决定取舍
• 适用于知道$p(x)$但是形式比较复杂的情况

要得到p(x)的样本，取$kq(x)\ge p(x)$的q(x)采样

采纳概率$\alpha (\hat{x})=\frac{p(\hat{x})}{kq(\hat{x})}$

重要采样

$E_p[f(x)]=\int f(x)p(x)=E_q[f(x)\frac{p(x)}{q(x)}]$

MCMC

• Process: ergodic stationary
• Method: 经历预烧期

Metroplis-Hasting Sample

$Q(i,j):$转移概率，一般初始假设$\sim N(i,{\sigma }^2)$，用$\alpha$作为乘数逼近真实转移概率(操作上复合一个Bernoulli分布进行取舍)

细致平稳过程$\pi (i)Q(i,j)\alpha (i,j)=\pi (j)Q(j,i)\alpha (j,i)$

平稳后$\alpha (i,j):=\pi (j)\alpha (j,i)$

实际操作上除过去，取舍概率α(i,j)=min{π(j)Q(j,i)π(i)Q(i,j),1}\alpha(i,j)=min\lbrace \frac{\pi(j)Q(j,i)}{\pi(i)Q(i,j)},1\rbraceα(i,j)=min{π(i)Q(i,j)π(j)Q(j,i)​,1}

Gibbs Sampling

更适用于高维情况

在MH取样的基础上，对高维向量，逐维更新