稀疏贝叶斯学习

稀疏贝叶斯学习（SBL）是贝叶斯统计优化算法中十分重要的一类，它是在贝叶斯理论的基础上发展而来的。现在贝叶斯学习技术已应用到信息的智能检索，数据挖掘等领域。SBL 算法首先将未知的待估计参数向量看作符合某种先验分布的随机向量，并根据以往对所求参数的知识，确定先验分布；然后根据样本信息，运用贝叶斯规则，计算后验概率分布；最后综合先验信息和后验概率，做出对未知参数的推断。研究人员通过对先验认知与试验样本的深入分析和建模，提出了不同模型的学习算法。其中基于相关向量机（RVM）的监督学习是最热门的方向之一。

 

贝叶斯公式到贝叶斯参数学习

下面给出公式：

p ( θ ∣ x ) = p ( x ∣ θ ) p ( θ ) p ( x ) = p ( x ∣ θ ) p ( θ ) ∫ p ( x ∣ θ ) p ( θ ) d θ p(\theta \vert x) = \frac{p(x\vert \theta) p(\theta)}{p(x)} =\frac{p(x\vert \theta) p(\theta)}{\int p(x\vert \theta) p(\theta) \text{d}\theta}

p(θ∣x)= 

p(x)

p(x∣θ)p(θ)

​ 

 = 

∫p(x∣θ)p(θ)dθ

p(x∣θ)p(θ)

​ 

 

 

所表达的思想是通过观察样本信息，将先验概率密度通过贝叶斯规则转化为后验概率密度。用 x xx 表示随机观测向量，θ \thetaθ 表示未知参数，p ( θ , x ) = p ( x ∣ θ ) p ( θ ) p(\theta,x)=p(x\vert \theta) p(\theta)