先验概率/后验概率初学者容易混淆。
什么是先验?什么是后验?
先验概率通俗讲,是根据历史经验或者推断,在时间发生之前的推断。比如,抛硬币理论上正面概率是0.5,比如在疾病检测呈阳性的情况下,要确定患病的概率,此时已知全体人群的患病比例、检测的精度就是先验概率。先验就是“未卜先知”。
A priori probability is a probability that is derived purely by deductive reasoning.
In Bayesian inference a priori denotes general knowledge about the data distribution before making an inference, while a posteriori denotes knowledge that incorporates the results of making an inference. .
先验概率是纯粹有演绎推理获得概率。在贝叶斯定理中,先验表示在进行推理之前关于数据分布的一般知识,而后验概率表示进行推理的结果的知识。(维基百科)
-
先验是数据分布的一般知识,也可以是假设的数据分布规律,先验可以是合理的假设,对后验概率起一定程度(与强度相关)修正作用。
-
对于贝叶斯定律,先验概率在等式右边,是“因”,后验概率出现在等式左边是“果”。
实际使用及对应的含义理解
- 正则化应用
从先验角度理解L1正则化权重稀疏。回归采用采用L2正则化,即假设了权重分布具有高斯分布特征,采用L1分布假