[学习笔记]机器学习——算法及模型（五）：贝叶斯算法

传统算法（五）

贝叶斯算法

一、贝叶斯定理

简介

贝叶斯定理是18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出得重要概率论理论；贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章；

• 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大？
• 逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测；

这问题便是贝叶斯提出的“逆概”的问题。

公式推导

举个例子
男生总是穿长裤，女生则一半穿长裤一半穿裙子
正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？
逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？

假设学校里面人的总数是U 人；

• 穿长裤的（男生）则为：$U\ast P(Boy)\ast P(Pants|Boy)$
  P(Boy) 是男生的概率= 60%
  P(Pants|Boy) 是条件概率，即在Boy 这个条件下穿长裤的概率是多大，这里是100% ，因为所有男生都穿长裤;
• 穿长裤的（女生）同理为：$U\ast P(Girl)\ast P(Pants|Girl)$

这里要求的是：穿长裤里面有多少个女生
首先，可以算出穿长裤的总人数：
$U\ast P(Boy)\ast P(Pants|Boy)+U\ast P(Girl)\ast P(Pants|Girl)$
那么我们要求的为：
$P(Girl|Pants)=U\ast P(Girl)\ast P(Pants|Girl)/穿长裤总数$

$⟹U\ast P(Boy)\ast P(Pants|Boy)+U\ast P(Gir$