贝叶斯算法

贝叶斯要解决的问题

　　正向概率：假设袋子里面有N个白球，M个黑球，进去摸一把，摸出黑球的概率是多大

　　逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。

为什么使用贝叶斯

　　现实世界本身就是不确定的，人类的观察能力是有局限性的

　　我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测

举个栗子

　　男生：60%，女生：40%

　　男生总穿长裤；女生则一半穿长裤，一半穿裙子

　　正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大

　　逆向概率：迎面走来一个穿长裤的学生，只能看得见他（她）穿的是否是长裤，而无法确定他（她）的性别，推断他（她）是女生的概率是多大？

　　假设学校里面人的总数是U个

　　穿长裤的（男生）：U * P（boy） * P（pants|boy）

　　　　P（boy）是男生的概率=60%

　　　　P（pants|boy）是条件概率，即在boy这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤

　　穿长裤的（女生）：U * P（girl） * P(pants|girl)

　　求解：穿长裤的人里面有多少女生

　　　　穿长裤总数：U * P（boy） * P（pants|boy） + U * P（girl） * P（pants|girl）

　　　　P（girl|pants）= U * P（girl）* P（pants|girl）/ 穿长裤总数

  　　　

　　与总人数有关吗？

　　容易发现这里校园内人的总数是无关的，可以消去

　　

　　化简

　　

　　分母其实就是P（pants）

　　分子其实就是P（pants，girl）

贝叶斯公式

　　

模型比较理论

　　最大似然：最符合观测数据的（即P（D | h）最大的）最有优势

　　奥卡姆剃刀（模型比较理论）：P（h）较大的模型有较大的优势

　　举个栗子：

　　　　1、掷一个硬币，观察到的是“正”，根据最大似然估计的精神，我们应该猜测这枚硬币掷出“正”的概率是1，因为这个才是能最大化P（D | h）的那个猜测

　　　　2、如果平面上有N个点，近似构成一条直线，但绝不精确地位于一条直线上。这时我们既可以用直线来拟合（模型1），也可以用二阶多项式（模型2）拟合，也可以用三阶多项式（模型3），特别地，用N-1阶　　　   多项式便能够完美的通过N个数据点。那么这些可能的模型之中到底哪个最靠谱？

　　　　奥卡姆剃刀：越是高阶的多项式越是不常见

　　

转载于:https://www.cnblogs.com/hellojack/p/7772958.html