2018-3-19李宏毅机器学习视频学习笔记九----Classification: Probabilistic Generative Model

视频来源：

李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili

https://www.bilibili.com/video/av10590361/?p=10

步骤：

（1）数字化，将各个事物转化为数字的形式。

（2）数字作为输入

（3）模型建立

（4）输入，训练

宝可梦的实例分析

(1)宝可梦的属性可以分为十八种

如图：输入宝可梦数字化的特征属性，得到其所属的种类

为什么要预测各个宝可梦的属性？？？

应用——根据各个宝可梦的了类别（查找防御方和攻击方的图表）在以后的战斗中可以合理的选择作战的宝可梦

如何分类？？

（1）数字化

假使将分类看成是线性回归（使用回归的思路解决分类问题-----只有两种类别的时候）

若求得的结果趋于1，则将类别归为class 1 ，趋于-1将类别归为class 2

理想的方法

生成概率模型

（1）概率

假若class 1为water属性的共79个，class 2 位nomal属性的共61个

则P(C1)=79/140=0.56                       P(C2)=61/140=0.44

应用计算类别是water属性的箱子中取得它的概率

条件：

（1）假使数据是服从高斯分布的

极大似然法

极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数

有关，

取值不同，则事件A发生的概率

也不同，当我们在一次试验中事件A发生了，则认为此时的

值应是t的一切可能取值中使

达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。^[1] 

上图的Loss function是：每个个体的概率的乘积

然后是训练数据

总体的步骤：

这里的高斯分布是自己选择的，可以自己修改分布

后验概率：

下一个问题：

既然是一个直线型，只需要求解w和b、，为何还要那么费劲的使用概率？？？