生成算法

思路：

• 之前的线性回归都是根据特征值服从的分布猜想结果，生成算法是根据结果猜想特征值的分布。

• 贝叶斯公式：

  

GDA高斯分类器：

模型：

1. 

2. 写成表达式的形式：

   

3. 分离效果图：

   

推理：

1. 原理：根据上述表达式的形式和最大似然原理，我们要求出这两个高斯分布，使给出的case最大限度的符合。

2. 写成表达式的形式：

   

   原因：为什么要求$p(y|x)$的最大似然：

   • 因为我们是要求给出$X$后预测$Y$，因此我们要求给出x下y的最可能出现的情况下的$\theta$。

   • 根据贝叶斯公式：

     

GDA and Logistic 回归：

• 如果$p(x|y;\theta)$ 服从高斯分布，可以推出：$p(y=1|x;\theta)$服从Logistic 回归。即：

  

• 反之不一定成立。

朴素贝叶斯分类：

应用：

• 主要用于文本分类

模型1：

1. 只考虑单词在词典中出不出现，没有考虑一个单词出现的频率。

2. 将文本分词处理，得到特征值向量（整个词汇表）：
   0表示该次在这个case中没出现，1表示出现

   

3. 那么该case出现的概率：

   

4. 模型中的参数：

   • 对于第$i$个特征值，有它在$y = 1$时出现的概率，$y = 0$时出现的概率
   • 还有$y = 1$ 出现的概率

   所以：

   • $\phi_{i|y=1} = p(x_i=1|y=1)$
   • $\phi_{i|y=0} = p(x_i=1|y=0)$
   • $\phi_y = p(y=1)$

5. joint(联合)最大似然估计：

   

   解：

   

   就是样本出现的频率。如 $\phi_y = p(y=1)$ ，就是$y=1$占样本空间的比例

6. 根据参数我们可以写出预测：

   

Laplace smoothing

1. 当一个单词从未出现的时候，进行预测的时候参数可能为0

   即：

   

2. 解决方法：

   

   

模型2

1. 考虑单词出现的频率

2. 条件：

   • 词典V，长度记为：$|V|$
   • 样本$X$ = {$x_1, x_2, ..... x_{n_i}$} ， 每个样本的长度可以不一样，为$n_i$。
     其中：$x_i$ = $k$, 表示该特征值为字典中的第$k$个单词
   • 结果$y$任然为0,1

3. 联合最大似然函数：

   • 表示：
     

   • 求解：

     

     分子含义：第$k$个单词在$y=1$中出现的次数
     分母含义：$y=1$的样本的总长度（每个样本的长度可以不一样）

   • 应用Laplace smoothing：