贝叶斯决策的相关知识

1. 相关的概念：

**生成模型：**在某些隐含参数的条件下，能够随机生成观测数据的模型。用机器学习中的说法就是，有一大堆数据，没有具体的label，通过生成模型，把每个数据预测出是某个label的概率为多少。

**判别模型：**对一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。通过对数据特征的读取，识别，训练，最终输出一个预测值y。

**两者比较：**生成模型是所有变量的全概率模型，而判别模型是在给定观测变量值前提下目标变量条件概率模型。因此生成模型能够用于模拟（即生成）模型中任意变量的分布情况，而判别模型只能根据观测变量得到目标变量的采样。判别模型不对观测变量的分布建模，因此它不能够表达观测变量与目标变量之间更复杂的关系。因此，生成模型更适用于无监督的任务，如分类和聚类。

2.先验概率、条件概率

条件概率: 就是事件A在事件B发生的条件下发生的概率。条件概率表示为P（A|B）
**先验概率:**在贝叶斯统计中，某一不确定量 p 的先验概率分布是在考虑"观测数据"前，能表达 p 不确定性的概率分布。它旨在描述这个不确定量的不确定程度。
后验概率: 在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。

3. 贝叶斯公式

对生成模型来说，必然考虑：

其中P©是“先验概率”；P(x|c)是样本x对于类标记c的类条件概率，或称为“似然”；P(x)是用于归一化的“证据”因子。
上式即为贝叶斯公式。

可以将其看做

对类条件概率P(x|c)来说，直接根据样本出现的频率来估计将会遇到严重的困难，所以引入了极大似然估计。

4.最大似然估计

最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。
举个通俗的例子：假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率如下：
x1为第一次采样，x2为第二次采样，f为模型, theta为模型参数
其中 𝜃 是未知的，因此，我们定义似然L为：
L为似然的符号
两边取ln，取ln是为了将右边的乘号变为加号，方便求导。
两边取ln的结果，左边的通常称之为对数似然。
这是平均对数似然
最大似然估计的过程，就是找一个合适的theta，使得平均对数似然的值为最大。因此，可以得到以下公式：
这里讨论的是2次采样的情况，当然也可以拓展到多次采样的情况，最大似然估计的公式（n次采样）
我们定义M为模型（也就是之前公式中的f），表示抽到白球的概率为theta，而抽到红球的概率为(1-theta)，因此10次抽取抽到白球7次的概率可以表示为：
10次抽取抽到白球7次的概率

将其描述为平均似然可得：
10次抽取抽到白球7次的平均对数似然，抽球的情况比较简单，可以直接用平均似然来求解

那么最大似然就是找到一个合适的theta，获得最大的平均似然。因此我们可以对平均似然的公式对theta求导，并另导数为0。

贝叶斯分类器的训练过程就是参数估计。总结最大似然法估计参数的过程，一般分为以下四个步骤：

1.写出似然函数；
2.对似然函数取对数，并整理；
3.求导数，令偏导数为0，得到似然方程组；
4.解似然方程组，得到所有参数即为所求。