从线性判别分析（LDA）来理解线性分类（linear classifiers）和概率模型（probabilistic modeling）

首先什么是线性分类

我们最常见的线性分类器逻辑回归（logistics regression）和支持向量机（support vector machine），逻辑回归的思想就是通过数据集找到一条决策边界（decision boundary）能将数据分割开来，他的损失函数就是对数损失，而他的格式又对应于相应的极大似然估计的推断，和概率已经不自觉的挂上钩了。而支持向量机本质上也是找到一条决策边界来分离数据，只不过他的决策边界用概率论里面的话来讲就是，具有一定的置信度来保证这是一条最好的分界线。

概率模型

假设他们是基于同方差 Σ的概率模型，服从高斯分布，y是数据类别，x有纬度，u代表类别为y(x)的x的概率密度。所以根据贝叶斯公式（如忘记可以自行百度，很简单）

P(Y =1|X =x)是类别为1的概率，A式就是前面公式通过贝叶斯公式推导得来的，由A式推导B式，是通过分母的全概率公式（如忘记自行百度）。B式得到C式，是通过分子归一化得到的。

有没有发现C式很眼熟，对！他和我们学过的逻辑回归的概率公式很相似

结合C式我们将得到下面这个公式

而且因为μX|Y=y 概率密度共方差Σ所以得出以下推导

有没有发现上式最终的结果和，逻辑回归是一样的，只不过w和b的形式更复杂而已

而因为
正好当x为正类和为反类的概率和为1
所以我们可以进行下面的假设：


最终要最小化的损失函数为下图：

[1]: http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference
[2]: https://mermaidjs.github.io/
[3]: https://mermaidjs.github.io/
[4]: http://adrai.github.io/flowchart.js/