逻辑回归（logistic regression）

一、 数学上的逻辑回归

前面提到，逻辑回归是判别分析方法来分类的，即 通过给定的数据x, 来直接得到其后验概率。且 它 得到的是线性分类边界。

回顾在贝叶斯准则中， 利用0-1损失进行分类时， 我们做法是 以最大的后验概率 的类 k， 来作为依据。

             

从而 第k 类 和 第 l 类的分类边界通过 使其概率相等来决定：  即 样本 x 在 第k 类和第l 类有相等的后验概率。

如果我们 我们对两个概率进行相除 ，并且取 log 的话 ，这样得到一个比率， 在上述情况有 

如果我们想要强制得到一个线性分类边界， 我们可以假设这个函数可以线性表示， 即

逻辑回归就是在这样一个假设的的基础上得到的。  其中 对不同的两类类，有不同的系数上标（k,l）, 其系数也不同。

这样看着 很容易理解， 那肯定也会有这样的疑问， 那岂不是每两类就要找一个 ， 那计算量岂不是很大 ！

然而在 逻辑回归中， 我们并不用每两类 都要找一组 系数， 对于 K 类， 我们只需要进行 K-1 对配对， 找K-1 组系数就可以了。

• 假设开始

现在我们 有 K 类， 我们让 第K 类（可以是任何一个类）作为一个 基类， 这样 对于剩余的 K-1 类， 得到 K-1 组系数情况：

我们不必找到每对的分类边界， 只要找到 每个类 和基类 的分类边界的系数。

一旦找到了 K -1 类的 log 比率， 对于任何一对（k, l） 的log 比率， 我们 就可以通过上述得到的系数组 推导出来， 比如:

         

这样 我们总共 参数的个数为 （K-1）×（p+1） 其中(k-1) 是 k-1 组系数， 每组中有p 维， 再添加一个常数项 1。

为了方便， 系数表示为:  , 其中 后验概率的log 比率叫做 log-odds 或者logit transformations.

通过上述假设， 我们得到以下两个 后验概率公式：

               

第一个公式， 可以理解 为， 将Pr(G=K|X =x) 当作单位1， 剩下的每个K-1 个与他 比， 其所占的部分是 ， 因此对于 一个 k 类， 所占的比重为，自己的部分 比上所有加和。

第二个公式也可以这样理解， 还可以理解为 概率的总和是 1， 因此其对于K 类，其结果为 第二个公式。

因此这样就得到了， 众说 的sigmoid 函数， 具体得到就是这样了。 （来自wiki）

逻辑回归 比 线性回归相比， 它 对于 x 是非线性函数， 且概率 在0-1之间， 总和为 1。 

二、 参数估计

在得到上述参数后，要计算概率，就要求解参数