西瓜书与南瓜书学习

logistic回归简介
logistic回归由Cox在1958年提出[1]，它的名字虽然叫回归，但这是一种二分类算法，并且是一种线性模型。由于是线性模型，因此在预测时计算简单，在某些大规模分类问题，如广告点击率预估（CTR）上得到了成功的应用。如果你的数据规模巨大，而且要求预测速度非常快，则非线性核的SVM、神经网络等非线性模型已经无法使用，此时logistic回归是你为数不多的选择。

直接预测样本属于正样本的概率
logistic回归源于一个非常朴素的想法：对于二分类问题，能否直接预测出一个样本 属于正样本的概率值？首先考虑最简单的情况，如果样本的输入向量 是一个标量 ，如何将它映射成一个概率值？我们知道，一个随机事件的概率p(a)必须满足两个条件：

概率值是非负的，即p(a)>=0
概率值不能大于1，即p(a)<=1
这两个要求可以合并成，概率值必须在区间[0,1]内。在这里，样本的标签值为0或者1，分别代表负样本和正样本。将样本属于正样本这一事件记为p(y =1|x)，即已知样本的特征向量值x，其标签值属于1的条件概率，也就是样本是正样本这一事件的概率。x的取值范围可以是(−∞ ,+∞ )，现在想想，哪些函数能够将一个(−∞ ,+∞ )之内的实数值变换到区间[0,1]？

考虑我们高中学过的基本函数，幂函数显然是不行的，当X→±∞的时候， [公式] 的值趋向于无穷大，而且有些幂函数的定义域不是(−∞ ,+∞ )，这就排除了所有的多项式函数。

直接使用指数函数也不行，当X→±∞时， [公式] 的值至少有一个会趋向于无穷大，无论a是正数还是负数。但指数函数有一个非常好的性质， [公式] 可以将(−∞ ,+∞ )内的数变换到(0,+∞ )内。通过它，也许可以构造出我们想要的函数。

对数函数显然也不行，因为它的定义域不是(−∞ ,+∞ )，因此直接被排除掉了，即使是用它来直接复合，也是不行的。

三角函数看似可以，比如正弦函数和余弦函数，可以将(−∞ ,+∞ )内的数压缩到[-1,1]之间，稍作变换，如使用 [公式] ，就可以将函数值压缩到[0,1] 之间。用三角函数进行复合，也许是可行的。

反三角函数显然不行