李航机器学习方法之逻辑斯谛回归

1.logistic函数的推导

2.广义线性模型

若$y$非线性，如果有函数$g$，使得$g(y)=\vec{x}\cdot \vec{\beta }+\alpha$，则称之为广义的线性模型。
若$y=F(x)=\frac{1}{1+e^{-x}}$（逻辑斯谛分布又称为激活函数sigmoid，关于点（0，0.5）对称），所以它是一个分布函数，对它求导就是概率密度函数，求反函数$x=-\log (\frac{1}{y}-1)$，即：$$g(y)=\log (\frac{y}{1-y})$$，进一步：$$\log (\frac{y}{1-y})=\vec{x}\cdot \vec{\beta }+\alpha$$，最后：$$y=\frac{e^{\vec{x}\cdot \vec{\beta }+\alpha }}{1+e^{\vec{x}\cdot \vec{\beta }+\alpha }}$$

3.逻辑斯谛回归特点

• 该模型的输入和输出存在非线性的关系。
• 该模型的输入可以是连续的也可以是离散的。如分段函数，logistic函数将分段函数变成了连续函数
• 该模型的参数估计用最大似然估计。

4.参数估计

最早假设它是二项分布：$$P(Y)=\{\begin{array}{ll}1-p,& Y=0\\ p,& Y=1\end{array}=(1-p{)}^{1-Y}{p}^Y$$

$P(Y=y_i|x_i)=(1-p_i{)}^{1-y_i}{p}_i^{y_i}$，其中$p_i=\frac{e^{w{x}_i}}{1+e^{w{x}_i}}$，
所以对于$n$个样本$\{(x_1,y_1),\cdots ,(x_n,y_n)\}$，同时发生的可能性为${\prod }_{i=1}^n(1-p_i{)}^{1-y_i}{p}^{y_i}=L(w)$
将乘法变成加减，$$\begin{array}{rl}\log \prod _{i=1}^n[(1-p_i{)}^{1-y_i}{p}_i^{y_i}]& =\sum _{i=1}^n[y_i\log p_i+(1-y_i)\log (1-p_i)]\\ & =\sum _{i=1}^n[y_i\log \frac{p_i}{1-p_i}+\log (1-p_i)]\end{array}$$，很明显；$$\log \frac{p_i}{1-p_i}=w\cdot x_i$$，并且$$\log (1-p_i)=-\log [exp(w\cdot x_i)+1]$$，最终就是：$$\sum _{i=1}^n[y_i\cdot w\cdot x_i-\log [exp(w\cdot x_i)+1]]$$
最终我们的目的就是通过已知的$(x_i,y_i)$求出$w$，求法有：

• 遍历法，把所有可能的$w$都代入，求出$argmaxL(w)$最大值
• 显示解，通过公式推导出关于$w$的公式，代入$(x_i,y_i)$计算
• 使用梯度下降法或牛顿法等优化算法进行迭代运算。