LR（逻辑回归）

开篇寄语

一直想总结下机器学习相关的知识，先从最简单的LR开始吧，温故而知新。自己的写作功底比较弱，所以也借鉴了几位前辈的博客

1、Sigmoid 与 Logistic Regression

sigmoid函数是lr的核心，它将普通的线性回归值域映射到了[0,1]
$$g(z)=\frac{1}{1+e^{-z}}$$
回顾一下线性回归，$h_{\theta }(x)={\theta }^{T}X$，令$z=h_{\theta }(x)$，代入公式可得到
$$g(x)=\frac{1}{1+e^{-{\theta }^{T}X}}$$
实际上，逻辑回归是非线性回归的一种，只不过能用于二分类问题，所以很特殊，也很经典。
（PS：不知道还有没有其它可用于分类的非线性回归，或者是sigmoid简单的变形）

2、概率分布

为什么LR能用于二分类问题呢，我们来算一下，首先是Y为0或者1的条件概率分布
$$\begin{array}{r}P(Y=1|X)=\frac{1}{1+e^{-wx}}=\frac{e^{wx}}{1+e^{wx}}\\ P(Y=0|X)=1-P(Y=1|X)=\frac{1}{1+e^{wx}}\end{array}$$
发生事件的几率定义为发生与不发生的比值
$$odds=\frac{p}{1-p}$$
取其对数概率
$$logit(p)=log\frac{p}{1-p}$$
那么Y=1的几率就是
$$log\frac{P(Y=1|x)}{1-P(Y=1|x)}=log\frac{P(Y=1|x)}{P(Y=0|x)}=w.x$$
即，当 w.x的值越大，P(Y=1|x) 越接近1；w.x越小(f负无穷大),P(Y=1|x) 越接近0，
其实这个从sigmoid图像也可以看得出来，不过另外一位先辈是这样写的，先暂且这么理解

3、参数求解

1，参数估计-最大似然函数

我们用最大化似然函数来估计参数，首先构建最大似然函数
$$L(\theta )=\prod P(y_i=1|x_i{)}^{y_i}(1-P(y_i=1|x_i))$$