线性回归和逻辑回归

线性回归是为了预测，逻辑回归是为了分类。
线性回归

线性回归的一般形式：

$$f(x)=\mathbf{w^Tx}+b$$

个人理解就是讲数据集中各个离散的点通过$\mathbf{w^Tx}+b$映射到一条直线上。（受到之前讲LDA算法的启发）所以也就是要找到向量w，b

确定w,b关键在于衡量f(x)和真实的y值之间的差距。我们希望差距越小越好，所以采用最小二乘法，最小二乘法就是基于均方误差最小化来进行模型求解的方法

$$(w^*,b^*)=arg min\sum_{i=1} ^m(f(x_i)-y_i)^2$$

通过求偏导数或者梯度下降算法求得最小值，此处不再赘述

线性模型的预测值还可以逼近真实值y的衍生物。比如

$$ln y =\mathbf{w^Tx}+b$$ 就是将线性模型的预测值与指数尺度 相对应 $$y^{'}=\mathbf{w^Tx}+b$$ 那么 $$y=e^{y^{'}}$$ 也就是将线性模型的预测值映射到了指数函数上。

逻辑回归
正如之前最后所讲的，线性回归模型的预测值也可以映射到逻辑函数上，这样大于0.5的一类，小于0.5的一类，从而达到分类的目的。

$$y^{'}=\frac{1}{1+e^{\mathbf{-(w^Tx}+b)}}$$ 取对数可变化为 $$ln\frac{y^{'}}{1-y^{'}}=\mathbf{w^Tx}+b$$
此时形成了线性模型与指数函数的映射关系。y表示了样本x为正例的可能性1-y表示了样本为反例的可能性，重写函数： $$y^{'}=p(y=1|\mathbf{x})=\frac{1}{1+e^{\mathbf{-(w^Tx}+b)}}=\frac{e^{\mathbf{w^Tx}+b}}{1+e^{\mathbf{w^Tx}+b}}$$ $$(1-y^{'})=p(y=0|\mathbf{x})=\frac{1}{1+e^{\mathbf{w^Tx}+b}}$$
我们通过极大似然法确定w,b的值，对于给定的数据集我们希望样本属于它真实标记的概率值越大越好，那么我们需要对数似然模型最大化 $$l(\mathbf{w},b)=\sum_{i=1}^mln(p(y_i|x_i;\mathbf{w},b))$$
因为： $$p(y_i|x_i;\mathbf{w},b)=y_ip(y_i=1|x_i;w,b)+(1-y_i)p(y_i=0|x_i;w,b)$$ 那么似然函数可以表示为： $$l(\mathbf{w},b)=\sum_{i=1}^my_iln(p(y_i=1|x_i;w,b))+(1-y_i)ln(p(y_i=0|x_i;w,b)))$$
令$\beta=(\mathbf{w},b),\hat{x}=(\mathbf{x},1)$那么，$\beta^T\hat{x}=w^Tx+b$简化上式并取负值，因为原来的似然函数的目标是样本属于真实值的概率越大越好，取反之后就是需要最小化似然函数 $$l(\beta)=\sum_{i=1}^m(-y_i\beta^T\hat{x}+ln(1+e^{\beta^T\hat{x}}))$$
然后就到了最熟悉的梯度下降方法求解了。
这里对每一个$w_i$求导 $$\frac{\partial{l}}{\partial{w_i}}=\sum_{i=1}^m-y_ix_i+\frac{e^{\beta^T\hat{x}}}{1+e^{\beta^T\hat{x}}}x_i$$ 化简： $$\frac{\partial{l}}{\partial{w_i}}=\sum_{i=1}^m(y^{'}_i-y_i)x_i$$ 其中$y_i^{'}是预测值$