机器学习之逻辑回归算法（三）

逻辑回归 Logistic regression

**目的：**经典的二分类算法

机器学习算法选择：先逻辑回归再用复杂的，能简单还是简单的

逻辑回顾的决策边界：可以是非线性的

Sigmoid 函数：

• 公式：$g(z)=\frac{1}{1+e^{-z}}$

• 自变量取值为任意实数，值域为[0,1]

• 解释：将任意的输入映射到[0,1]区间，我们在现行回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。

  

• 目标函数

预测函数：$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$， 其中，${\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n={\sum }_{i=1}^n={\theta }^{T}x$

• 分类任务：

  $P(y=1)=h_{\theta }(x),P(y=0)=1-h_{\theta }(x)$

  对上面两个式子进行整合：
  $$P(y)=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$

• 似然函数：
  $$L(\theta )=\prod _{i=1}^m(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}$$

• 对数似然：
  $$l(\theta )=L(\theta )=\sum _{i=1}^m(y_{i}log{h}_{\theta }(x_i)+(1-y_i)log(1-h_{\theta }(x)))$$
  此时应用梯度上升求最大值，引入$J(\theta )=-\frac{1}{m}l(\theta )$ 转换为梯度下降任务

  与上次一样，我们进行对上式进行求导：

求完偏导之后，即我们可以得到参数更新的方向。

• 参数更新：${\theta }_j={\theta }_j-\alpha \frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x_i)-y_i)x_i^j$ 其中$\alpha$ 为学习步长。

所有的努力都值得期许，每一份梦想都应该灌溉！