机器学习 (二): 逻辑回归

前言

逻辑回归 (logistic regression) 并非是回归算法而是分类算法, 可以视为最简单的神经网络. 和线性回归一样, 逻辑回归是一种基于线性多项式的算法, 因此比较难在现实生活中找到合适的应用场合, 但作为神经网络的基础, 还是有必要掌握的.

模型

参数

设输入数据为 $X_{n,m}$ 即它的数量为 $m$, 每一个数据的维度为 $n$ (每一列是一项数据, 因此是 n行m列)
则一个逻辑回归模型包含的参数有

1. $W_{1,n}$, 即每个数据项的系数
2. $b_{1,1}$, 常数项

前向传播

逻辑回归的计算 (forward propagation) 分为两部分:

1. 线性计算

   $z(X)=WX+b$

2. 激活函数, 一般为 $sigmoid$ 函数, 符号为 $\sigma$

   $\sigma (z)=\frac{1}{1+e^{-z}}$

   图像为
   
   这个函数的牛逼之处在于, 取值范围为 $(0,1)$, 当 $x=0$ 时 σ ( x ) = 0.5 \sigma(x) = 0.5