手推logistic

用$x_1,x_2,...,x_n$表示每个样本的n个特征，在每个特征前面加一个参数，就可以估计整体样本特征，下面我们就构造一个线性函数：
$h(x)=h_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\theta^TX$
然后，使用sigmod函数，将样本特征映射到[0,1]之间进行分类
$P(Y|x)=\frac{1}{1+e^{-h(x)}}$
当p大于0.5，我们就预测样本属于1类，如果p小于0.5，我们就预测样本属于0类。
现在主要的问题就是，怎样得到一组比较好的参数$\theta$？？
(1)用极大似然估计求分类器的参数
假如： $p(Y=1|x)=f(x)$，$p(Y=0|x)=1-f(x)$
则构造一个似然函数（一般是概率密度函数）：
$L(\theta)=\prod_{i=1}^Nf(x_i)^{y_i}[1-f(x_i)]^{1-y_i}$
我们现在的目标就是求一组参数$\theta$，使得似然函数$L(\theta)$取值最大。
所以，我们需要对似然函数取对数，这样就将似然函数转化成单增的凸函数，如果要对似然函数取最大，直接对对数似然函数求导，令导数值为0，就可求得估计参数(因为$lnx$是x的单增函数，$lnL(\theta)$与$L(\theta)$的单调性相同，当$L(\theta)$取最大时，$L(\theta)$也取最大)。
取对数：$lnL(\theta)=\sum_{i=1}^{N}[y_ilnf(x_i)+(1-y_i)ln(1-f(x_i))]$
求导：令其等于0，求$\theta$。
对对数似然估计函数求导时，也可以采用梯度下降法，拟牛顿法等。
（2）梯度下降法
为了求解参数$\theta$，我们还可以引入损失函数解决，比如：
$J(\theta)=\frac{1}{2}\sum_{i=1}^{N}(h_\theta(x^i)-y^i)^2$
现在的目的就是求一组参数$\theta$，使得损失函数$J(\theta)$取最小，这样，估计函数$h_\theta(x)$的输出值就能最大程度的接近实际值。求$J(\theta)$最小值的方法有最小二乘法，梯度下降法等。
假设用梯度下降法，则算法流程为：
①对$\theta$随机赋值
②向$J(\theta)$梯度下降的方向下降，更新$\theta$，直到$\theta$收敛一定的精度。$\theta\leftarrow\theta-\varepsilon\nabla_\theta J(\theta)$
（如果是梯度上升，就用+，那就是求最大值）

（3）最小二乘法
使误差平方和达到最小以寻求估计值的方法叫做最小二乘，用最小二乘进行估计的过程，就叫做最小二乘估计。
这也是对损失函数求最小值的方法，即如果损失函数为
$J_{LS}(\theta)=\frac{1}{2}\sum_{i=1}^{N}(h_\theta(x^i)-y^i)^2$
则$\hat\theta_{LS}=arg minJ_{LS}(\theta)$
因为估计函数$h_\theta(x)=\theta^TX$，所以训练样本的均方差可以写成$J_{LS}(\theta)=\frac{1}{2}||X\theta-y||^2$,然后对均方差$J_{LS}(\theta)$求对$\theta$的偏导。