[机器学习笔记]二:Classification and logistic regression（分类和逻辑回归）

在前面我们讨论线性回归的问题，现在我们讲讨论二元分类的问题。二元分类的值是一个离散的值，仅仅为0或1.

1. Logistic regression(逻辑回归)

在讨论线性回归的时候，我们引入了评判函数。尽管我们可以用线性回归的评判函数来评判逻辑回归，但是这通常不会取得好的效果，因此我们将使用新的评判函数

$$g(z) = \frac{1}{1+e^{-z}}，其中z=-\theta^Tx$$
我们称这个函数为logistic function或sigmoid function.对g(z)求导，可以得到
$$g(z)^{'}=g(z)(1-g(z))$$
可以得到
$$p(y|x;\theta) = (h_{\theta}(x))^y(1-h_{\theta}(x))^{1-y}$$
那么评判z参数的似然函数为
$$L(\theta) = \prod^{m}_{i=1}(h_{\theta}(x^{(i)}))^{y^{(i)}}(1-h_{\theta}(x^{(i)}))^{1-y^{(i)}}$$
取
$$l(\theta)=log L(\theta)$$
我们可以推导出
1)当$l(\theta)$取得最大值时，$L(\theta)$取得最大值
2)$\frac{∂}{∂\theta_j}l(\theta) = (y-h_\theta(x))x_j$
根据这个，我们可以得出梯度下降的规则。

2. Digression: The perceptron learning algorithm

我们前面的函数的值都是连续的，而事实上我们需要一些离散的值，那么只要制定一个分界线，其上为1，其下为0，就能实现这个需求。

3. Another algorithm for maximizing $l(θ)$

现在我们要介绍牛顿法，用来求最大似然值，牛顿法的总体思想，是不断进行$\theta = \theta - \frac{f(\theta)}{f^{'}{\theta}}$，迭代的结果便是$f(\theta)=0$
当然，我们前面的$\theta$是一个向量，因此不能直接代入牛顿法中求值，因此我们要推广牛顿法，推广后的牛顿法公式如下：

$$\theta = \theta - H^{-1}\nabla_{\theta}l(\theta)$$
其中
$$H_{ij}=\frac{∂^2l(\theta)}{∂\theta_i∂\theta_j}$$