机器学习学习笔记（五）——分类

二分类问题

在分类问题中，一般不使用线性回归进行分类，因为效果很差。

在二元分类问题上，我们使用logistic回归进行分类

假设函数

在logistic回归中，有logistic函数
$$g(z)=\frac{1}{1+e^{-z}}$$
假设函数为
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
假设函数$h_{\theta }(x)$代表$y=1$的概率，则$y=0$的概率为$1-h_{\theta }(x)$。

如果我们认为当$h_{\theta }(x)>0.5$的时候，可以认为$y=1$;

且logistic函数有如下性质
$$z\ge 0,g(z)\ge 0.5$$
则我们可以认为如果${\Theta }^{T}X\ge 0$，则$y=1$；如果${\Theta }^{T}X<0$，则$y=0$ 。那么我们可以用线${\Theta }^{T}X=0$将两类分离开，这条线称作决策边界。

代价函数

在今后我们统一将代价函数写为
$$J(\Theta )=\frac{1}{m}\sum _{i=1}^{m}cost(h_{\Theta }(x^{(i)}),y)$$
在logistic回归中由于平方误差函数不是凸函数，可能会落入局部最优解，我们使用如下的cost函数
$$cost（h_{\Theta }(x),y)=\{\begin{array}{ll}-log(h_{\Theta }(x))& y=1\\ -log(1-h_{\Theta }(x))& y=0\end{array}$$
则代价函数可以写为
$$J(\Theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}log(h_{\Theta }(x^{(i)})+(1-y^{(i)})log(1-h_{\Theta }(x^{(i)}))$$

梯度下降

经过一些里骚操作推导得到梯度下降公式
$${\theta }_j:={\theta }_j-\frac{\alpha }{m}\sum _{i=1}^m(h_{\Theta }(x^{(i)})-y^{(i)})x_j^{(i)}$$
这里
$$h_{\Theta }(x)=\frac{1}{1+e^{-{\Theta }^{T}x}}$$

高级优化

线性搜索

共轭梯度

多分类

将一个多分类问题转化成多个二分类问题。