机器学习 分类

6.分类

一、引入

把线性回归用于分类问题，通常不是一个好办法

1.线性回归的预测值不一定恒在值于(0,1)
2.异常值影响对线性回归影响较大

因而，我们找到了一个分类算法 logistic回归（这是一个分类算法）

g(x)这个函数，使得输出的值域在(0,1)

由上可得，当ΘTx<0时，y取0，反之取1，x=0处称作决策边界

二、决策边界

决策边界的选择：

我们并不需要训练集的详细数据，就可以直接选择参数Θ，来划定决策边界，因而决策边界是函数的基本属性，不受数据集的影响

三、代价函数（1）

由于logistic回归的h(x)非线性，因而cost函数将会变成一个non-convex函数（非凹函数），这将导致梯度下降函数失效

因上述原因，我们定义了一个新的Cost函数

当y=1时，假设函数越接近1的话，惩罚函数（Cost）的惩罚值就会变小，如果假设函数趋于0的话，就会惩罚该算法。

当y=0时同理

四、代价函数（2）

代价函数的简化

梯度下降

这个式子是通过极大似然法推出的，这里不作详解
性质：凹函数

知道了梯度函数，就需要求其最小值，来拟合函数

其实这个函数就是线性回归的梯度下降函数，他们的区别就是假设函数的改变

所以说并不能混为一谈

五、高级优化算法

这些高级算法，只要会使用他们就可以了，不用深究原理

六 一对多分类算法

y可以取1,2,3等等离散值，不仅限于0,1

大致方法就是，训练多个逻辑分类器，如上图，设三角形为正，其余为负，以此类推作出剩下的两个分类器

x = 1,判断是否为三角形
总结：

今天的机器学习就到这里了，算法的代码可能会补上