学习笔记——机器学习（三）——Logistic regression

分类

关于逻辑回归，首先需要明确：
逻辑回归并不是回归问题，而是分类问题。

假设陈述

对于逻辑回归模型：我们总希望估算值介于（0，1）这个区间

• 之前线性回归的时候就是用来预测数值的大小，这里我们为了似的这个值达到介于（0,1）区间的要求，我们给施加一个函数，这个函数一般叫做：

Sigmoid Function或者Logistic Function

这也就是”逻辑回归“为什么叫做逻辑回归的是原因了！
所以说这里的意思就是在假设函数外面添加了一个新的函数，所以这个总的简单来理解的话就是
通过一个复合函数似的原来具体是数值的东西在现在的状态下处于(0,1)这个区间之中

决策界限

决策边界并不是用训练数据集来决定的，而是用训练数据集来拟合这些参数的theta的，所以说
如果我们指导参数，那么决策的边界就是直接知道的。就根本不用训练数据集来进行拟合了

代价函数

这里也就是逻辑回归和线性回归的最大区别了把，主要就是这里的代价函数是不一样的！

高级算法

一般用的都是GD算法，但是当运算量真的很大的时候用的就是更高级的一些算法了：
比如：

• Conjugate gradient
• BFGS
• L-BFGS

多分类问题

和之前二分类一样，这里就是
1对其他类所以实质上看起来还是二分类，
如此重复的进行下去！