机器学习实战-Logistic回归

机器学习实战-Logistic回归

一、最优化算法

• 我们将首次接触到最优化算法，假设现在有一些数据点，我们用一条直线对这些点进行拟合（该线称为最佳拟合直线），这个拟合过程就称作回归。
• 利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。
• 训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。

二、Logistic回归一般过程

1. 收集数据：采用任意方法收集数据。

2. 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式则最佳。

3. 分析数据：采用任意方法对数据进行分析。

4. 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。

5. 测试算法：一旦训练步驟完成，分类将会很快。

6. 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；
   接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于
   哪个类别,在这之后，我们就可以在输出的类别上做一些其他分析工作。

三、基础描述

1.我们想要的函数就是，能够接受所有的输入然后预测类别。例如，在两个类的情况下，输出0或者1.我们使用的具有这种性质的函数叫做Sigmoid函数，函数公式如下：

该函数在跳跃点上从0瞬间跳跃到1。函数图如下：