Logistic回归

回归：对数据点拟合的过程
利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类
一般过程：

(1)收集数据：采用任意方法收集数据。
(2)准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据
格式则最佳。
(3)分析数据：采用任意方法对数据进行分析。
(4)训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。
(5)测试算法：一旦训练步驟完成，分类将会很快。
(6)使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；
接着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于
哪个类别. ，在这之后，我们就可以夺输出的类别上做一些其他分析工作。

基于Logistic回归和Sigmoid函数的分类

概述:

• 优点：计算代价不高，易于理解和实现。
• 缺点：容易欠拟合，分类精度可能不高。
• 使用数据类型：数值型和标称型数据。

Sigmoid函数：

如果横坐标刻度足够大，Sigmoid函数看起来就像一个阶跃函数

实现Logistic回归分类器:每个特征都乘以一个回归系数，然后把所有的结果值相加，将这个总和带入Sigmoid函数，得到一个范围在0~1的数值，大于0.5归入1类，小于0.5归入0类（Logistic回归可以被看成是概率估计）

next problem： 最佳回归系数是什么？如何确定它们的大小？

基于最优化方法的最佳回归系数确定

Sigmoid函数的输入记为z，公式为：

z=w₀x₀+w₁x₁+w₂x₂+…+w_nx_n
向量形式：z = w^Tx

最优化方法：梯度上升法

基本思想：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为反三角 , 则函数f(x,y)的梯度由
下式表示:

注意：函数f(x,y)必须要在待计算的点上有定义并且可微。
梯度算法的迭代公式：

该公式一直被迭代执行，知道达到某个停止条件为止，比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围

梯度下降法，与梯度上升算法一样，只是公式中的加法需要变成减法。梯度上升法用来求函数的最大值，梯度下降算法用来求函数的最小值

TODO:
[ ] 实现代码上传至github

---

参考：

• 《机器学习实战》