Logistic回归

最新推荐文章于 2024-10-29 23:02:35 发布

weixin_34054866

最新推荐文章于 2024-10-29 23:02:35 发布

阅读量67

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/A-FM/p/6693949.html

本文探讨了最优算法的应用，包括解决最短路径问题及如何通过最小化工作量获得最大收益等问题。重点介绍了Logistic回归的基本概念及其在分类任务中的应用，详细说明了其一般过程，包括数据收集、准备、分析、训练、测试等步骤。

　　这是我首次接触最优算法，如何在最短时间内从A点到达B点？这个应该是最短路径问题了，如何投入最少的工作却获得最大的收益？如何设计发动机使油耗少而功率大呢？现在我们讲学习一些最优算法，并且利用他们来训练出一个非线性函数用于分类。至于“回归” 是什么东西呢？假设我们现在有一些数据点，我们用一条直线对这些点进行拟合（改线成为最佳拟合直线）这个拟合过程就成为回归，利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归”一词源于最佳拟合，表示要找到最佳拟合参数集，其背后的数学分析将在下一部分介绍。训练分类器时的做法就是寻找最佳拟合参数。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理

                                                Logistic回归的一般过程
1），收集数据：采用任意方法收集数据。
2），准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数据格式最方便计算。
3），分析数据：采用任意方法对数据进行分析。
4），训练算法：大部分时间将用于训练，训练的目的时为了找到最佳的分类回归系数。
5），测试算法：一旦训练步骤完成，分类将会很快哦。
6），首先我们需要准备一些输入数据，并将其转化为对应的结构化数值，接着，给予训练好的回归系数就可以对这些数值进行简单的回归计算，判定他们属于那个类别，在这之后，我们就可以在输出的类别上做一些其他的分析工作。

　　优点： 计算代价不高，易于理解和实现。

　　缺点： 易于欠拟合，分类的精度不高。

　　适用数据类型： 数值型和标称型数据

海维塞德阶跃函数：　　能够接受所有的输入，然后预测出类别，例如在两个类的情况下上述函数输出0或1 。

单位阶跃函数，又称赫维赛德阶跃函数，

连续时间形式定义如下：