《统计学习方法笔记》——Logistic回归

Logistic回归简介

假设有一些数据点，我们利用一条直线对这些数据点进行拟合（该线称为最佳拟合直线），这个拟合过程就称为回归。利用Logistic进行回归的主要思想：根据现有数据对分类边界线建立回归公式，以此进行分类。

算法流程

1.优化目标函数

需要的函数应该是可以接受所有的输入然后预测出类别。
例如，在两类的情况下，上述函数输出0或1。海维塞德阶跃函数或者直接称为单位阶跃函数满足这一性质。然而，海维塞德阶跃函数存在以下问题：该函数在跳跃点上从0瞬间跳跃到1，这个瞬间过程很难处理。因此，我们一般选择Sigmoid函数。Sigmoid函数具体公式如下：

σ(z)=11+e−z