逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点

创建于：2020.03.18
修改于：2020.03.19

1. 背景

自己在学习机器学习知识，在学习的时候，感觉懂了，当被别人问到时候，发现回答不上来。网上资源挺多的，自己写写更有印象。

2. 逻辑回归（LR）

2.1 基本概念

逻辑回归（Logistic Regression）用于分类，而不是回归。对于逻辑回归，输入可以是连续的(-∞, +∞)，输出一般是离散的，通常只有两个值{0, 1}。

• 逻辑回归中选择对数几率函数（logistic function）作为激活函数，对数几率函数是Sigmoid函数（形状为S的函数）的重要代表。

• 损失函数为似然函数。

• LR是一个传统的二分类模型，它也可以用于多分类任务，其基本思想是：将多分类任务拆分成若干个二分类任务，然后对每个二分类任务训练一个模型，最后将多个模型的结果进行集成以获得最终的分类结果。

  • one vs one策略
  • one vs all策略

• $g(z)=1+$