7、使用scikit-learn进行机器学习分类器之旅

使用scikit-learn进行机器学习分类器之旅

1. 感知机算法的局限性

感知机算法在处理并非完全线性可分的数据集时，永远无法收敛。这是因为在每个训练周期中，总会存在至少一个被错误分类的训练示例，导致权重不断更新。即便调整学习率和增加训练周期数，感知机在这类数据集上也无法收敛，因此在实际应用中通常不推荐使用感知机算法。

2. 逻辑回归简介

为了更高效地处理线性和二元分类问题，我们引入逻辑回归算法。尽管名字中包含“回归”，但逻辑回归实际上是一种分类模型，而非回归模型。它易于实现，在处理线性可分的类别时表现出色，是工业界广泛使用的分类算法之一。

3. 逻辑回归与条件概率

• 赔率（Odds） ：赔率是指某个特定事件发生的概率与不发生的概率之比，公式为 $\frac{p}{1 - p}$，其中 $p$ 表示正事件发生的概率。这里的“正事件”不一定是“好”的事件，而是我们想要预测的事件，例如患者患某种疾病的概率，可将正事件看作类别标签 $y = 1$。
• 对数几率函数（Logit Function） ：对数几率函数是赔率的自然对数，公式为 $logit(p) = log\frac{p}{1 - p}$。该函数将输入值从 $0$ 到 $1$ 的范围转换为整个实数范围，可用于表达特征值与对数几率之间的线性关系，即 $logit(p(y = 1|x)) = w_0x_0 + w_1x_1 + \cdots + w_mx_m = \sum_{i = 0}^{m}w_ix_i = w^Tx$，其中 $p(y = 1|x)$ 是给定特征 $x