20、线性分类与相关算法详解

线性分类与相关算法详解

1. 正则化与线性分类基础

在机器学习中，正则化是一种重要的技术，用于防止模型过拟合。常见的正则化有 $L_q$ 正则化，其表达式为 $L_q = \sum_{i=1}^{n} |w_i|^q$。其中，最常见的是 $L_2$ 正则化和 $L_1$ 正则化。

• $L_2$ 正则化 ：也称为岭回归（ridge regression），表达式为 $L_2 = \sum_{i=1}^{n} w_i^2$。
• $L_1$ 正则化 ：在 LASSO 回归（LASSO regression）中使用，表达式为 $L_1 = \sum_{i=1}^{n} |w_i|$。在实际应用中，$w_0$ 通常也包含在正则化项中。

线性分类的核心思想是在欧几里得空间中找到一条直线或超平面，将数据分为不同的类别。

2. 线性分类示例

以文本分类为例，假设我们有一个数据集，包含法语和英语的文本章节。通过分析发现，可以在两个回归直线之间画一条直线，将两类文本分开，这就是线性分类的直观体现。

具体来说，我们要找到一条直线 $w_0 + w_1x + w_2y = 0$，将平面分为两个半平面，分别由不等式 $w_0 + w_1x + w_2y > 0$ 和 $w_0 + w_1x + w_2y < 0$ 定义。这意味着数据集中属于同一类别的点位于分隔线的同一侧。

在这个例子中，法语章节的斜率比英语章节更陡，代表法语章节的点会在分隔线的上方。我们可以根据这个特性写出不等式，将 $w