第3章 线性模型
线性模型是机器学习中最基础、应用最广的模型,核心思想是通过样本特征的线性组合来做预测。比如判断邮件是否为垃圾邮件、预测水果甜度,都可以用线性模型快速解决。
简单说,线性模型的核心公式是:
f(x;w)=w⊤x+bf(x; w) = w^{\top}x + bf(x;w)=w⊤x+b
其中 (w) 是特征的权重(比如“关键词频率”对垃圾邮件判断的重要程度),(b) 是偏置(调整预测的基准线)。
对于回归问题(预测连续值,比如甜度),可以直接用这个公式输出结果;但对于分类问题(预测离散类别,比如“垃圾邮件/正常邮件”),需要加一个非线性的“决策函数”,把线性输出转换成类别标签。
本章会讲四种经典线性分类模型:Logistic回归(二分类)、Softmax回归(多分类)、感知器、支持向量机,核心区别在于用了不同的损失函数和优化方法。
3.1 线性判别函数和决策边界
线性分类模型的核心是找到一个“分割线/面”(决策边界),把不同类别的样本分开。这个边界由线性判别函数 f(x;w)=w⊤x+b=0f(x; w) = w^{\top}x + b = 0f(x;w)=w⊤x+b=0定义。
3.1.1 二分类:找一条“分割线”
二分类问题的类别标签通常是 {+1, -1} 或 {0, 1},比如“正例(垃圾邮件)”和“负例(正常邮件)”。
- 决策边界:特征空间中满足 w⊤x+b=0w^{\top}x + b = 0w⊤x+b=0的点构成的集合(二维空间是直线,三维是平面,高维是超平面);
- 分类规则:对于样本 (x),如果 w⊤x+b>0w^{\top}x + b > 0w⊤x+b>0,预测为+1类;如果 w⊤x+b<0w^{\top}x + b < 0w⊤x+b<0,预测为-1类;
- 核心特点:权重向量 (w) 与决策边界垂直(比如二维空间中,直线 w1x1w_1x_1w1x1 + w2x2w_2x_2w2x2 + b = 0的法向量就是 w=[w1,w2]w = [w_1, w_2]w=[w1,w2]);
- 线性可分:如果存在这样的超平面,能把所有正例和负例完全分开,就说数据集是“线性可分”的。
3.1.2 多分类:找多条“分割线”
多分类问题(比如分类数字0-9、判断水果是苹果/香蕉/橙子)需要处理多个类别,常用三种方式设计判别函数:
1)“一对其余”方式
- 思路:把多分类拆成 C个二分类(C是类别数)。比如3分类问题,拆成“苹果vs非苹果”“香蕉vs非香蕉”“橙子vs非橙子”;
- 缺点:特征空间中会有“模糊区域”(一个样本可能被多个二分类器判定为正例,或都不判定)。
2)“一对一”方式
- 思路:把每两个类别拆成一个二分类,比如3分类需要拆成“苹果vs香蕉”“苹果vs橙子”“香蕉vs橙子”,共 C(C−1)/2C(C-1)/2C(C−1)/2个分类器;
- 缺点:分类器数量多,且同样存在“模糊区域”(比如一个样本在不同分类器中判定结果矛盾)。
3)“argmax”方式(最常用)
- 思路:为每个类别设计一个线性判别函数 fc(x;wc)=wc⊤x+bcf_c(x; w_c) = w_c^{\top}x + b_cfc(x;wc)=wc⊤x+bc(共 C个),样本属于“判别函数值最大”的类别;
- 分类规则:y=argmaxc=1..Cfc(x;wc)y = \arg\max_{c=1..C} f_c(x; w_c)y=argmaxc=1..Cfc(x;wc);
- 优点:没有模糊区域,相邻类别的决策边界由 fi(x)=fj(x)f_i(x) = f_j(x)fi(x)=fj(x)决定,逻辑更清晰,是目前多分类的首选方式。
3.2 Logistic回归:二分类的“概率模型”
Logistic回归是解决二分类问题的经典模型,核心优势是能输出“样本属于某类的概率”(比如“这封邮件是垃圾邮件的概率为85%”),解释性强。
3.2.1 核心设计:用Sigmoid函数做“概率转换”
线性模型的输出是实数(−∞(-\infty(−∞ 到 +∞+\infty+∞),而概率需要在0-1之间,因此用Sigmoid函数(也叫Logistic函数)做转换:
[σ(z)=11+exp(−z)][\sigma(z) = \frac{1}{1 + \exp(-z)} ][σ(z)=1+exp(−z)1]
- 功能:把线性输出 z=w⊤x+bz = w^{\top}x + bz=w⊤x+b挤压到(0, 1)区间,直接作为“样本属于正类(+1)的概率”;
- 直观理解:当 z > 0 时,σ(z)>0.5\sigma(z) > 0.5σ(z)>0.5,倾向于正类;当 z < 0时,σ(z)<0.5\sigma(z) < 0.5σ(z)<0.5,倾向于负类。
因此,Logistic回归的预测公式是:
[p(y=1∣x)=σ(w⊤x+b),p(y=0∣x)=1−σ(w⊤x+b)][p(y=1|x) = \sigma(w^{\top}x + b), \quad p(y=0|x) = 1 - \sigma(w^{\top}x + b) ][p(y=1∣x)=σ(w⊤x+b),p(y=0∣x)=1−σ(w⊤x+b)]
3.2.2 参数学习:用交叉熵损失“调优”
参数学习的目标是找到最优的 (w) 和 (b),让预测概率尽可能接近真实标签。核心步骤:
- 损失函数:用“交叉熵损失”(适合概率预测问题),衡量预测概率与真实标签的差距:
[L(w)=−1N∑n=1N[y(n)logy^(n)+(1−y(n))log(1−y^(n))]][ \mathcal{L}(w) = -\frac{1}{N}\sum_{n=1}^N \left[ y^{(n)}\log\hat{y}^{(n)} + (1-y^{(n)})\log(1-\hat{y}^{(n)}) \right] ][L(w)=−N1∑n=1N[y(n)logy^(n)+(1−y(n))log(1−y^(n))]]
其中 y^(n)=σ(w⊤x(n)+b)\hat{y}^{(n)} = \sigma(w^{\top}x^{(n)} + b)y^(n)=σ(w⊤x(n)+b) 是第 n个样本的预测概率,y(n)y^{(n)}y(n) 是真实标签(0或1)。 - 优化方法:梯度下降法(最常用)。计算损失函数对 (w) 和 (b) 的梯度,逐步调整参数减小损失:
[wt+1=wt+α⋅1N∑n=1Nx(n)(y(n)−y^(n))][ w_{t+1} = w_t + \alpha \cdot \frac{1}{N}\sum_{n=1}^N x^{(n)}(y^{(n)} - \hat{y}^{(n)}) ][wt+1=wt+α⋅N1∑n=1Nx(n)(y(n)−y^(n))]
其中 α\alphaα 是学习率(步长,控制每次参数调整的幅度)。 - 特点:交叉熵损失是凸函数,梯度下降能找到全局最优解,训练稳定。
3.2.3 关键理解:Logistic回归的本质
Logistic回归虽然叫“回归”,但其实是分类模型——名字来源于Sigmoid函数(Logistic函数)。它的核心价值是:
- 输出概率,可解释性强(比如“关键词A出现时,垃圾邮件概率增加30%”);
- 模型简单,训练快,适合数据量大、特征维度高的场景(比如文本分类)。
3.3 Softmax回归:多分类的“概率模型”
Softmax回归是Logistic回归在多分类问题上的扩展,能处理类别数 C > 2 的情况(比如分类数字0-9、识别水果种类)。
3.3.1 核心设计:用Softmax函数做“概率归一化”
对于多分类,每个类别都有一个线性判别函数 fc(x;wc)=wc⊤x+bcf_c(x; w_c) = w_c^{\top}x + b_cfc(x;wc)=wc⊤x+bc,需要把这些线性输出转换成“每个类别的概率”(总和为1),因此用Softmax函数:
[softmax(z)c=exp(zc)∑c′=1Cexp(zc′)][ \text{softmax}(z)_c = \frac{\exp(z_c)}{\sum_{c'=1}^C \exp(z_{c'})} ][softmax(z)c=∑c′=1Cexp(zc′)exp(zc)]
其中 zc=wc⊤x+bcz_c = w_c^{\top}x + b_czc=wc⊤x+bc 是第 c类的线性输出。
因此,Softmax回归的预测公式是:
[p(y=c∣x)=softmax(w⊤x+b)c][ p(y=c|x) = \text{softmax}(w^{\top}x + b)_c ][p(y=c∣x)=softmax(w⊤x+b)c]
- 功能:把多个线性输出转换成0-1之间的概率,且所有类别概率之和为1(比如“样本是苹果的概率30%、香蕉50%、橙子20%”);
- 分类规则:选择概率最大的类别,即 y=argmaxc=1..Cp(y=c∣x)y = \arg\max_{c=1..C} p(y=c|x)y=argmaxc=1..Cp(y=c∣x)。
3.3.2 与Logistic回归的关系
当类别数 C=2时,Softmax回归等价于Logistic回归:
- 此时 p(y=1∣x)=σ(w1⊤x−w0⊤x+b1−b0)p(y=1|x) = \sigma(w_1^{\top}x - w_0^{\top}x + b_1 - b_0)p(y=1∣x)=σ(w1⊤x−w0⊤x+b1−b0),相当于Logistic回归的权重 w=w1−w0w = w_1 - w_0w=w1−w0,偏置 b=b1−b0b = b_1 - b_0b=b1−b0;
- 本质:两者都是“概率模型”,核心区别是Softmax处理多分类,Logistic处理二分类。
3.3.3 参数学习:交叉熵损失+梯度下降
- 损失函数:多分类交叉熵损失,衡量预测概率分布与真实标签分布的差距。真实标签用“one-hot向量”表示(比如类别2对应 [0, 0, 1, …, 0]):
[L(W)=−1N∑n=1N∑c=1Cyc(n)logy^c(n)][ \mathcal{L}(W) = -\frac{1}{N}\sum_{n=1}^N \sum_{c=1}^C y_c^{(n)}\log\hat{y}_c^{(n)} ][L(W)=−N1∑n=1N∑c=1Cyc(n)logy^c(n)]
其中 W=[w1,w2,...,wC]W = [w_1, w_2, ..., w_C]W=[w1,w2,...,wC] 是所有类别的权重矩阵。 - 优化方法:梯度下降法,计算损失对每个类别的权重 wcw_cwc的梯度,逐步调整参数。
- 注意事项:Softmax的权重存在冗余(所有权重减去同一个向量,预测结果不变),因此需要加正则化约束参数,避免过拟合。
3.4 感知器:最简单的“神经网络”
感知器是1957年提出的线性分类模型,也是最简单的人工神经网络(只有一个神经元)。它的核心是“错误驱动学习”——只有预测错了,才调整参数。
3.4.1 模型定义与参数学习
- 模型公式:二分类感知器的预测规则是:
[y^=sgn(w⊤x+b)][ \hat{y} = \text{sgn}(w^{\top}x + b) ][y^=sgn(w⊤x+b)]
其中 sgn(z)\text{sgn}(z)sgn(z)是符号函数(z>0输出+1,z<0 输出-1)。 - 学习算法:在线学习(逐样本更新),核心逻辑是“错了就改”:
- 初始化权重 w=0,偏置 b=0;
- 对每个训练样本 (x, y):如果 y⋅(w⊤x+b)≤0y \cdot (w^{\top}x + b) \leq 0y⋅(w⊤x+b)≤0(预测错误),则更新参数:
[w←w+yx,b←b+y][ w \leftarrow w + yx, \quad b \leftarrow b + y ][w←w+yx,b←b+y]
- 直观理解:比如预测“正例”时,模型判成“负例”,就把权重向“让样本判为正例”的方向调整(乘以真实标签 y=+1,相当于增加 x 对权重的贡献)。
3.4.2 感知器的收敛性
感知器的收敛性有明确的数学保证:
- 如果训练集是线性可分的,感知器算法能在有限次迭代后收敛(找到正确的决策边界);
- 如果训练集线性不可分,感知器会一直迭代,永远不收敛(比如异或问题,感知器无法用直线分开)。
这也是感知器的最大局限——只能处理线性可分问题,无法解决非线性问题,导致20世纪60年代后研究陷入低谷。
3.4.3 改进:平均感知器
原始感知器的权重更新依赖样本顺序,泛化能力较差。平均感知器通过“加权平均所有迭代的权重”来改进:
- 记录每次权重更新的次数和权重值,给“正确分类更多样本”的权重更高的置信度;
- 最终用加权平均后的权重做预测,提高模型的稳定性和泛化能力。
3.4.4 扩展到多分类
感知器可以通过“广义感知器”扩展到多分类和结构化学习(比如序列标注):
- 核心思路:引入“联合特征函数”ϕ(x,y)\phi(x, y)ϕ(x,y),把“输入 x+ 输出 y”映射到特征空间;
- 预测规则:y^=argmaxyw⊤ϕ(x,y)\hat{y} = \arg\max_{y} w^{\top}\phi(x, y)y^=argmaxyw⊤ϕ(x,y)(选择让联合特征得分最高的类别 (y));
- 学习算法:预测错误时,更新权重 w←w+ϕ(x,y真实)−ϕ(x,y预测)w \leftarrow w + \phi(x, y_{\text{真实}}) - \phi(x, y_{\text{预测}})w←w+ϕ(x,y真实)−ϕ(x,y预测)。
3.5 支持向量机:找“最稳定的分割线”
支持向量机(SVM)是二分类的经典模型,核心思想是找到“最大间隔”的决策边界——不仅能分开样本,还要让样本到边界的距离尽可能大,这样模型的泛化能力更强(抗噪声、抗过拟合)。
3.5.1 核心概念:间隔最大化
- 样本到边界的距离:对于样本 (x),到决策边界 w⊤x+b=0w^{\top}x + b = 0w⊤x+b=0的距离是:
[γ=∣w⊤x+b∣∥w∥][ \gamma = \frac{|w^{\top}x + b|}{\|w\|} ][γ=∥w∥∣w⊤x+b∣]
其中 (|w|) 是权重向量的模。 - 间隔:所有样本到边界的最小距离(比如所有样本中,离边界最近的点的距离);
- 目标:找到 (w) 和 (b),让间隔最大(这样模型对噪声更不敏感,新样本预测更稳)。
3.5.2 参数学习:凸优化+拉格朗日乘数法
最大化间隔的问题可以转化为“带约束的凸优化问题”:
[minw,b12∥w∥2[ \min_{w, b} \frac{1}{2}\|w\|^2 \quad[minw,b21∥w∥2 y(n)(w⊤x(n)+b)≥1]\quad y^{(n)}(w^{\top}x^{(n)} + b) \geq 1 ]y(n)(w⊤x(n)+b)≥1]
- 约束条件 y(n)(w⊤x(n)+b)≥1y^{(n)}(w^{\top}x^{(n)} + b) \geq 1y(n)(w⊤x(n)+b)≥1表示“所有样本到边界的距离至少为 1/∥w∥1/\|w\|1/∥w∥”;
- 优化目标 12∥w∥2\frac{1}{2}\|w\|^221∥w∥2 等价于最大化间隔 1/∥w∥1/\|w\|1/∥w∥。
通过拉格朗日乘数法,可以把这个问题转化为“对偶问题”,最终求解得到:
- 最优权重 w∗=∑n=1Nλn∗y(n)x(n)w^* = \sum_{n=1}^N \lambda_n^* y^{(n)} x^{(n)}w∗=∑n=1Nλn∗y(n)x(n)(只有少数样本的 λn∗>0\lambda_n^* > 0λn∗>0,这些样本就是“支持向量”);
- 支持向量:离决策边界最近的样本(对边界的位置起决定性作用),模型的预测只依赖支持向量,与其他样本无关。
3.5.3 核函数:处理线性不可分问题
如果样本是线性不可分的(比如异或问题),支持向量机可以通过“核函数”把样本映射到高维特征空间,在高维空间中找到线性决策边界:
- 核心思想:不用显式把样本映射到高维,而是通过核函数 k(x,z)=ϕ(x)⊤ϕ(z)k(x, z) = \phi(x)^{\top}\phi(z)k(x,z)=ϕ(x)⊤ϕ(z) 直接计算高维空间中样本的内积(ϕ(x)\phi(x)ϕ(x)是高维映射函数);
- 常用核函数:线性核(k(x,z)=x⊤zk(x, z) = x^{\top}zk(x,z)=x⊤z,等价于原始线性SVM)、多项式核、高斯核(RBF核,适合非线性问题);
- 优势:用核函数避免了高维映射的计算复杂度,同时能处理非线性分类问题。
3.5.4 软间隔:容忍少量错误样本
实际数据中,样本可能有噪声,完全线性可分的情况很少。软间隔SVM允许少量样本不满足约束条件(即预测错误),通过“松弛变量”ξn\xi_nξn 调整:
[minw,b,ξ12∥w∥2+C∑n=1Nξns.t.y(n)(w⊤x(n)+b)≥1−ξn,ξn≥0][ \min_{w, b, \xi} \frac{1}{2}\|w\|^2 + C\sum_{n=1}^N \xi_n \quad \text{s.t.} \quad y^{(n)}(w^{\top}x^{(n)} + b) \geq 1 - \xi_n, \xi_n \geq 0 ][minw,b,ξ21∥w∥2+C∑n=1Nξns.t.y(n)(w⊤x(n)+b)≥1−ξn,ξn≥0]
- (C) 是超参数:控制“间隔大小”和“错误容忍度”(C 越大,越不能容忍错误样本;C 越小,越看重间隔大小);
- 损失函数:软间隔的损失函数是“Hinge损失”max(0,1−y(w⊤x+b))\max(0, 1 - y(w^{\top}x + b))max(0,1−y(w⊤x+b)),对异常值不敏感,鲁棒性强。
3.6 损失函数对比:四种线性模型的核心区别
四种线性模型的决策函数都是线性的,但损失函数不同,导致模型的特性和适用场景有差异。统一假设类别标签 y∈{+1,−1}y \in \{+1, -1\}y∈{+1,−1},线性判别函数 f(x;w)=w⊤x+bf(x; w) = w^{\top}x + bf(x;w)=w⊤x+b,各模型的损失函数如下:
| 模型 | 损失函数 | 核心特点 | 适用场景 |
|---|---|---|---|
| Logistic回归 | 交叉熵损失:log(1+exp(−yf(x)))\log(1 + \exp(-yf(x)))log(1+exp(−yf(x))) | 输出概率,可解释性强,适合概率预测 | 二分类、需要概率输出的场景 |
| 感知器 | 感知器损失:max(0,−yf(x))\max(0, -yf(x))max(0,−yf(x)) | 错误驱动,在线学习,只更新错误样本 | 线性可分的二分类、在线任务 |
| 支持向量机 | Hinge损失:max(0,1−yf(x))\max(0, 1 - yf(x))max(0,1−yf(x)) | 最大间隔,鲁棒性强,适合噪声数据 | 二分类、非线性问题(核函数) |
| 线性回归(分类) | 平方损失:(y−f(x))2(y - f(x))^2(y−f(x))2 | 对异常值敏感,不适合分类(输出非概率) | 不推荐用于分类,适合回归 |
损失函数的直观对比
- 当 yf(x)>1yf(x) > 1yf(x)>1(预测正确且远离边界):Hinge损失为0,支持向量机不再调整参数(专注于最大间隔);
- 当 0<yf(x)≤10 < yf(x) \leq 10<yf(x)≤1(预测正确但靠近边界):Hinge损失和感知器损失都为正,会调整参数让样本远离边界;
- 当 yf(x)<0yf(x) < 0yf(x)<0(预测错误):所有损失都为正,会调整参数修正错误。
3.7 总结
线性模型的核心是“线性判别函数+损失函数+优化方法”,简单、高效、可解释性强,是处理分类/回归问题的“首选 baseline”。
核心要点
- 二分类优先用Logistic回归(需要概率)或支持向量机(需要鲁棒性);
- 多分类优先用Softmax回归(直接输出多类概率);
- 在线学习、数据量极大时,可用感知器或平均感知器;
- 非线性问题用支持向量机+核函数(高斯核、多项式核)。
深入阅读推荐
- 想系统学线性模型理论:《Pattern Recognition and Machine Learning》(Bishop)第4章;
- 想深入支持向量机和核方法:《Learning with Kernels》(Schölkopf等);
- 想了解感知器的扩展:《Discriminative Training Methods for Hidden Markov Models》(Collins)。
436



被折叠的 条评论
为什么被折叠?



