第2章 机器学习概述(续)
2.5 机器学习算法的类型
机器学习算法有很多分类方式,但最核心的是按训练样本的信息的反馈方式划分,主要分为三类,核心区别在于“是否有标签”和“是否与环境互动”:
2.5.1 监督学习:有“答案”的学习
- 核心特点:训练样本都带“标签”(即已知正确答案),相当于做“有答案的练习题”。
- 训练样本:
{(特征1, 标签1), (特征2, 标签2), ..., (特征N, 标签N)}(比如“(芒果特征, 甜/不甜)”“(手写数字图像, 数字5)”)。 - 优化目标:学习特征到标签的映射(比如“黄+香→甜”“图像像素→数字类别”)或条件概率(比如“芒果是黄色的前提下,甜的概率是80%”)。
- 细分任务:
- 回归:标签是连续值(比如预测芒果甜度、房价、温度);
- 分类:标签是离散类别(比如二分类“甜/不甜”、多分类“数字0-9”);
- 结构化学习:标签是结构化对象(比如序列、树,比如“句子→句法树”“图像→分割区域”)。
2.5.2 无监督学习:找“规律”的学习
- 核心特点:训练样本没有标签,相当于做“没答案的练习题”,需要自己找数据中的隐藏规律。
- 训练样本:
{特征1, 特征2, ..., 特征N}(比如一堆没标注的芒果特征、一堆无分类的文本)。 - 优化目标:学习数据的分布(比如“芒果分为甜、酸、淡三类”)或隐含结构(比如“文本按主题聚类”)。
- 典型任务:聚类(分组)、密度估计(统计数据分布)、特征学习(自动提取有效特征)、降维(简化特征但保留关键信息)。
2.5.3 强化学习:靠“奖励”的学习
- 核心特点:智能体(比如机器人、游戏AI)通过和环境互动学习,没有固定标签,只有“奖励”或“惩罚”(比如游戏得分、碰撞惩罚)。
- 训练样本:智能体和环境互动的轨迹+累积奖励(比如“游戏操作序列→得分”“机器人移动序列→任务完成奖励”)。
- 优化目标:最大化长期累积奖励(比如玩游戏拿最高分、机器人高效完成任务)。
- 关键区别:不是“被动学数据”,而是“主动做决策”,适合连续决策场景(比如自动驾驶、机器人导航)。
三类学习的核心对比
| 类型 | 训练样本 | 优化目标 | 学习准则 |
|---|---|---|---|
| 监督学习 | 带标签的“输入-输出对” | 学习 (y=f(x)) 或 (p(y|x)) | 期望风险最小化、最大似然估计 |
| 无监督学习 | 无标签的输入数据 | 学习 (p(x)) 或带隐变量的 (p(x|z)) | 最大似然估计、最小重构错误 |
| 强化学习 | 互动轨迹+累积奖励 | 最大化期望总回报 | 策略评估、策略改进 |
补充:弱监督与半监督学习
- 监督学习需要大量标注数据(成本高),无监督学习完全无标签(学习难度大),因此衍生出:
- 半监督学习:少量有标签数据+大量无标签数据,结合两者优势;
- 弱监督学习:标签不完整(比如部分样本无标签)或不精确(比如模糊标签),降低标注成本。
2.6 数据的特征表示
机器学习模型通常要求输入是“可计算的向量”,但现实数据是多样的(图像、文本、音频),因此需要先将原始数据转换成特征向量——这一步直接影响模型效果。
2.6.1 不同类型数据的特征表示
(1)图像数据
- 简单表示:直接将图像像素值组成向量(比如100×100的灰度图→10000维向量,每个元素是像素灰度值);
- 增强表示:额外加入手工设计的特征(比如边缘、纹理、直方图、宽高比),提升模型准确率。
(2)文本数据
- 词袋模型(BoW):把文本看作“词的集合”,忽略词序。比如文本“我喜欢读书”“我讨厌读书”,词表是{我, 喜欢, 讨厌, 读书},则特征向量分别为[1,1,0,1]、[1,0,1,1];
- N元特征:解决词袋模型忽略词序的问题,比如二元特征(两个连续词),“我喜欢读书”的二元特征包括“我喜欢”“喜欢读书”,特征向量维度会增加,但能捕捉更多信息;
- 缺点:文本特征维度容易过高(十万甚至百万级),且手工设计的特征泛化能力差。
2.6.2 特征学习:从“人工设计”到“自动学习”
原始特征往往有缺陷(单一、冗余、带噪声),因此需要“特征学习”——提取有效、稳定的特征,分为两类:
(1)传统特征学习(人工主导)
核心是“人工设计准则,手动或半手动选特征”,分为两种:
- 特征选择:从原始特征中选一个有效子集(比如选“颜色”“产地”,去掉“芒果形状”这种无关特征),方法包括贪心搜索(前向加特征、反向删特征)、L1正则化(让无用特征的权重为0);
- 特征抽取:将原始特征投影到新的低维空间(比如主成分分析PCA、线性判别分析LDA),减少冗余和噪声。
(2)深度学习方法(自动学习)
传统特征学习的问题是“特征学习和预测模型分开训练”(比如先用人手抽特征,再训练分类器),可能导致准则不一致。
- 深度学习的优势:端到端学习——将特征学习和预测任务整合到一个模型中,自动学习从原始数据到高层特征的映射,不用人工干预;
- 核心解决:贡献度分配问题(通过神经网络的反向传播,自动确定每个特征转换步骤的重要性)。
2.6.3 核心对比
| 特征学习方式 | 核心特点 | 优势 | 缺点 |
|---|---|---|---|
| 传统方法 | 人工设计准则,分开训练 | 解释性强,计算量小 | 依赖专家经验,泛化差 |
| 深度学习 | 自动学习,端到端训练 | 无需人工干预,泛化强 | 需大量数据,计算量⼤ |
2.7 评价指标
训练好模型后,需要用“评价指标”判断其好坏——核心是用测试集检验模型的泛化能力,不同任务的评价指标不同,这里重点讲分类问题的核心指标。
2.7.1 基础指标:准确率与错误率
- 准确率(Accuracy):测试集中预测正确的样本占比(比如100个测试样本,85个预测对,准确率85%);
- 错误率(Error Rate):1-准确率(比如上面的错误率15%);
- 适用场景:样本类别分布均衡(比如正例、负例各占50%),简单直观,但类别不均衡时会误导(比如99%是负例,模型全预测负例,准确率99%但毫无意义)。
2.7.2 关键指标:精确率、召回率与F值
当类别不均衡时(比如疾病诊断中,患病样本仅1%),需要更精细的指标,核心基于“混淆矩阵”:
- 真正例(TP):真实是正例,预测也是正例(比如真患病,预测患病);
- 假负例(FN):真实是正例,预测是负例(比如真患病,预测未患病——漏诊);
- 假正例(FP):真实是负例,预测是正例(比如未患病,预测患病——误诊);
- 真负例(TN):真实是负例,预测也是负例(比如未患病,预测未患病)。
基于混淆矩阵,定义三个核心指标:
- 精确率(Precision,P):预测为正例的样本中,真正是正例的比例(比如预测患病的10人中,8人真患病,精确率80%);
- 公式:P=TPTP+FPP = \frac{TP}{TP+FP}P=TP+FPTP;
- 关注“预测对的质量”(避免误诊)。
- 召回率(Recall,R):真实是正例的样本中,被预测为正例的比例(比如10个真患病的人,8人被预测出来,召回率80%);
- 公式:R=TPTP+FNR = \frac{TP}{TP+FN}R=TP+FNTP;
- 关注“不能漏诊”(比如疾病诊断、安全检测中,召回率优先)。
- F值(F-Measure):精确率和召回率的调和平均,平衡两者(避免一个高一个低);
- 常用F1值(β=1,两者权重相等):F1=2×P×RP+RF1 = \frac{2×P×R}{P+R}F1=P+R2×P×R;
- 若需要侧重召回率(比如漏诊代价高),可增大β;侧重精确率(比如误诊代价高),可减小β。
2.7.3 多分类指标:宏平均与微平均
多分类问题(比如分类数字0-9)需要计算所有类别的整体性能,分两种平均方式:
- 宏平均(Macro Average):先算每个类的精确率/召回率/F1,再求算术平均;
- 特点:对所有类别一视同仁,适合类别分布均衡的场景;
- 微平均(Micro Average):先统计所有类的总TP、FP、FN,再计算精确率/召回率/F1;
- 特点:受样本多的类别影响大,适合类别分布不均衡的场景(比如少数类样本少,宏平均更关注少数类性能)。
2.7.4 其他评价方法
- 交叉验证(Cross-Validation):避免训练集/测试集划分的随机性影响,比如K折交叉验证(将数据分成K份,轮流用K-1份训练、1份验证,最后取平均误差);
- 曲线评价:ROC曲线(衡量模型在不同阈值下的区分能力)、AUC值(ROC曲线下面积,越大越好)、PR曲线(精确率-召回率曲线,适合类别不均衡);
- 任务专属指标:比如Top-N准确率(预测结果的前N个中包含正确答案的比例,适合推荐系统)。
2.8 理论和定理
机器学习有几个核心理论,能帮你理解“为什么这样设计模型”“为什么没有万能算法”,不用死记公式,重点掌握核心思想:
2.8.1 PAC学习理论:模型能“学好”的前提
- 核心思想:机器学习不需要学出“100%正确”的模型,只需要“大概率近似正确”(Probably Approximately Correct,PAC);
- 关键结论:
- 模型越复杂(假设空间越大),需要的训练样本越多(否则泛化能力差);
- 要让模型泛化好,要么简化模型,要么增加训练数据;
- 实际意义:解释了“为什么简单模型泛化稳”“为什么大数据能支撑复杂模型”。
2.8.2 没有免费午餐定理:没有万能算法
- 核心思想:不存在一种“在所有问题上都最优”的机器学习算法;
- 通俗理解:一个算法在A任务上表现好,在B任务上可能不如随机算法;
- 实际意义:选择算法时必须结合具体任务(比如图像任务用卷积神经网络,序列任务用循环神经网络),不能盲目跟风“最好的算法”。
2.8.3 奥卡姆剃刀原理:简单的模型更优
- 核心思想:“如无必要,勿增实体”——如果两个模型的性能相近,优先选更简单的那个;
- 机器学习中的体现:正则化(比如L2正则化让模型参数更小,更简单)、优先用线性模型而非复杂非线性模型;
- 原因:简单模型的泛化能力更强,不容易过拟合。
2.8.4 丑小鸭定理:相似性是主观的
- 核心思想:“丑小鸭与白天鹅的区别,和两只白天鹅的区别一样大”——世界上没有“客观的相似性标准”,相似性由人的主观需求定义;
- 实际意义:特征选择和模型设计必须结合任务需求(比如“判断是否是同一类水果”,按颜色还是按形状,取决于任务目标)。
2.8.5 归纳偏置:模型的“先验假设”
- 核心思想:机器学习算法在学习时,都会隐含一些“先验假设”(比如最近邻分类器假设“特征空间中近的样本是同一类”,朴素贝叶斯假设“特征之间独立”);
- 实际意义:归纳偏置是算法能从有限数据中学习的关键,但偏置不对会导致模型性能差(比如用“线性模型”学习非线性数据,偏置错误)。
2.9 总结和深入阅读
2.9.1 核心总结
- 机器学习的本质:从有限数据中学习泛化规律,核心三要素是“模型、学习准则、优化算法”;
- 关键逻辑:数据→特征表示→模型训练(优化准则)→评价指标检验泛化能力;
- 核心矛盾:模型复杂度与泛化能力的平衡(用正则化、交叉验证等方法解决);
- 重要区分:监督(有标签)、无监督(无标签)、强化学习(互动奖励)的适用场景,以及传统特征学习与深度学习的差异(端到端vs人工设计)。
2.9.2 深入阅读推荐
如果想系统掌握机器学习的理论和方法,推荐以下资料:
- 经典教材:《机器学习》(周志华,“西瓜书”)、《统计学习方法》(李航)、《Pattern Recognition and Machine Learning》(Bishop);
- 统计学习深入:《The Elements of Statistical Learning》(Hastie等,“统计学习圣经”);
- 表示学习综述:Bengio等人2013年的《Representation Learning: A Review and New Perspectives》;
- 理论基础:《Statistical Learning Theory》(Vapnik,PAC学习理论的核心著作)。
1万+



被折叠的 条评论
为什么被折叠?



