周志华《机器学习》西瓜书笔记——更到第5章

已于 2023-03-11 21:43:52 修改
阅读量1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 课堂笔记 数学 文章标签： 人工智能 深度学习 算法
于 2023-02-14 00:53:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wzixuan1/article/details/129019836

目录

第1章：绪论

第2章：模型评估与选择

评估方法

性能度量performance measure

比较检验：统计假设检验hypothesis test：以错误率为性能度量

偏差与方差

第3章：线性模型

线性回归linear regression

对数几率回归

线性判别分析

多分类学习

类别不平衡问题

第4章 决策树

划分选择

剪枝处理

连续与缺失值            

多变量决策树

第5章：神经网络neural networks

神经元模型

感知机与多层网络

误差逆传播算法

全局最小global minimum和局部极小local minimum

其他常见神经网络

深度学习

第1章：绪论

学习算法learning algorithm：假设用P来评估计算机程序在某任务类T上的性能， 若一个程序通过利用经验E 在T中任务上获得了性能改善，則我们就说关于T和P，该程序对E进行了学习

模型：指全局性结果，是算法产出的结果，例如一棵决策树

模式：指局部性结果，例如一条规则

数据集data set

示例instance=样本sample=特征向量feature vector：数据集中的每条记录

属性attribute=特征feature

属性值attribute value

属性空间attribute space=样本空间sample space=输入空间X

样本的维数dimensionality d：每个示例由d个属性描述

学习learning=训练training：从数据中学得模型的过程

训练数据training data：训练过程中使用的数据

训练样本training sample=训练示例training instance=训练例：训练中用的每个样本

训练集training set：训练样本组成的集合

测试testing：学得模型后，使用其进行预测的过程

测试样本testing sample=測试示例testing instance=测试例：被预测的样本

标记label：关于示例结果的信息，例如好瓜

样例example：拥有了标记信息的示例

标记空间label space=输出空间Y：所有标记的集合

新样本=未见示例unseen instance

泛化generalization：学得模型适用于新样本

假设hypothesis：学得模型对应的关于数据的某种潜在的规律

真相=真实ground-truth：这种潜在规律自身

学习器learner=模型：即学习算法在给定数据和参数空间上的实例化

预测prediction

分类classification：欲预测的是离散值的一类学习任务，例如好瓜or坏瓜

回归regression：欲预测的是连续值

二分类binary classification：只涉2个类别：正类positive class和负/反类negative class

多分类multi-class classification：可以分解为若干个二分类问题

聚类clustering：即将训练集中的西瓜分成若干组

簇cluster：每一个组

监督学习supervised learning=有导师学习：训练数据拥有标记信息，如分类、回归

无监督学习unsupervised learning=无导师学习：训练数据没有标记信息，如聚类

通常假设样本空间中全体样本服从一个未知分布distribution D，我们获得的每个样本都是独立地从这个分布上采样获得的，即独立同分布independent and identically distributed=i.i.d.

归纳induction：前者是从特殊到一般的泛化generalization过程

演绎deduction：从一般到特殊的特化specialization过程

归纳学习inductive learning

广义的归纳学习=从样例中学习

狭义的归纳学习=概念学习=概念形成：要求从训练数据中学得概念concept

机械学习=死记硬背式学习：记住训练样本

难点：

假设空间：假设房价与学校数量成正比，则房价预测问题的假设空间为一元一次函数

版本空间：与训练集一致的假设集合，即能够拟合训练集的模型构成的集合

析合范式=多个合取式的析取

归纳偏好inductive bias=偏好：如选择尽可能特殊，或选择尽可能一般的模型

属性选择=特征选择feature selection：在归纳偏好中对哪种属性更重视

奥卡姆剃刀Occarn's Tazor：若有多个假设与观察一致，则选最简单的那个

公式1.1-1.3：没有免费的午餐定理No Free Lunch Theorem=NFL：

所以，脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义，因为若考患所有潜在的问题，则所有学习算法都一样好

WEKA机器学习算法程序库：https://www.cs.waikato.ac.nz/ml/weka/

国内机器学习重要会议：中国机器学习大会CCML、机器学习及其应用研讨

会MLA

萨缪尔跳棋程序：早期计算机科学研究认为，计算机不可能完成事先没有显式编程好的任务，而萨缪尔跳棋程序香证了这个假设

1.5发展历程、1.6应用现状：略

第2章：模型评估与选择

错误率error rate：分类错误的样本数占样本总数的比例

精度accuracy=1-错误率

误差error：学习器的实际预测输出与样本的真实输出之间的差异

训练误差training error=经验误差：学习器在训练集上的误差

泛化误差generalization error：在新样本上的误差

过拟合=过配：学习器把训练样本学得“太好”了的时候，很可能己经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质。只要相信P不等于NP，过拟合就不可避免

欠拟合=欠配

模型选择model selection：考虑选用哪一个学习算法、使用哪一种参数配置

测试误差testing error：作为泛化误差的近似

验证集validation set：我们通常把学得模型在实际使用中遇到的数据称为测试数据，为了加以区分，模型评估与选择中用于评估测试的数据集常称为验证集

分层采样stratified sampling：保留类别比例的采样方式，为了保持数据分布的一致性

评估方法

留出法hold-out：

数据集D=训练集S∩测试集T，即将D划分为两个互斥的集合

在S上训练出模型后，用T水评估其测试误差

交叉验证法cross validation=k折交叉验证k-fold cross validation=k倍交叉验证：

将数据集D划分为k个大小相似的互斥子集

每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集

最终返回的是这k个测试结果的均值

p次k折交叉验证：

与留出法相似，将数据集D划分为k个子集同样存在多种划分方式.为减小因样本划分不同而引入的差别，k折交叉验证通常要随机使用不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均值

留一法Leave-One-Out=LOO：k=D中的样本个数，⊆k折交叉验证

自助法bootstrapping：

以自助采样法为基础，给定包含m个样本的数据集D，每次随机从

最低0.47元/天 解锁文章

200万优质内容无限畅学
周志华机器学习西瓜书 第八章 集成学习-学习笔记(超详细)
Sodas的博客
03-01 272
举个例子：假如集成学习器有9个个体，求的是集成学习错误率，即预测失败的概率。即在训练过程中每一轮中，根据样本分布为每个训练样本重新赋予一个权重，对无法接收带权样本的基学习算法，则可通过“重采样法”来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。随机森林的训练效率常优于Bagging，因此在个体决策树的构建过程中，Bagging使用的是“确定型”决策树，在选择划分属性时要对结点所有的属性进行考察，而随机森林使用的“随机型”决策树则只需考察一个属性子集。
《机器学习》周志华西瓜书笔记
flashdesigner的博客
09-09 1881
导数（Derivative）是微积分中的一个核心概念，它描述了函数在某一点附近的变化率。具体来说，对于函数y=f(x)，在点x0处的导数定义为：这里，Δx是一个很小的增量，它表示x从x0​变化到x0​+Δx时，函数值f(x)的变化量与Δx之比的极限。如果这个极限存在，那么我们就说函数f(x)在点x0​处是可导的，并且称这个极限值为函数在点x0​处的导数，记作或，有时也简记为y′ 或 ​（当不特别指明x0​时）。导数的几何意义是函数图像在点x0。
周志华《Machine Learning》学习笔记（17）--强化学习
热门推荐
VAY-长跑
07-20 3万+
上篇主要介绍了概率图模型，首先引出概率图模型的基本概念；接着分别介绍了隐马尔可夫模型、马尔可夫随机场、条件随机场、精确推断方法以及LDA模型：HMM围绕着评估/解码/学习三个问题展开论述；MRF基于团和势函数来定义联合概率分布；CRF引入两种特征函数对状态序列进行打分；变量消去与信念传播在给定联合分布后计算边际分布；LDA话题模型则试图去推断给定文档所蕴含的话题分布。本篇将介绍最后一种学习算法--强化学习。
周志华机器学习（西瓜书）学习笔记（持续更新）
yhdsss875的博客
11-04 1万+
《周志华机器学习》笔记第1章 绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好1.5 发展历程1.6 应用现状第2章 模型评估与选择 第1章 绪论 1.1 引言 机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。其所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即“学习算法”(learning algorithm)。 本书中，“模型”泛指从数据中学得的结果，有的文献中用“模型”指全局性结果，二用“模式”指局部性结果。 1.2 基本术语 要进行机器
读书笔记：《机器学习》周志华
houjing1990的博客
03-05 2294
《机器学习》周志华 第一章：绪论 泛化能力：学到模型适用于新样本的能力。衍生：泛化误差 归纳偏好：算法在机器学习过程中对某种假设的偏好 “奥卡姆剃刀”原则：若有多个假设与观察一致，则选最简单的那个 NFL定理：没有免费的午餐。算法没有优劣好坏，针对具体问题具体分析 第二章：模型评估与选择 2.1经验误差与过拟合P23 过拟合：为了得到一致假设而使假设变的过度复杂。模型过度拟合，在训
【周志华机器学习】 西瓜书吃瓜教程 学习笔记总结Task01
m0_57491311的博客
08-16 899
周志华机器学习西瓜书南瓜书吃瓜教程笔记总结，带有英文名词翻译便于记忆其概念专有名词。
周志华机器学习笔记（一）
Mai_Dreizehn的博客
04-27 2058
2 模型评估与选择 2.2 评估方法 2.2.1留出法 留出法直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。在S上训练出模型后，用T来评估其测试误差，作为对泛化误差的估计。 注意：训练/测试集的划分尽可能保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。常见做法是将大约2/3~4/5的样本用于训练，剩余样本用于测试 2.2.2...
周志华机器学习西瓜书第三章 线性模型学习笔记(超详细)
Sodas的博客
01-22 876
本章笔记非常详细适合基础薄弱者，整理了很多大佬的笔记和自己的理解，希望读者认真研究仔细推敲。
周志华《机器学习》(西瓜书) —— 学习笔记：第6章 支持向量机
月边云的博客
05-30 874
第6章 支持向量机
【机器学习】第一章 - 机器学习概论 - 周志华机器学习笔记
星辰不问
07-13 1501
【机器学习】第一章 - 机器学习概论 - 周志华机器学习笔记
周志华《机器学习》学习笔记（大全）
03-06
本文为周志华《机器学习》的学习笔记，记录了本人在学习这本书的过程中的理解思路以及一些有助于消化书内容的拓展知识，笔记中参考了许多网上的大牛经典博客以及李航《统计学习》的内容，向前辈们和知识致敬！
机器学习（周志华）学习笔记（一）
coral_55u的博客
03-19 1598
学习教材： 机器学习（周志华） 学习内容： 一、绪论 1.1 基本术语 数据集： 示例：关于一个事件或对象的描述。（Xi） 特征向量： 样本的维数：用于描述一个样本的属性个数。 标记：关于示例结果的信息。（Yi） 样例：标记信息的示例。 聚类：将训练集分成若干组。 泛化能力：学得模型适用于新样本得能力。 分类任务与回归任务的区别：分类任务用于预测离散值，回归任务用于预测连续值。 监督学习和无监督学习的区别：训练数据是否拥有标记信息。其中分类和回归是监督学习的代表，聚类是无监督学
周志华 机器学习 读书笔记
weixin_39915444的博客
09-03 651
分类(classification): 预测的是离散值, 比如“好瓜” “坏瓜”。 回归(regression): 预测的是连续值, 例如西瓜成熟度“0.79", "0.95"。 泛化(generalization): 学得模型适用于新样本的能力，称为"泛化" (generalization)能力. 数据挖掘(data mining): 从海量数据中发掘知识. ，数据库领域的研究为数据挖掘提...
周志华《机器学习》个人笔记
Toby的博客
02-02 6433
这本书比较像导论性质，整体给你介绍下机器学习领域有哪些研究分支，以及这些研究分支中成熟的经典算法。 这本书虽然也有算法描述，但这些算法都是实现底层机器学习算法的，如果没有编程基础或者现在主流的分布式编程的思想，想要直接自己动手据此写代码还是比较困难的。如果你想找的是直接上手coding的实践应用类的书籍，这本书可以放一放，等你先上手了再来。不是这本书难，其实它讲的东西都很简单，只是纯粹的它不是实践类的书籍。 它能给你打下的是不错的概念基础。让你整体认识下机器学习的门道。让你跟专业的人对话的时候，on t
周志华《机器学习》（西瓜书）——学习笔记
yanghe4405的博客
02-23 1531
第1章 绪论 1.1 引言 因为我们吃过、看过很多西瓜，所以基于色泽、根蒂、敲声这几个特征我们就可以做出相当好的判断.类似的，我们从以往的学习经验知道，下足了工夫、弄清了概念、做好了作业，自然会取得好成绩.可以看出，我们能做出有效的预判?是因为我们已经积累了许多经验，而通过对经验的利用?就能对新情况做出有效的决策. 机器学习所研究的主要内容，是关于在计算机上从数据中产生"模型" (model) 的算法，即"学习算法" (learning algorithm). 有了学习算法，我们把经验数据提供给它，它就能
周志华-机器学习
liqq234的博客
05-03 7322
第一章 绪论 思维导图 关键问题 1.假设空间 概念 所有属性可能取值构成的假设集合 计算 列出可能的样本点，即特征向量 2.版本空间 概念 与训练集一致的假设集合 习题: 1.1 计算步骤 先列出假设空间 删除与正例不一致，与反例一致的假设 得到版本空间 第一步 假设空间： 色泽取值：青绿、乌黑 根蒂取值：蜷缩、稍蜷 敲声取值： 浊响、沉闷 1. 色泽 = *, 根蒂 = *, 敲声 = * 2. 色泽 = 青绿, 根蒂 = *, 敲声 = * 3. 色泽 = 乌黑, 根蒂 = *, 敲
周志华《机器学习初步》学习笔记
m0_72326819的博客
01-30 225
读周志华《机器学习初步》有感
【机器学习】周志华《机器学习》西瓜书勘误：按章节排序整理（截至2024年1月第45次印刷）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
07-27 2005
本文整理了机器学习领域经典之作：南京大学周志华教授的《机器学习》（西瓜书）勘误。包含博主按章节排序整理（截至2024年1月第45次印刷）及原印刷排序两部分。
【周志华机器学习】 西瓜书吃瓜教程 学习笔记总结Task03
m0_57491311的博客
08-25 477
周志华机器学习西瓜书南瓜书吃瓜教程笔记总结，自用学习带有英文名词翻译便子记忆其概念专有名词。
周志华机器学习西瓜书第二章学习笔记
最新发布
01-24
### 关于周志华《机器学习》（西瓜书）第二章的学习笔记 #### 模型评估与选择概述 模型评估与选择是机器学习领域的重要组成部分，旨在通过合理的方法评价不同模型的表现并挑选最优者。这一过程不仅涉及如何衡量单个模型的好坏，还包括怎样对比多个候选方案以做出最佳决策。 #### 偏差、方差和噪声的概念解析 偏差度量了学习算法的期望预测与实际结果之间的差距，反映了算法自身的拟合精度；方差描述的是相同规模训练集变化引起的学习效果波动情况，体现了数据扰动带来的影响；而噪声则设定了给定任务下所有可能采用的学习方法能达到的最佳预期泛化误差界限，揭示了问题本身固有的复杂性和挑战性[^2]。 #### 性能度量指标——P-R图及其应用 为了更直观地展示各类分类器的工作特性，通常会绘制精确率-召回率(Precision-Recall, P-R)曲线来辅助分析。当面对多组实验结果时，可以通过观察这些图形相互间的位置关系来进行优劣评判：如果某条曲线始终位于另一条之上，则表明前者具有更好的整体表现；而对于那些存在交点的情况，则需进一步计算各自下方区域面积大小作为判断依据之一。此外，“平衡点”作为一种特殊的性能测度，在特定条件下也能提供有价值的参考信息[^3]。 #### 偏差-方差分解理论简介 该理论为理解学习算法的一般化能力提供了框架性的指导思路，通过对平均测试错误率实施拆分操作，可以深入剖析导致过拟合现象背后的原因所在，并据此探索改进措施的方向。具体而言，总误差由三部分构成——不可约减误差点（即噪声）、平方形式表达出来的偏差项以及线性累加而成的方差成分[^4]。 ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.metrics import precision_recall_curve, auc def evaluate_model_performance(model, X, y): """ 计算并返回PR曲线下面积(AUC)，用于量化模型的整体性能。 参数: model (object): 已经训练好的分类模型实例。 X (array-like of shape (n_samples, n_features)): 测试特征矩阵。 y (array-like of shape (n_samples,)): 对应的真实标签向量。 返回: float: PR AUC得分。 """ # 划分训练集/验证集 X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) # 使用训练集拟合模型 model.fit(X_train, y_train) # 获取验证集中各观测对应的概率估计值 probas_pred = model.predict_proba(X_val)[:, 1] # 绘制PR曲线并求得AUC分数 precisions, recalls, _ = precision_recall_curve(y_val, probas_pred) pr_auc_score = auc(recalls, precisions) return pr_auc_score ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值