西瓜书学习笔记
关注
分享
扫一扫
Andrewings
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
西瓜书学习笔记——第一章：绪论
第一章：绪论1.1 引言1.2 基本术语1.3 假设空间1.4 归纳偏好“聪明”算法a永远好于“笨拙”算法b？1.1 引言机器学习的定义（由[Mitchell,1997]提出）：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。1.2 基本术语数据集（D）：记录的集合示例（instance）...原创 2019-05-15 16:59:20 · 684 阅读 · 0 评论 -
西瓜书学习笔记——第十五章：规则学习
15. 规则学习15.1 基本概念15.2 序列覆盖产生规则的策略15.3 剪枝优化15.4 一阶规则学习FOIL算法15.5 归纳逻辑程序设计15.1 基本概念规则学习是从训练数据中学习出一组能用于对未见示例进行判别的规则规则本身是一个贪心的搜索过程规则集合：规则集合中的每条规则都可以看作一个子模型，规则集合是这些子模型的一个集合冲突：当同一条示例被判别结果不同的多条规则覆盖时，称发...原创 2019-08-14 18:14:26 · 1519 阅读 · 2 评论 -
西瓜书学习笔记——第十三章：半监督学习
13.半监督学习13.1 未标记样本13.2 生成式方式高斯混合生成式模型其他生成式模型13.3 半监督SVMTSVM半监督支持向量机13.4 基于分歧的方法13.5 半监督聚类约束k均值算法（必连勿连）约束种子k均值算法（少量有标记样本）13.1 未标记样本训练样本集D由有标记样本集DlD_lDl和未标记样本集DuD_uDu组成，若使用传统监督学习算法，则只能使用DlD_lDl，DuD...原创 2019-08-01 20:29:50 · 2507 阅读 · 1 评论 -
西瓜书学习笔记——第十四章：概率图模型
14.概率图模型14.0 概率图模型14.1 隐马尔可夫模型14.2 马尔科夫随机场（MRF）14.3 条件随机场（CRF)14.4 学习与推断14.4.1 变量消去14.4.2 信念传播14.5 LDA话题模型14.0 概率图模型机器学习的核心在于根据一些已经观察到的证据(例如训练样本)来对未知变量进行估计和预测。其中基于概率的模型将学习任务归结为计算变量的概率分布，正如之前已经提到的：生成...原创 2019-08-07 22:41:51 · 1540 阅读 · 0 评论 -
西瓜书学习笔记——第十二章：计算学习理论
12. 计算学习理论12.1 基础知识泛化误差与经验误差12.2 PAC学习12.3 有限假设空间12.3.1 可分情形13.3.2 不可分情形12.4 VC维（无限假设空间）12.5 Rademacher复杂度12.6 稳定性12.1 基础知识计算机学习理论研究的是关于通过计算来进行学习的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证。例如：在什么条件...原创 2019-07-25 20:49:06 · 1523 阅读 · 1 评论 -
西瓜书学习笔记——第十一章：特征选择与稀疏学习
第十一章：特征选择与稀疏学习原创 2019-07-18 18:54:03 · 2083 阅读 · 0 评论 -
西瓜书学习笔记——第十章：降维与度量学习
10. 降维与度量学习10.1 k近邻学习10.2 低维嵌入经典降维方法：多维缩放(MDS)10.3 主成分分析10.1 k近邻学习k近邻学习（knn）是一种监督学习算法，它直接使用测试样本和训练样本，没有显示的训练过程，工作机制如下：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常，对于不同类型的任务，使用的预测方法不同：分类任...原创 2019-07-11 13:48:27 · 2300 阅读 · 2 评论 -
西瓜书学习笔记——第九章：聚类
9. 聚类9.1 聚类任务9.2 性能度量外部指标：定义外部指标内部指标定义簇内样本平均距离avg( C)簇内样本间最远距离diam( C )簇间最近样本距离$d_{min}(C)$簇中心间距$d_{cen}(C_i,C_j)$内部指标9.3 距离计算闵可夫斯基距离(Minkowski distance)曼哈顿距离(街区距离)欧氏距离切比雪夫距离根据属性的性质选择采用的距离有序属性无序属性混合属性...原创 2019-07-04 19:51:43 · 3726 阅读 · 3 评论 -
西瓜书学习笔记——第八章：集成学习
8.集成学习8.1 个体与集成8.2 Boosting8.1 个体与集成8.2 BoostingBoosting工作机制如下图所示：其中各个基学习器的对应权重由其误差计算确定，基学习器误差大的则对应的权重小，误差小的则对应权重大...原创 2019-06-27 18:52:51 · 2426 阅读 · 1 评论 -
西瓜书学习笔记——第二章：模型评估与选择
第2章：模型评估与选择2.1 经验误差与过拟合2.1.1 一些概念2.1.2 过拟合与欠拟合2.2 学习器泛化误差评估方法2.2.1 留出法2.2.2 交叉验证法交叉验证法的特例：留一法2.2.3 自助法（适合小数据集）2.2.4 调参与最终模型训练集，测试集，验证集2.3 性能度量（衡量模型泛化能力的标准）2.3.1 错误率与精度2.3.2 查准率、查全率与F1查准率-查全率曲线（P-R曲线）...原创 2019-06-20 20:31:16 · 1704 阅读 · 0 评论 -
西瓜书读书笔记——第七章：贝叶斯分类器
第七章：贝叶斯分类器7.1 贝叶斯决策论条件风险7.2 极大似然估计首先介绍一下贝叶斯公式：实际上，分母为全概率公式，分子为联合概率。在机器学习中，更常见的形式为P(B∣A)=P(A∣B)P(B)P(A)P(B|A)=\dfrac{P(A|B)P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)P(B)贝叶斯公式的作用在于将P(B|A)的估计转化为估计P(A|B)和P(B)7.1...原创 2019-06-13 22:12:39 · 2560 阅读 · 2 评论 -
西瓜书读书笔记——第五章：神经网络
西瓜书读书笔记——第五章：神经网络5.1 神经元模型5.2 感知机与多层网络5.2.1 感知机5.3 误差逆传播算法5.4 全局最小与局部极小5.1 神经元模型在生物神经网络中，每个神经元与其他神经元相连，当某个神经元兴奋时，它就会向其他相连的神经元传递化学物质，从而改变了这些神经元内的电位；如果某个神经元的电位超过了一个阈值(threshold)，那么就会被激活，即兴奋起来，向其他神经元发送...原创 2019-06-06 12:21:03 · 3324 阅读 · 1 评论 -
西瓜书学习笔记——第六章：支持向量机
西瓜书学习笔记——第六章：支持向量机6. 本章简介6.1 间隔与支持向量6.2 对偶问题6.3 核函数6.4 软间隔与正则化6.5 支持向量回归6.6 核方法6. 本章简介支持向量机（Support Vector Machine），简称SVM，是一种经典的二分类模型，属于监督学习算法。6.1节：介绍了支持向量机的目标是确定一个对样本的分类结果最鲁棒的线性分类器，即找到一个具有最大间隔的划分...原创 2019-05-30 21:50:16 · 4456 阅读 · 6 评论 -
西瓜书学习笔记——第四章：决策树
第四章：决策树4.1 基本流程4.1.1 决策树的结构4.1.2 决策树学习基本算法4.2 划分选择4.2.1 决策树学习的关键4.2.2 信息增益(information gain)信息熵属性a的信息增益$Gain(D,a)$4.2.3 增益率(gain ratio)4.2.4 基尼指数(Gini index)基尼值基尼指数(Gini index)4.3 剪枝处理（决策树对付过拟合的主要手段）4...原创 2019-05-23 11:31:31 · 3054 阅读 · 0 评论 -
西瓜书学习笔记——第三章：线性模型
第三章：线性模型3.1 基本形式3.2 线性回归对离散变量的处理3.2.1 对于样本只有一种属性的情况3.2.2 对于样本由d个属性描述的情况用矩阵形式表示：①当$X^{T}X$为满秩矩阵或正定矩阵时：②当$X^{T}X$不为满秩矩阵或正定矩阵时：3.2.3 广义线性模型（$y$的衍生）3.3 对数几率回归（用线性模型做分类任务）3.1 基本形式线性模型：试图学得一个通过属性的线性组合来进行...原创 2019-05-16 21:56:50 · 1668 阅读 · 0 评论 -
西瓜书学习笔记——第十六章：强化学习
16. 强化学习16.1 任务与奖赏16.1 任务与奖赏原创 2019-08-20 16:04:13 · 1270 阅读 · 0 评论