机器学习周志华第三章笔记

最新推荐文章于 2024-11-20 23:49:26 发布
最新推荐文章于 2024-11-20 23:49:26 发布
阅读量327 收藏
点赞数

线性回归回顾

linear Algebra 线性代数
matrix 矩阵
vector 向量 只有一列的矩阵

ha_ha515
关注
《机器学习》--周志华 （第三章学习笔记）
Cristal_yin的博客
07-30 2491
线性模型基本形式线性模型试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+...+wdxd+bf(x) = w_1x_1 + w_2x_2+ ... +w_dx_d +b一般用向量形式写成f(x)=wTx+bf(x) = w^Tx + b线性模型形式简单、易于建模，但却蕴涵着机器学习中一些重要的基本思想。线性回归 线性模型线性模型试图学得一个通过属性的线性组合来进行预测
周志华《机器学习》自学知识点笔记（第三章）
m0_74756644的博客
10-31 445
给定由d个属性描述的示例，其中是在第个属性上的取值，线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成其中和学得之后，模型就得以确定。线性模型形式简单、易于建模，许多功能更为强大的非线性模型(nonlinear model)可在线性模型的基础上通过引入层级结构或高维映射而得。此外，由于。
2019/9/12，机器学习（周志华）第三章及学习笔记
qq_31688497的博客
09-12 243
本章的内容是线性模型，先从简单的线性回归到应用于二分类的对数回归。 f(xi)=wxi+b, 为了确定线性模型中的w和b，用上一章提到的均方误差mse来求解，试图将mse最小化来得到线性模型中较好的w和b（理论上是最好的），这种方法称为最小二乘法。 最小二乘法在其他领域也有用途，例如在我之前的视差图精化的亚像素插值中也用到了最小二乘法拟合。而此处线性回归中的最小二乘法是指找到一条直线，使所有样本到...
周志华《机器学习》笔记（三）——第3章 线性模型
CSU干饭人的博客
07-15 279
第3章 线性模型1、线性回归2、逻辑回归（对数几率回归）3、线性判别分析（LDA）4、多分类学习5、类别不平衡 线性模型是神经网络和深度学习的基础，原理比较简单，主要看书就行，重点是线性回归和对数几率回归这两节。 1、线性回归 求解方法：用最小二乘法使均方误差最小化，可以求出最优解。 2、逻辑回归（对数几率回归） 线性模型外面套上一层Sigmoid函数，就可以解决二分类问题。求解方法与线性回归一样，用最小二乘法最小化均方误差。 3、线性判别分析（LDA） 将数据的特征点（坐标）投影到一条直线上，使同类样
【机器学习-周志华】阅读笔记-第三章
Steven_Jackson的博客
03-08 428
第三章-线性模型 线性模型是机器学习中常见的判别工具，其试图学的一个通过属性的线性组合来进行预测的函数，其基本形式为： 也就是说，通过输入x，代入公式计算，即可得到其对应的预测结果 问题在于：如何获得w和b？ 计算机可以通过计算f(x)与真实的y的差值，来获得对当前w和b的评价（代价函数），进而不断优化w和b。 在代价函数中，分别对w和b求导，另导数为0，可以得到最小化代价函数的...
周志华机器学习读后总结 第三章
baidu_32142047的博客
10-21 667
线性模型 基本形式 线性模型试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=w1x1+w2x2+…+wdxd+b,w和b学得之后，模型就得以确定，而w直观表达了各属性在预测中的重要性。 线性回归 线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记。线性回归试图学得f(xi)=wxi+b,使得f(xi)约等于yi。要确定w和b,关键在于如何衡量f(x)与y之间
周志华——机器学习 第三章笔记
m0_62833130的博客
01-16 789
机器学习的线性模型、对数几率回归、线性判别分析LDA、多分类学习。
周志华《机器学习》自学知识点笔记（第八章）
m0_74756644的博客
11-20 708
集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifer system)、基于委员会的学习(committee-based learning)等。图8-1显示出集成学习的一般结构：先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来。图8-1 集成学习示意图。
（读书笔记）周志华-机器学习-第二章 模型评估与选择
Aylson的博客
08-08 1309
1.错误率（分类错误的样本数占样本总数的比例），即如果在 m 个样本中有α个样本分类错误，则错误率E=α/m;2.精度（1-错误率）即1-a/m；3.误差（学习器的实际预测输出与样本的真实输出之间的差异）；训练误差/经验误差（学习器在训练集上的误差）；泛化误差（在新样本上的误差）；我们实际希望的，是在新样本上能表现得很好的学习器.为了达到这个目的，应该从训练样本中尽可能学出适用于所有潜在样本的"普遍规律"，这样才能在遇到新样本时做出正确的判别。基于这个会出现“过拟合”和“欠拟合”两种现象。
《机器学习》周志华西瓜书笔记
flashdesigner的博客
09-09 1773
导数（Derivative）是微积分中的一个核心概念，它描述了函数在某一点附近的变化率。具体来说，对于函数y=f(x)，在点x0处的导数定义为：这里，Δx是一个很小的增量，它表示x从x0​变化到x0​+Δx时，函数值f(x)的变化量与Δx之比的极限。如果这个极限存在，那么我们就说函数f(x)在点x0​处是可导的，并且称这个极限值为函数在点x0​处的导数，记作或，有时也简记为y′ 或 ​（当不特别指明x0​时）。导数的几何意义是函数图像在点x0。
《机器学习》-周志华 第三章：线性模型 读书笔记二
虎哥的铲屎员
07-01 334
文章目录3.4线性判别分析LDA(linear discriminant analysis)3.4.1 二分类推导3.4.2 多分类推导3.5 多分类学习3.6类别不平衡问题 3.4线性判别分析LDA(linear discriminant analysis) 给定训练样例集，将样例投影到一条直线上，是同类样例的投影点尽可能近，非同类样例投影点尽可能远。在新样本分类时，投影到同样的直线上，再根据投...
笔记（三）机器学习（周志华）第3章 线性模型
lzbmc的博客
08-25 904
第3章 线性模型1. 基本形式2. 线性回归2.1. 回归 VS 分类2.2. 什么是线性回归2.3. 离散属性连续化2.3.1. 属性值间有序2.3.2. 属性值间无序2.4. 已知数据集D，如何确定参数w和b均方误差最小二乘法2.5. 求解w和b2.6. 多元线性回归 1. 基本形式 定义：试图学得一个通过属性的线性组合来进行预测的函数 公式   向量形式： 线性模型有良好的可解释性，每个属...
机器学习笔记（周志华）3
这是一个学渣
09-27 475
1·    第三章 线性模型 3.1基本形式 非线性模型可以在线性模型的基础上通过引入层级结构或高维映射而得 3.2线性回归 对离散属性，若属性值间存在“序”关系，比如{1，0}，若属性值间不存在序关系，假定有k个属性值，则通常转化为k维向量，  线性回归试图学得f(Xi)=WXi+Bi,使得f(Xi)≈Yi 均方误差是回归中最常用的性能度量，因此我们可以试图让均方误差最小化 均方误...
周志华《机器学习》第三章 - 线性模型
lens_的博客
05-16 801
第三章 - 线性模型1.1 基本形式1.2 线性回归 1.1 基本形式 给定由 d 个属性描述的示例 x = (X1; X2;…; Xd) ， 其中xi是 x在第 i个属性上的取值，线性模型 (linear model)试图学得一个通过属性的线性组合来进行预测的函数，即 一般用向量形式写成 其中 ω=(ω1 ;ω2;… ;ωd) ω 和 b 学得之后，模型就得以确定. 线性模型形式简单、易于建...
周志华机器学习第三章理解
小x的博客
06-04 812
下面即将是一个大坑~~~：嗯，这里貌似不好推导出来啊，然后无奈之下，上网找到了这个~： 
机器学习_周志华 第三章 线性模型 学习笔记 3.3 3.4-3.6（略）
jugexiaolizi的博客
10-31 1201
文章仅用来记录学习，若有侵权行为，联系我，将删除 3.3 对数几率回归 对数几率回归是线性模型在进行分类任务时的一种运用。 当我们要用线性模型去进行分类任务时，我们可以根据 3.2 中所提到的广义线性模型，找到一个单调可微函数  ,将分类任务的真实标记  与线性回归模型的预测值联系起来。 对于二分类的任务，输出标记  ，但我们由线性回归模型所产生的预测值  是一个实值，所以我们要办法，...
《机器学习》-周志华 第三章：线性模型 读书笔记一
虎哥的铲屎员
06-25 451
文章目录3.1 线性回归3.1.2 只有一个属性时平方损失是凸函数的证明3.1.2 多元线性回归当$X^TX$是正定矩阵时平方损失是凸函数的证明$X^TX$不满秩时3.2 广义线性模型3.2.1指数分布族3.2.2广义线性模型的三条假设3.3 对数几率回归(logistic regression)3.3.1用logit变换解释模型3.3.2用广义线性模型解释模型3.3.3 梯度下降求解3.3.4 ...
机器学习 -- 《机器学习》(周志华) 第三章
Zhou_Yulong的博客
08-24 1242
机器学习 – 《机器学习》(周志华) 第三章 笔记 正交回归 点距离线的距离是正交回归 线性回归 点垂直方向到线的距离 将离散特征转为线性公式 极大似然估计 用途：估计概率分布的参数值 方法： 写出随机变量X的概率密度函数 写出似然函数 求出使得L(μ，σ^2) 取到最大值的μ，σ 概率密度函数 最小二乘法 基于方误差最小化来进行求解的方法 凸集1 凸函数时需要，最优化领域凹凸性与高数中不同 梯度 梯度为 多元 函数的一阶导数 线性判别分析 给定训练集，将样例
<机器学习>(周志华)读书笔记 -- 第三章 线性模型
ANONYMOUSLYCN的专栏
02-19 1481
3.1 基本形式 为啥叫做线性模型呢？因为这个很像是f（x）=ax+b的形式，在图形上看是一个直线，只是斜率和截距不一样而已。 3.2 线性回归 这个就有意思了，这里x是给的数值，f(x)是预测值，w，b是变量，那么变量的更新就是个大问题，其实神经网络在这里也是面临了这个问题，就是变量的更新。 这里先是放置了一个w，b的更新的大致方向，就是使得预测和真实值接近嘛。然后化简一
机器学习周志华第四章
最新发布
02-14
### 周志华《机器学习》第四章内容概述 周志华编著的《机器学习》第四章主要聚焦于决策树这一重要的监督学习方法[^3]。该章节深入探讨了决策树的学习过程及其应用，具体涵盖了以下几个方面： #### 1. 决策树简介 介绍了决策树作为一种基本分类工具的概念和发展历史。 #### 2. 划分选择标准 讨论了几种不同的划分选择标准，包括但不限于： - **ID3算法** 使用信息增益作为衡量指标来决定如何分割数据集；然而这种方法倾向于选择具有更多取值可能性的特征。 - **C4.5算法** 改进了这一点，采用信息增益率代替简单的信息增益，从而更公平地对待不同数量级别的离散变量。 - **CART (Classification And Regression Trees)** 方法，则基于基尼系数来进行节点分裂的选择。 ```python def calculate_information_gain(data, feature): # 计算给定数据集的信息熵 entropy_before_split = compute_entropy(data) weighted_entropies_after_split = [] for value in set([row[feature] for row in data]): subset = [row for row in data if row[feature] == value] probability_of_value = len(subset)/len(data) entropy_for_subset = compute_entropy(subset) weighted_entropies_after_split.append(probability_of_value * entropy_for_subset) information_gain = entropy_before_split - sum(weighted_entropies_after_split) return information_gain def choose_best_feature_to_split(data): best_info_gain = -1 best_feature_index = None num_features = len(data[0]) - 1 # 减去标签列 for i in range(num_features): info_gain = calculate_information_gain(data, i) if(info_gain > best_info_gain): best_info_gain = info_gain best_feature_index = i return best_feature_index ``` #### 3. 过拟合处理 解释了过拟合现象以及通过剪枝等方式减少这种风险的方法和技术细节。 #### 4. 实践案例分析 提供了多个实际应用场景中的例子，并指导读者理解如何构建有效的决策树模型。 对于希望进一步了解或获取更多关于此主题资料的朋友来说，《机器学习》这本书本身就是一个非常好的起点。此外，在线平台上也有许多开源项目和教程可以帮助加深理解和实践操作技能[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值