Datawhale 西瓜书第三章

最新推荐文章于 2025-09-16 12:12:32 发布
原创 最新推荐文章于 2025-09-16 12:12:32 发布 · 193 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了线性模型如何解决二分类和多分类问题，包括线性回归、对数几率回归（逻辑回归）以及线性判别分析（LDA）。线性回归通过均方误差作为损失函数；对数几率回归引入sigmoid函数处理分类问题，损失函数采用交叉熵；LDA作为一种降维方法，目标是最大化类别间方差。

    本章主要介绍线性模型进行二分类和多分类问题。

 1、线性回归   线性回归模型在机器学习中应用广泛，通常，线性模型表示为属性的显性组合，即

f(x)=w_1x_1+w_2x_2+...+w_dx_d+b

    更一般的形式为：f(\textbf{x})=\textbf{w}^T\textbf{x}+\textbf{b}

    损失函数定义为真实值与预测值之间的差，通常使用均方误差来表示：

E_{(w, b)} = \sum_{i=1}^m(f(x_i) - y_i)^2 = \sum_{i=1}^m(wx_i + b - y_i)^2

2、对数几率回归

       显性回归通常用于模型对真实样本的拟合，无法解决分类问题，为此，对数回归几率模型引入单调可微的sigmoid函数（与深度学习中的激活函数类似），也叫逻辑函数，定义为：

f(z) = \frac{1}{1 + e^{-z}}

 对数几率回归的损失函数定义为：

L(w,b) = \prod_{i=1}^m P(y_i|x_i;w, b)

    使用极大似然估计对模型参数进行估计，就可以得到对数几率回归模型。

3、线性判别分析（LDA）

      此LDA模型非主体模型中的LDA（Latent Dirichlet Allocation），其实是一种降维的方法，将样本投影到二维的直线上。 该模型的目标函数为：

J = \frac{\parallel w^T \mu_0 - w^T \mu_1 \parallel_2^2}{w^T \sum_0 w + w^T \sum_1 w} = \frac{w^T (\mu_0 - \mu_1)(\mu_0 - \mu_1)^T w}{w^T (\sum_0 + \sum_1) w}

shell
关注
datawhale西瓜书打卡——第三章“线性模型”
nebula1008的博客
12-20 336
日常事情多，计划的五天学习任务最后只花了一个多小时看完。有些比较硬核的数学推导直接掠过。原因有二，一是推导花时间，最近要应付的任务多；二是涉及的线代和概统这块的数学知识很久没接触了，大一那会学的也不是十分透彻，需要专门找段时间补补。 现在的目标是系统梳理和疏通一下平常接触到的那些概念。 第三章是线性模型，线性模型，啊，那是耳熟能详，但是仔细一想又好像抓不住内核。这是因为平常听多了某个术语会产生我们已经了解这方面知识的错觉。生活经常这样，太多阻止你通向真理的障眼术了。 面对这种情况呢，首先问自己，这个东西（术
Datawhale西瓜书学习笔记TASK6——神经网络
C2587593227的博客
11-28 1161
周志华西瓜书，机器学习，神经网络。
Datawhale 西瓜书第六章
shell的专栏
07-29 169
1、间隔与支持向量 分类的核心思想是在给定的样本空间寻找超平面，将不同类别的样本分开。在样本空间中，超平面 其中，为法向量，决定了超平面你的方向，b为位移项，决定超平面与原点之间的距离。任意点到超平面的距离可以表示为： 如果超平面（w,b）能够正确的对样本进行分类，对于，若有,如果，则有,满足改条件的样本点称之为支持向量（support vector） 2、对偶问题 对偶问题是优化中的经典问题，如果现有的规划问题无法求解，或者很难求解，可以将其转...
Datawhale 西瓜书第五章
shell的专栏
07-25 310
1、神经元模型 神经网络模型是近年来最火的机器学习算法，不仅在CV、NLP、语音处理等领域应用较多，在社会科学、管理科学、机器人等多学科交叉领域有广泛的应用。神经网络模型最基本的模型是多层感知机模型，该模型在上个世纪八九是年代就已经出现，但是由于当时计算机处理能力有限，在机器学习方面应用有限。 神经网络中最基本的模型是神经元（neuron）模型，神经元接收来自N个其他神经元的信号，通过带权重的连接进行传递。神经元接收的输入与神经元阈值进行比较，通过激活函数进行输出。 ...
Datawhale 西瓜书第四章
shell的专栏
07-22 118
1、决策树基本流程 决策树是模拟树状的决策过程，包括根节点、叶子节点和内部节点。根节点包括样本全集，叶子节点表示决策结果。决策树计算的过程就是寻找一条从根节点到叶子节点的路径。 基本算法过程为： 2、划分选择 决策树是递归过程，分为三种情况： （1）当前节点包含的样本全属于同一类别，无需化划分。 （2）当前属性集为空，或是所有样本在所有属性上取值相同，无法划分。 （3）当前节点包含的样本集合为空，不能划分。 ...
DataWhale西瓜书第一第二章学习笔记
akriver的博客
12-16 1121
机器学习；读书笔记
Datawhale 西瓜书第一、二章
shell的专栏
07-13 121
第1章 绪论 主要阐述了机器学习的基本概念、基本假设和发展历程。重要的概念如下： 数据集：示例的集合，示例是对事件或者对象的描述。 属性/特征：事件或者对象某方面的对象与性质。 属性空间/样本空间/输入空间：属性张成的空间。 学习/训练：从数据中得到模型的过程，学习的样本称为训练集，学习出的模型称为学习器。 测试：使用模型进行预测的过程，被预测的样本称为测试集。 监督学习：数据有标记信息（如回归，分类） 无监督学习：数据无标记信息（如聚类） 泛化能力：学得模型适用于新样本的能...
DataWhale-西瓜书+南瓜书第3章线性模型学习总结-Task02-202110
sinat_36892485的博客
10-18 251
3.1基本形式 样本，其中是在第i个属性上的取值。线性模型试图学得一个通过属性得线性组合来进行预测得函数，即 3.2 线性回归 3.2.1 一元线性回归 均方误差最小化，对w和b求导： 上面两个方程等于0可以得到 ...
Datawhale 西瓜书+南瓜书 Task1 第一、二章笔记
m0_71827731的博客
09-16 945
使用教程：西瓜书（周志华老师的《机器学习》)：微信读书西瓜书+南瓜书 吃瓜教程。
Datawhale西瓜书学习笔记TASK1——机器学习的相关基本概念
C2587593227的博客
11-13 1027
机器学习基础知识
DataWhale西瓜书（周志华《机器学习》）精读03
Xiao_Spring的博客
07-23 803
第四章 决策树 4.1 基本流程 一颗决策树包含一个根结点、若干个叶节点和若干个非叶子节点 根结点包含样本全集 基本流程遵循 分而治之 三种导致递归返回的情况： 当前结点包含的样本属于同一类（当前属性相同，比如都是脆的西瓜）； 当前属性集为空或只有一类（所有属性相同或当前属性为空，大脆西瓜）； 当前结点包含的样本集合为空（n = 0） 情况2，max（该属性）的样本 情况3，max（父节点）的样本 4.2 划分选择 这节讲解如何生成一颗决策树，主要有三个指标： 4.2.1 信息增益ID3 分别用下式计算
DataWhale西瓜书（周志华《机器学习》）精读02
Xiao_Spring的博客
07-20 319
第三章 线性模型 3.1 基本形式 f(x)=ω1x1+ω2x2+...+ωdxd+bf(x) = \omega _{1}x_{1} + \omega _{2}x_{2} + ... + \omega _{d}x_{d} +bf(x)=ω1​x1​+ω2​x2​+...+ωd​xd​+b 其中，ωi\omega_{i}ωi​和b表示线性模型的参数，需要由训练过程确定。 向量模式： f(x)=ωTx+bf(x) = \omega ^{T}x+bf(x)=ωTx+b 3.2 线性回归 f(xi)=ωxi+b,使
基于微信小程序平台开发的集家庭日常收支精细化记录多成员协同管理与智能财务分析于一体的云端家庭财务管理系统_微信小程序开发前端界面设计后端数据逻辑处理云数据库存储用户权限管.zip
12-04
基于微信小程序平台开发的集家庭日常收支精细化记录多成员协同管理与智能财务分析于一体的云端家庭财务管理系统_微信小程序开发前端界面设计后端数据逻辑处理云数据库存储用户权限管.zip
CursorSetup-x64-2.1.47.exe
最新发布
12-04
CursorSetup-x64-2.1.47.exe
动态覆盖的分布式策略，具有有限感知能力.zip
12-04
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
（55页PPT）智慧农业行业解决方案.pptx
12-04
（55页PPT）智慧农业行业解决方案.pptx
基于双目标 UCB 控制启发式算法的主动磁悬浮轴承 PID 隐式模型优化方法-基准函数测试（Matlab代码实现）
12-04
内容概要：本文提出了一种基于双目标UCB控制启发式算法的主动磁悬浮轴承PID隐式模型优化方法，并通过基准函数测试验证其有效性。该方法结合了多目标优化与启发式搜索策略，旨在提升主动磁悬浮轴承控制系统中PID参数整定的精度与稳定性，利用Matlab进行仿真代码实现，展示了在基于双目标 UCB 控制启发式算法的主动磁悬浮轴承 PID 隐式模型优化方法——基准函数测试（Matlab代码实现）复杂非线性系统建模与优化方面的应用潜力。; 适合人群：具备一定控制理论基础和Matlab编程能力的高校研究生、科研人员及从事自动化、机械电子工程等领域研发工作的技术人员。; 使用场景及目标：①用于主动磁悬浮轴承系统的高性能控制设计；②为PID控制器参数优化提供基于双目标UCB启发式算法的新思路；③适用于需要高精度、强鲁棒性控制的工业场景，如高速旋转机械、精密制造装备等。; 阅读建议：建议读者结合Matlab代码深入理解算法实现细节，重点关注双目标优化机制与UCB启发式策略的融合方式，并可通过替换不同基准函数进行扩展实验，进一步掌握其在实际控制系统优化中的调参技巧与适应性分析方法。
毕业设计基于深度学习的家庭用电量预测模型研究python源码+PPT材料+演示视频.zip
12-04
毕业设计基于深度学习的家庭用电量预测模型研究python源码+PPT材料+演示视频.zip
（48页PPT）某省市规划蓝图解决方案.pptx
12-04
（48页PPT）某省市规划蓝图解决方案.pptx
机器学习西瓜书第三章代码
03-25
<think>好的，我现在需要帮助用户找到《机器学习西瓜书》第三章的代码实现，并且用户特别提到用Python。首先，我得回忆一下第三章的内容。西瓜书的第三章主要是关于线性模型，包括线性回归、对数几率回归（也就是逻辑回归）、线性判别分析（LDA）以及多分类学习等。 接下来，我要考虑用户的需求。用户可能已经看过理论部分，现在需要实际的代码来加深理解或者应用。不过西瓜书本身并没有提供完整的代码，通常需要参考南瓜书或者其他开源项目，比如Datawhale的南瓜书项目，他们可能会有配套的代码实现。 然后，我需要检查提供的引用内容。根据用户给出的引用[2]，里面提到了第三章的线性模型和类别划分的编码矩阵，还有解码过程。引用[3]提到了第五章的神经网络代码，可能不太相关。引用[1]则涉及聚类算法的代码，属于后面的章节。所以主要的线索在引用[2]里，但具体代码实现可能需要更多信息。 接下来，我需要确定用户是否有其他资源可用。比如，南瓜书通常会有配套的代码，或者一些开源社区如GitHub上的项目。可能需要引导用户去这些地方查找。另外，用户可能不知道南瓜书的存在，所以需要提及这一点。 然后，考虑用户可能的深层需求。他们可能想通过代码来实践第三章的内容，比如实现线性回归、逻辑回归或者多分类问题。因此，除了直接指出资源的位置，最好也能提供一些简单的示例代码，帮助他们入门。比如，用sklearn实现线性回归或逻辑回归，或者手动编写梯度下降的代码。 另外，用户可能遇到的问题包括数据准备、参数设置、算法理解等，所以示例代码需要简单明了，并附有必要的注释。同时，需要注意代码的正确性，比如在逻辑回归中使用sigmoid函数，处理多分类时的策略如OvR或OvO。 最后，要确保回答结构清晰，分点列出资源链接和示例代码，并提醒用户参考书籍的具体页码，如引用中提到的南瓜书第56页和西瓜书第197页，但第三章可能需要不同的页码。不过用户的问题集中在第三章，可能需要确认正确的引用页码，但根据现有信息，引用[2]提到了第三章，所以可以引用它。 总结步骤： 1. 指出官方代码可能不完整，建议参考南瓜书和开源项目。 2. 提供GitHub链接，如Datawhale的南瓜书项目。 3. 给出线性回归和逻辑回归的示例代码，使用sklearn和手动实现。 4. 提及多分类学习的实现方法，如OvR和OvO。 5. 添加相关问题，帮助用户深入理解。</think>根据《机器学习》（西瓜书）第三章“线性模型”的理论内容，以下是代码实现思路及参考资源整理： --- ### 一、第三章核心算法及对应代码实现 第三章主要包含以下模型，代码实现方式如下： 1. **线性回归** - 手动实现梯度下降法： ```python import numpy as np # 生成数据 X = np.array([[1, 2], [2, 3], [3, 4]]) y = np.dot(X, np.array([1, 2])) + 3 + np.random.normal(0, 0.1, 3) # 梯度下降 w = np.random.randn(2) b = 0 lr = 0.01 for _ in range(1000): y_pred = np.dot(X, w) + b grad_w = np.dot(X.T, (y_pred - y)) / len(y) grad_b = np.mean(y_pred - y) w -= lr * grad_w b -= lr * grad_b print(f"权重: {w}, 偏置: {b}") ``` - 使用 `sklearn` 实现： ```python from sklearn.linear_model import LinearRegression model = LinearRegression().fit(X, y) print(f"权重: {model.coef_}, 偏置: {model.intercept_}") ``` 2. **对数几率回归（逻辑回归）** - Sigmoid函数与交叉熵损失实现： ```python def sigmoid(z): return 1 / (1 + np.exp(-z)) # 二分类逻辑回归梯度下降 X = np.array([[1, 2], [2, 3], [3, 4]]) y = np.array([0, 1, 1]) w = np.random.randn(2) b = 0 for _ in range(1000): logits = np.dot(X, w) + b probs = sigmoid(logits) grad_w = np.dot(X.T, (probs - y)) / len(y) grad_b = np.mean(probs - y) w -= lr * grad_w b -= lr * grad_b ``` - 使用 `sklearn` 实现： ```python from sklearn.linear_model import LogisticRegression model = LogisticRegression().fit(X, y) ``` 3. **线性判别分析（LDA）** ```python from sklearn.discriminant_analysis import LinearDiscriminantAnalysis model = LinearDiscriminantAnalysis().fit(X, y) ``` 4. **多分类学习（OvR/OvO策略）** ```python from sklearn.multiclass import OneVsRestClassifier, OneVsOneClassifier from sklearn.svm import SVC ovr_model = OneVsRestClassifier(SVC()).fit(X, y) ovo_model = OneVsOneClassifier(SVC()).fit(X, y) ``` --- ### 二、官方代码资源 1. **南瓜书配套代码** - GitHub仓库地址：[https://github.com/datawhalechina/pumpkin-book](https://github.com/datawhalechina/pumpkin-book) - 第三章代码文件通常命名为 `ch03_linear_models.ipynb`，包含线性回归、逻辑回归的推导与实现[^2]。 2. **第三方实现参考** - 线性模型完整实现（含梯度下降可视化）：[西瓜书线性模型代码示例](https://github.com/Vay-keen/Machine-learning-learning-notes) --- ### 三、关键理论对照 - **编码与解码策略**：多分类问题中，`OneVsRest` 对应“一对其余”（OvR），`OneVsOne` 对应“一对一”（OvO），分类结果通过编码矩阵组合后解码得到最终预测。 - **性能优化**：逻辑回归可通过调整正则化参数（如 `penalty='l2'`）或使用随机梯度下降（`SGDClassifier`）优化。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值