第2章 机器学习概述-01

【ML从入门到入土系列01】概述 文章目录1 ML基本概念 1 ML基本概念 如下图所示,ML 是计算机从数据中学习出规律,应用在新数据上做预测;其在互联网、生物、医疗、交通、金融等领域有着广泛应用。 阅读详情

第2章 机器学习概述

机器学习的核心是让计算机从数据中自动总结规律,再用规律预测未知数据——就像教小孩认数字,不用告诉他具体规则,看够多例子自然就能学会分辨新数字。本章先拆解机器学习的基础概念、核心要素,再通过线性回归实例帮你理解,最后讲解偏差-方差分解,帮你判断模型好坏的根源。

2.1 基本概念

要搞懂机器学习,先理清几个核心术语,用“买芒果”的例子就能轻松理解:

2.1.1 核心术语

  • 样本:每个要分析的对象(比如一个芒果),包含“特征”和“标签”。
  • 特征:描述样本的属性(比如芒果的颜色、大小、产地),通常整理成“特征向量”(比如用[黄色, 中等, 海南]这样的向量表示)。
  • 标签:样本的结果(比如芒果“甜”或“不甜”,连续值如“甜度8分”或离散值如“好/坏”)。
  • 数据集:一堆样本的集合,分两类:
    • 训练集:用来让模型“学习”规律的样本(比如先买100个芒果,记录特征和品尝后的标签);
    • 测试集:用来检验模型学得好不好的新样本(再买20个芒果,用模型预测甜度,看准不准)。
  • 模型:从特征到标签的映射函数(比如“颜色黄+产地海南→甜”的规律),用参数控制(比如参数决定“颜色”和“产地”对甜度的影响大小)。
  • 学习算法:找到最优模型参数的方法(比如通过100个训练样本,算出哪个参数组合能最准确预测甜度)。

2.1.2 基本流程

机器学习的核心逻辑很简单:

  1. 把训练集的样本(特征向量+标签)输入给学习算法;
  2. 算法从样本中找到最优参数,确定模型函数;
  3. 用这个模型,输入新样本的特征向量,直接输出预测标签(比如新芒果的甜度)。

关键要求:训练集和测试集的样本要“独立同分布”——简单说,都是从同一个市场、同一类芒果中随机选的,保证规律通用。

2.2 机器学习的三个基本要素

任何机器学习算法,本质都是“模型+学习准则+优化算法”的组合,缺一不可:

2.2.1 模型:定义“可能的规律集合”

模型是所有可能的映射函数的集合,核心是“假设空间”——我们认为数据的规律就藏在这个集合里。

  • 线性模型:最简单的模型,特征是线性组合(比如 甜度=0.3×颜色分 + 0.7×产地分 + 0.2),参数是权重(0.3、0.7)和偏置(0.2);
  • 非线性模型:特征经过非线性转换后再组合(比如 甜度=0.3×(颜色分)² + 0.7×log(产地分)),能捕捉更复杂的规律(比如“颜色特别黄的芒果甜度增长更快”)。

2.2.2 学习准则:判断“规律好不好”

学习准则是衡量模型预测结果和真实标签差距的标准,核心是“损失函数”和“风险最小化”。

  1. 损失函数:量化单个样本的预测误差
    • 0-1损失:预测对了为0,错了为1(简单直接,但不好优化);
    • 平方损失:(真实值-预测值)²(适合标签是连续值的回归问题,比如预测甜度);
    • 交叉熵损失:衡量预测概率和真实标签的差距(适合分类问题,比如判断芒果“好/坏”);
    • Hinge损失:更关注分类边界的稳定性(适合支持向量机等分类模型)。
  2. 风险最小化:
    • 经验风险最小化:让训练集上的平均损失最小(比如让100个芒果的预测误差平均最小);
    • 结构风险最小化:经验风险+正则化项(避免模型“死记硬背”训练集,比如加一个惩罚项,不让参数太大,解决过拟合)。
  3. 过拟合与欠拟合:
    • 过拟合:模型在训练集上预测超准,但在新样本(测试集)上误差大(比如记住了某个芒果的特殊斑点,误以为所有有斑点的都甜);
    • 欠拟合:模型太简单,连训练集的规律都没学会(比如只看颜色,忽略产地,很多黄芒果其实不甜)。

2.2.3 优化算法:找到“最优规律”

优化算法是寻找让风险最小的模型参数的方法,核心是“梯度下降”系列:

  • 参数与超参数:
    • 参数:模型自己学的(比如线性模型的权重);
    • 超参数:手动设置的(比如梯度下降的步长、正则化强度),需要调优。
  • 常用优化方法:
    • 批量梯度下降:每次用所有训练样本算梯度,稳定但慢;
    • 随机梯度下降:每次只用1个样本算梯度,快但波动大;
    • 小批量梯度下降:每次用一小部分样本(比如32个),兼顾速度和稳定性(最常用);
    • 提前停止:训练时用验证集监控,一旦验证集误差不下降就停止,避免过拟合。

2.3 机器学习的简单示例——线性回归

线性回归是最基础的机器学习模型,核心是“用线性函数拟合连续标签”(比如预测芒果甜度、房价、温度),我们结合前面的三要素,看它怎么落地。

2.3.1 模型定义

线性回归的模型很简单:预测值 = 特征的线性组合 + 偏置,公式简化为:
[ f(x; w) = w^{\top}x ]
其中 (w) 是权重向量(每个特征的重要程度),(x) 是特征向量。比如预测甜度:(f(x) = 0.5×颜色分 + 0.3×大小分 + 0.1×产地分)。

2.3.2 参数学习:四种常用方法

参数学习就是找最优的 (w),让预测更准,四种方法各有侧重:

  1. 经验风险最小化(最小二乘法):
    • 核心:让所有训练样本的“预测值-真实值”的平方和最小;
    • 结果:直接通过公式算出最优 (w)(只要数据满足条件),简单高效,但容易过拟合(比如特征多的时候)。
  2. 结构风险最小化(岭回归):
    • 核心:在最小二乘法基础上,加一个正则化项(惩罚权重太大的参数);
    • 解决问题:避免特征之间相关性强导致的参数不稳定(比如“产地分”和“气候分”高度相关,最小二乘法会算错权重)。
  3. 最大似然估计:
    • 核心:假设标签服从正态分布,找到让“现有训练样本出现概率最高”的参数;
    • 结果:和最小二乘法的解一样,从概率角度验证了最小二乘法的合理性。
  4. 最大后验估计:
    • 核心:给参数加一个先验分布(比如假设权重服从正态分布,不会太大),再找最可能的参数;
    • 结果:等价于带正则化的最小二乘法,进一步降低过拟合风险。

2.3.3 关键结论

  • 最小二乘法和最大似然估计本质一致,都是“拟合数据”;
  • 岭回归和最大后验估计是“拟合+正则化”,更适合实际场景(避免过拟合);
  • 当训练样本少、特征多的时候,优先用岭回归。

2.4 偏差-方差分解

模型预测不准,根源只有三类:偏差、方差、噪声。偏差-方差分解帮你精准定位问题。

2.4.1 核心定义

  • 偏差:模型的“拟合能力”——模型平均预测结果和真实值的差距(比如用“只看颜色”的简单模型预测甜度,平均误差大,偏差高);
  • 方差:模型的“泛化能力”——不同训练集训练出的模型,预测结果的波动(比如用“颜色+大小+斑点+纹理”的复杂模型,换一批训练样本,预测结果差很多,方差高);
  • 噪声:数据本身的误差(比如品尝甜度时的主观误差),无法通过优化模型消除。

2.4.2 期望错误的组成

模型的总体预测误差(期望错误)= 偏差² + 方差 + 噪声,三者关系如下:

  • 高偏差+低方差:模型太简单(欠拟合),比如用线性模型预测非线性数据(比如“甜度=颜色²”);
  • 低偏差+高方差:模型太复杂(过拟合),比如模型记住了训练集的噪声,新样本预测不准;
  • 理想状态:低偏差+低方差,模型既能拟合规律,又能稳定泛化。

2.4.3 实用启示

  • 当模型在训练集上误差大:大概率是高偏差(欠拟合),可以增加特征、提高模型复杂度(比如用非线性模型);
  • 当模型在训练集上误差小、测试集上误差大:大概率是高方差(过拟合),可以加正则化、减少特征、增加训练数据;
  • 正则化的本质:降低模型复杂度,减少方差,但会稍微增加偏差,核心是平衡两者。
1. spark ML概述 ML组件ML的标准API使用管道(pipeline)这样的方式,可以将多个算法或者数据处理过程整合到一个管道或者一个流程里运行,其中包含下面几个部分: 1. dataFrame:用于ML的dataset,保存数据 2. transformer:将一个dataFrame按照某种计算转换成另外一个dataFrame,例如把一个包含特征的dataFrame通过模型预测,生成一个包含特征和预测的data 阅读详情

相关推荐

[ML-01] 机器学习概述-2

四、机器学习工作流程 1 什么是机器学习 机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。 2 机器学习工作流程 机器学习工作流程总结 1.获取数据 2.数据基本处理 3.特征工程 4.机器学习(模型训练) 5.模型评估 结果达到要求,上线服务 没有达到要求,重新上面步骤 2.1 获取到的数据集介绍 数据简介 在数据集中一般: 一行数据我们称为一个样本 一列数据我们成为一个特征 有些数据有目标值(标签值),有些数据没有目标值(如上表中,电影类型就是这个数据集

柚子树's Blog 267

[ML-01] 机器学习概述-1

一、人工智能概述 1 人工智能应用场景 2 人工智能小案例 案例一: 参考链接:https://quickdraw.withgoogle.com 案例二: 参考链接:https://pjreddie.com/darknet/yolo/ 案例三: 查看更多:https://deepdreamgenerator.com/ 3 人工智能发展必备三要素: 数据 算法 计算力 CPU,GPU,TPU 计算力之CPU、GPU对比: CPU主要适合I\O密集型的任务 GPU主要适合计算密集型任

柚子树's Blog 1257

C#调用ML.NET(机器学习、人工智能预测)

我使用的VS2019版本,具体安装过程就不赘述了 这边我已经安装完了,就不演示了,安装过程可以自行。 后面我来展示下如何引用C#ML.NET 1创建项目 首先创建C#控制台项目 点击下一步就完成了,初始项目的创建 这个是建立完之后的初始项目 2数据准备 在使用ML.NET的时候需要准备好数据(数据可以从文件/数据库中获取) 我这边演示从文件中建立好,本次预测的销售额度 前期个人学习比较推荐使用EXCEL文件存入标本数据(需要转CSV文件)...

qq_21569035的博客 3454

DAY01:【ML】机器学习概述

本文系统介绍了机器学习与人工智能的核心概念。主要内容包括:1)AI、机器学习和深度学习的定义与关系;2)AI的发展历程、应用领域和计算基础(CPU/GPU/TPU);3)机器学习术语(样本/特征/标签等)和算法分类(监督/无监督/半监督/强化学习);4)建模流程(数据获取、特征工程、模型训练与评估);5)特征工程的关键环节(提取、预处理、降维等);6)模型拟合问题(欠拟合/过拟合)及解决原则。文章从基础概念到实践应用,全面阐述了机器学习的知识体系。

CH3_CH2_CHO的博客 1092

AS01-ML01DP3无线模块综合应用教程

AS01-ML01DP3无线模块是一种集成了数据处理、信号调节和无线通信功能的设备,专为低功耗、长距离无线数据传输设计。它能够实现在复杂环境下稳定传输数据,广泛应用于物联网和嵌入式系统领域。该模块支持多种无线通信标准,具备高度的可配置性,为开发者提供了极大的便利。

weixin_31163455的博客 1141

手把手教你用Verilog实现AT24C64的I2C读写(附完整仿真流程)

本文详细介绍了如何使用Verilog HDL设计AT24C64 EEPROM的I2C控制器,并配合ModelSim完成完整的仿真验证流程。内容涵盖I2C协议解析、Verilog状态机设计、AT24C64读写操作实现,以及仿真波形分析和调试技巧,为FPGA开发者提供了一套完整的EEPROM控制解决方案。

3c4x5z6v7b的博客 847

机器学习-01-机器学习概述

本系列是机器学习课程的第01篇,主要介绍机器学习概述

IT从业者的成长历程 1385

HOPE:基于强化学习的混合策略路径规划器,适用于多样化停车场景

本文提出了一种混合策略路径规划器(HOPE),用于解决自动停车中的路径规划问题。HOPE结合了强化学习(RL)和Reeds-Shepp(RS)曲线,通过动作掩码机制引导RL智能体的探索,并利用Transformer融合环境感知信息与掩码。该方法在多样且复杂的停车场景中实现了超过97%的成功率,并通过真实实验验证了其泛化能力。此外,本文还提出了基于空间与障碍物分布的停车场景难度分级标准,进一步提升了训练与评估的效率。实验结果表明,HOPE在规划成功率和跨场景泛化能力上均优于传统的基于规则算法和朴素强化学习方法

weixin_42783201的博客 1466

机器学习入门 01 —— 机器学习概述

文章目录系列文章机器学习概述1.1、人工智能概述1 人工智能应用场景2 人工智能小案例3 人工智能发展必备三要素4 人工智能、机器学习和深度学习5 小结1.2、人工智能发展历程1.3、人工智能主要分支1 计算机视觉2 语音识别3 文本挖掘/分类4 机器翻译5 机器人6 小结1.4、机器学习工作流程1 什么是机器学习2 机器学习工作流程获取的数据集数据基本处理特征工程机器学习模型评估3 小结1.5、算法分类1 监督学习2 无监督学习3 半监督学习4 强化学习5 小结1.6、模型评估1 分类模型评估2 回归模型

zcy的博客 4180

别再只用LSTM了!用Temporal Fusion Transformer (TFT) 搞定多变量时序预测,附PyTorch实战代码

本文介绍了Temporal Fusion Transformer (TFT) 在多变量时序预测中的优势,并提供了PyTorch实战代码。TFT通过三重注意力机制解决了LSTM在特征交互、静态特征处理和解释性方面的不足,显著提升了预测精度和可解释性。文章详细讲解了TFT的核心组件构建、数据预处理、模型训练技巧及可解释性分析,帮助开发者快速掌握这一先进时序预测技术。

weixin_33712987的博客 279

11、ThingsBoard集群部署k8s

今天终于有时间去搞这个啦,拖了很久了,一直没时间,因为我本地没有那么多机器资源,开虚拟机不够,如果租用阿里云服务器,需要有充值的时间,因为这个费用是按小时付费,需要有连贯的时间来搞才行,今天恰好有时间,就开始搞了,弄成功搞出来了,特地写博客记录下来。

AldrichEugene 993

机器学习——01 机器学习概述

人工智能三大概念(人工智能、机器学习、深度学习)、机器学习的应用领域和发展史、相关概念(样本、特征、标签与数据集)、机器学习算法分类(有监督、无监督、半监督、强化学习)、机器学习建模流程、特征工程、拟合概念与问题、`scikit-learn`库

念头通达 1189

AI测试:手把手教你用AI做Web自动化测试「喂饭教程」

本文介绍了基于MCP协议和使用 mcp-use + playwright-mcp 构建智能Web自动化测试框架的实践方法。通过整合大语言模型的理解能力与测试工具可靠性,该方案支持用自然语言描述测试流程,自动转换为可执行的测试步骤,提升测试效率,支持复杂场景和多步骤流程,为自动化测试提供了新思路。

blues_C的博客 1289

01 机器学习概述

介绍了机器学习的概念、机器学习三要素、参数估计的方法、机器学习算法的类型及偏差与方差的分解等。

weixin_43490087的博客 1241

Python 爬虫实战:爬取万方数据文献信息

本文介绍了基于Python爬虫技术合规获取万方数据文献信息的方法。通过分析万方数据的请求机制与反爬策略,采用requests库结合Session维持合法会话,实现了文献标题、摘要、作者等核心元数据的提取。文章详细讲解了Token验证、动态请求构造、JSON数据解析等关键技术,并提供了完整可运行代码。同时强调严格遵守《万方数据知识服务平台用户协议》,控制请求频率,仅限学术研究使用。该方案为万方数据文献信息获取提供了标准化解决方案,支持数据清洗、结构化存储及后续分析应用。

2503_91057718的博客 2140

6、核函数与再生核希尔伯特空间:原理、应用与实践

本文系统介绍了核函数与再生核希尔伯特空间(RKHS)的理论基础、核心性质及其在机器学习和信号处理中的广泛应用。文章从核方法的优势出发,阐述了其在非线性建模、正则化和算法核化方面的独特价值,并深入探讨了正定核、Mercer定理、表示定理等关键理论。通过构建多种标准核与工程专用核,展示了核函数的设计灵活性。结合支持向量回归(SVR)模型与多个MATLAB示例,详细说明了核方法的实际应用流程与操作技巧。最后,总结了核方法的应用领域、未来发展方向及学习实践建议,为读者提供了一套完整的理论与实践指南。

z2a3b4c5d的博客 146

机器学习第1章、第2章笔记,Datawhale组队学习Task01

maxmon 192

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

01 机器学习之概述

机器学习之概述 1.概述 机器学习是什么 人工智能的一个重要学科的分支,一个多领域交叉学科 一类数据驱动的方法,在数据上通过算法,总结模式、规律,从而应用在新的数据上 研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构,使之不断改善自身 广泛应用:互联网、生物、医疗、金融、能源、交通等等 2.基本概念 2.1 不同类型的问题 分类...

Song_Lynn的博客 385

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

机器学习__01__机器学习概述

机器学习的对象是数据,从数据出发,提取特征,抽象出数据模型,发现数据中的规律,再回到对新数据的分析和预测。

勇敢牛牛,不怕困难! 1985

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

01_机器学习课程概述

1、两个重要的人   图灵:图灵测试test   马文 李 闵斯基:提出人工智能 2、AI与ML与DL 限制其发展的:   1.computer能力   2. data大小   3.算法的发展 3、应用场景   1. 车辆识别   2.医疗诊断   3.图片艺术化     4.face++   5. NLP与news (DL)   6.data预测 ...

weixin_30239339的博客 384

01-机器学习概述

机器学习概述

魔镜er的学习笔记 280

ML 01、机器学习概论

http://www.cnblogs.com/ronny/p/4062658.html 机器学习原理、实现与实践——机器学习概论   如果一个系统能够通过执行某个过程改进它的性能,这就是学习。 ——— Herbert A. Simon 1. 机器学习是什么 计算机基于数据来构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 从上面的机器学习的

凌风探梅的专栏 800

Claude Design frontend-design 技能解析:为无品牌约束的前端界面确定大胆美学方向

本文基于开源仓库 system_prompts_leaks 中提取的 Anthropic Claude Design「Frontend design」技能原文([Anthropic/claude-design/skills/frontend-design/SKILL.md](https://link.gitcode.com/i/f8436f14113ee7310a12e393392912e1)),

gitblog_00267的博客 420

[ML-01] 机器学习概述-3

六、模型评估 模型评估是模型开发过程不可或缺的一部分。它有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。 按照数据集的目标值不同,可以把模型评估分为分类模型评估和回归模型评估。 1 分类模型评估 准确率 预测正确的数占样本总数的比例。 其他评价指标:精确率、召回率、F1-score、AUC指标等 2 回归模型评估 均方根误差(Root Mean Squared Error,RMSE) RMSE是一个衡量回归模型误差率的常用公式。 不过,它仅能比较误差是相同单位的模型。 举

柚子树's Blog 220
上一篇: 第1章 绪论
下一篇: 第2章 机器学习概述-02
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值