《统计学习方法》笔记二

统计学习方法笔记(二)感知机 感知机于1957年由Rosenblatt提出,是一种线性分类模型,属于判别模型,直接学习判别函数,是神经网络和支持向量机的基础。 对于感知机的学习推导首先要知道他的模型是什么,然后是学习策略(损失函数),最后是学习算法。 1.    感知机的模型(假设空间): 其中符号函数为: 2.     感知机的学习策略(损失函数): 首先超平面为: 点到超平面的距 阅读详情

逻辑回归与最大墒

逻辑回归

logistic分布

这里写图片描述

logistic回归模型

这里写图片描述

逻辑回归中输出是输出的线性函数

这里写图片描述

多项logistic回归

这里写图片描述

最大墒模型

这里写图片描述

最大墒模型的最优化函数

这里写图片描述

拉格朗日转化

这里写图片描述
这里写图片描述

最大化过程的等价于最大熵模型的极大似然估计

这里写图片描述

最优化算法

*最优化算法待理解*

SVM

距离

当||W|| = 1 时,函数间隔等于几何间隔
这里写图片描述
这里写图片描述

间隔最大化

约束最优化问题

这里写图片描述
这里写图片描述

支持向量

这里写图片描述

对偶问题

这里写图片描述
这里写图片描述

线性可分支持向量机

这里写图片描述

软间隔

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

核技巧

  • 原空间数据线性不可分,转换到新空间实现线性可分
  • 支持向量机中目标函数和决策函数都只涉及输入实例与实例之间的内积,可以将内积用核函数替代

这里写图片描述
这里写图片描述

SMO算法

提升方法

AdaBoost

这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

提升树

这里写图片描述
这里写图片描述

《统计学习方法》笔记——决策树(二):CART CART算法   CART(分类与回归树)是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。   CART假设决策树是二叉树,内部结点特征的取值是“是”和“否”,左分支是取值为“是”的分支,右分支是取值为“否”的分支。   这样的决策树等价于递归地二分每个特征,将输入空间即特征空间划分为有限个单元,并在这些单元上确定预测的概率分布,也就是在输入给定的条件下输出条件概率分布。   CART算法由以下两步组成: (1)决策树生成:基于训练数据集生成决策树,生成的决策树要尽量大; (2)决策树剪 阅读详情

相关推荐

10xGenomics官方可视化工具——Loupe Browser

Loupe Browser是⼀款10xGenomics开发的交互式桌⾯应⽤程序,⽤于探索10x单细胞数据,可以用来找出感兴趣的细胞、找出显著差异表达的基因、鉴定细胞类型、探索细胞亚类和数据共享。

weixin_47195452的博客 3358

统计学习方法笔记二

统计学习方法笔记(二) 1.4模型评估与模型选择 训练误差与测试误差 假设学习到的模型是: Y=f^(X)Y=f^(X)Y=\hat{f}(X) 训练误差是模型关于训练数据集的平均损失: Remp(f^)=1N∑Ni=1L(yi,f^(xi))Remp(f^)=1N∑i=1NL(yi,f^(xi))R_{emp}(\hat{f})=\frac{1}{N}\sum^N_{i=1}...

qq_39494028的博客 181

Vivado 2023.1及更早版本永久License全功能解锁:HLS、System Generator等IP核使用详解

本文深入解析Vivado 2023.1及更早版本的全功能许可证,详细指导如何解锁HLS、System Generator等高级IP核。通过许可证类型对比、功能验证方法和实战应用指南,帮助FPGA开发者充分利用Vivado工具套件,提升复杂系统设计和算法加速的效率。

weixin_31286719的博客 380

机器学习 统计学习方法笔记(二)

第一章 统计学习方法概论 目录 统计学习  统计学习特点 统计学习对象 统计学习目的 统计学习分类  统计学习方法三要素 统计学方法步骤 监督学习  三要素 模型 策略 损失函数  经验损失或经验风险  经验风险最小化  结构风险最小化  算法 统计学习  统计学习特点 1.平        台:计算机及网络 2.研究对象:数据,是数据驱动的学...

xiaoxiaoliluo917的博客 476

具身智能中的运动控制如何入门?

本文提出计算机视觉(CV)与强化学习(RL)结合的机器人运动控制学习路径。强调工程实践导向,建议采用"算法-机器人-工程"三阶段学习法:基础阶段掌握RL核心算法(PPO/SAC)和机器人动力学;进阶阶段聚焦Sim2Real技术(域随机化、模仿学习)和仿真环境搭建;深耕阶段结合CV优势开发视觉闭环控制等创新方向。特别指出应避免纯理论学习,提倡"最小知识原则"的实践模式,通过具体项目(如四足机器人控制)串联知识体系。推荐以《现代机器人学》等工具书为参考,配合开源框架(Pi

CyberSoma的博客 321

ComfyUI入门学习-教程篇

深入的 ComfyUI 教程,不同功能节点的详细指南。一个比较有意思的Comfyui教程,动画式学习。从安装到基础教程、高级教程再到各种工作流。非常全面,有教程有搭建好的工作流。

wincyfu的博客 1329

统计学习方法笔记(二)

感知机 首先,什么是感知机(perceptron):一种二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。 感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面,属于判别模型。 感知机模型 别被分成正、负两类。超平面S称为分离超平面(separating hyperplane)。 感知机学习:由训练数据集(实例的特征向量及类别)求得感知机模型(2....

bujidaodxbc的博客 157

国密SSL通信的调试技巧

前面写了几篇国密开发相关的文章:解读国密非对称加密算法SM2啥?双证书?详解国密SM2的加密和解密详解国密SSL ECC_SM4_SM3套件详解国密SM2的数字签名这篇文章来聊一聊国密S...

云水木石 3206

《统计学习方法》笔记(二)

统计学习方法三要素: 1.模型 分为概率模型(条件概率分布)和非概率模型(决策函数) 2.策略 损失函数和风险函数 风险函数又分为经验风险和结构风险 3.算法 根本是在解决最优化问题

司马羽鹤 289

Agent Skills应用解析:构建可扩展、高效率AI探员

Agent Skills是一个简洁而强大的概念:它是一个包含组织化的指令、脚本和资源的文件夹,智能体可以动态地发现并加载这些内容,以在特定任务中表现更佳。可组合性(Composability):一个Agent Skill是一个独立的、封装良好的能力单元。开发者可以为不同的功能(例如PDF处理、网络浏览、数据分析)创建独立的技能,然后根据需要将它们组合起来,赋能不同的智能体。这意味着不再需要为每个用例构建碎片化、定制设计的智能体,而是可以通过组合现有技能来快速构建新的专业智能体。

形上得其象,形下合于数;阴阳自济,玄理自明。 1627

ReAct框架到多智能体协作:OpenClaw任务分解机制的演进与突破

AI的最终价值是落地,是帮用户解决实际问题,而不是停留在聊天界面里。从ReAct框架到多智能体协作,OpenClaw的任务分解体系走了一条非常务实的路线:所有的优化都是为了解决真实场景里的痛点,所有的设计都是为了让用户用起来更省心。很多人说现在的AI还是“人工智障”,那是因为他们没有用到真正能落地的AI产品。当你用过OpenClaw,体验过你说一句话它就能把一整套复杂任务全都做完的感觉,你就会明白:AI代替人做重复性工作的时代,已经真的来了。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 311

《统计学习方法》学习笔记二

第7章 支持向量机

自然语言处理大大大菜鸟 940

Google Earth Engine(GEE)——使用归一化燃烧指数 (NBR) 绘制地表烧伤严重程度图

归一化燃烧指数(Normalized Burn Ratio, NBR)是一种遥感指标,用于评估野火或烧伤地面后的植被恢复情况。NBR能增强较大范围的火灾区域,如大于200公顷。它是通过比较远红外波段 (SWIR) 和近红外波段 (NIR) 的反射率来计算的。SWIR波段测量烧伤地面的反射率,NIR波段测量没有受到烧伤影响的植被的反射率。NBR的计算公式为:NBR =(NIR-SWIR)/(NIR + SWIR)。其中,NIR为近红外波段,SWIR为短波红外波段。

此星光明博客 3464

统计学习方法笔记(二):k近邻法

k 近邻法的输入为实例的特征向量,对应于特征空间的点;输出为实例的类别,可以取多类. k 近邻法假设给定一个训练数据集,其中的实例类别已定.分类时,对新的实例,根据其 k 个最近邻的训练实例的类别,通过多数表决等方式进行预测。

hnbxs的博客 1756

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

统计学习方法笔记(二)统计学习方法简介

模型评估与模型选择 训练误差与测试误差: 引入训练误差与测试误差的概念,当损失函数给定之后,训练误差与测试误差就成为学习方法评估的标准,需要注意的是,学习方法采用的损失函数未必就是评估时采用的损失函数,让两者一致是比较理想的。 假设学习到的模型是 Y=fˆ(X)Y=f^(X)Y = \widehat f(X) 1. 训练误差:是关于训练数据集的平均损失 Remp(fˆ)=1N∑i...

yeyustudy的博客 226

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

《统计学习方法》笔记二 感知机

本系列笔记内容参考来源为李航《统计学习方法》 感知机(perceptron)是二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取±1。感知机对应与输入空间中将实例划分为正负两类的分离超平面,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。感知机算法具有简单而易于实现的优点,分为原...

weixin_30526593的博客 71

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

《统计学习方法》笔记(二)感知器

感知机是二分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值,属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面,感知机是神经网络与支持向量机的基础。假设输入空间(特征空间)是X∈Rn,输出空间是Y={+1, -1}。输入x∈X表示实例特征向量。对应于输出空间(特征空间)的点:输出y∈Y表示实例类别,由输入空间到输出空间的如下函数:f(x) = sign...

芦金宇的专栏 725

笔记|统计学习方法:决策树(二)

笔记|统计学习方法:决策树(二)

CODE_WangZIli的博客 190

统计学习方法读书笔记(二)-感知机

全部笔记的汇总贴:统计学习方法读书笔记汇总贴 一、感知机模型 假设输入空间(特征空间)是X⊆RnX\subseteq \R^nX⊆Rn, 输出空间是 Y={+1,−1}Y=\{+1,-1\}Y={+1,−1}。输入x∈Xx\in Xx∈X表示实例的特征向量,对应于输入空间(特征空间)的点; 输出y∈Yy\in Yy∈Y表示实例的类别。 由输入空间到输出空间的如下函数: f(x)=sign(w⋅x+b)f(x)=sign(w\cdot x+b)f(x)=sign(w⋅x+b) 称为感知机。其中,www和bbb

scu-liu的博客 618

统计学习方法笔记(二)-kd树原理及python实现

kd树kd树简介构造平衡kd树算法原理kd树代码实现案例地址 kd树简介 kdkdkd树是一种对kkk维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。 kdkdkd树构造方法: 构造根结点 使根结点对应于kkk维空间中包含所有实例点的超矩形区域; 递归生成子结点 通过递归方法,不断地对kkk维空间进行切分,生成子结点。在超矩形区域(结点)上选择一个坐标轴和在此坐标轴上的一个切分...

脑机接口社区 2205

统计学习方法笔记(十五)条件随机场(二)

条件随机场的概率计算问题 问题描述:给定条件随机场P(Y|X)P(Y|X)P(Y|X) ,输入序列x和输出序列y,计算条件概率P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)P(Yi=yi|x),P(Yi−1=yi−1,Yi=yi|x)P({Y_i} = {y_i}|x),P({Y_{i - 1}} = {y_{i - 1}},{Y_i} = {y_i}|x) 以及相应的数学期望的...

yeyustudy的博客 924

统计学习方法笔记与习题解答(Chapter7)(二)

文章目录支持向量机SMO算法问题描述KKT 条件算法内容Part IPart II习题解答 支持向量机 SMO算法 问题描述 min⁡α 12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαis.t.   ∑i=1Nαiyi=00⩽αi⩽C,i=1,2,…,N \begin{aligned} \min_\alpha\ &\f...

老肥码码码 4323

李航《统计学习方法(第二版)》笔记:第一章——统计学习及监督学习概论(二)

目录4. 模型评估与模型选择4.1 训练误差与测试误差4.2 过拟合与模型选择5. 正则化与交叉验证5.1 正则化5.2 交叉验证6. 泛化能力6.1 泛化误差6.2 泛化误差上界7. 生成模型与判别模型8. 监督学习应用8.1 分类问题8.2 标注问题8.3 回归问题 4. 模型评估与模型选择 4.1 训练误差与测试误差 4.2 过拟合与模型选择 5. 正则化与交叉验证 5.1 正则化 5.2 交叉验证 6. 泛化能力 6.1 泛化误差 6.2 泛化误差上界 7. 生成模型与判别模型 8. 监督学习应用

Jelly's Blog 485

统计学习方法笔记(二)朴素贝叶斯法

  朴素贝叶斯(Naïve Bayes)法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入、输出的联合概率分布;然后基于此模块,对给定的输入x,利用贝叶斯定理求出求出后验概率最大输出y。 1.1朴素贝叶斯法的学习与分类 1.1.1基本方法   设输入空间 χ⊆Rnχ\subseteq R^nχ⊆Rn为n维向量的集合,输出空间为类标记集合 Y\ma...

qq_21578125的博客 295
上一篇: 《统计学习方法》笔记一
下一篇: 最小二乘法python实现
TheOneAc1
博客等级 码龄9年 1粉丝 28原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值