《统计学习方法》(第一章)—— 统计学习方法概论

《统计学习方法》——第一章:统计学习方法概论 1.1统计学习(统计机器学习) 定义:关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。 特点: 统计学习以计算机及网络为平台,是建立在计算机及网络之上的; 统计学习以数据为研究对象,是数据驱动的学科; 统计学习的目的是对数据进行预测与分析; 统计学习以方法为中心,统计学习方法构建模型并应用模型进行预测与分析; 统计学习是概率论、统计学、信息论、计算理论、最... 阅读详情

统计学习分类:

1.基本分类:

  • 监督学习
  • 无监督学习
  • 强化学习

2.按模型分类:

  • 概论模型与非概率模型
  • 线性模型与非线性模型

3.按算法分类:

  • 在线学习
  • 批量学习

4.按技巧分类:

  • 贝叶斯学习
  • 核方法

统计学习三要素:

1.模型:

  • 监督学习过程中,模型就是所有学习的条件概率分布和决策函数

2.策略:

  • 一种评价呢指标
  • 损失函数
  • 风险函数 or 期望损失
  • 经验风险最小化 or 结构风险最小化

3.算法:

  • 学习模型的具体计算方法

模型评估与模型选择:

1.训练误差与测试误差:

  • 在训练集上的平均损失,训练误差
  • 在测试集上的平均损失,测试误差

2.过拟合与模型选择:

  • 选择复杂度适当的模型,以达到测试误差最小的模型

正则化与交叉验证:

1.正则化:

  • 经验风险+正则化项(L1,L2L_1,L_2L1​,L2​)

2.交叉验证:

  • 交叉验证
    • 简单交叉验证7:3
    • S折交叉验证
    • 留一交叉验证

泛化能力:

1.泛化误差:

  • 对未知数据的拟合

2.泛化误差上界:

  • R(f)≤R^(f)+ε(d,N,δ)R(f)\le \hat{R}(f)+\varepsilon(d,N,\delta)R(f)≤R^(f)+ε(d,N,δ)
    ε(d,N,δ)=12N(logd+log1d)\varepsilon(d,N,\delta)=\sqrt{\frac{1}{2N}(logd+log\frac{1}{d})}ε(d,N,δ)=2N1​(logd+logd1​)​
    对于二分类问题,当假设空间是有限个函数集合Ψ={f1,f2...fd}\Psi=\{f_1,f_2...f_d\}Ψ={f1​,f2​...fd​}时,对任意一个函数f∈Ψf \in \Psif∈Ψ,则至少以概率
    1−δ,0<δ<1,成立1-\delta,0<\delta<1,成立1−δ,0<δ<1,成立
  • Hoeffding不等式:
    • 设X1,X2.....XN是独立随机变量,且Xi∈[ai,bi]X_1,X_2.....X_N 是独立随机变量,且X_i \in [a_i,b_i]X1​,X2​.....XN​是独立随机变量,且Xi​∈[ai​,bi​]
      i=1,2.....,N,X‾是X1,X2.....XN的经验均值,既X‾=1N∑i=1NXii=1,2.....,N,\overline{X}是X_1,X_2.....X_N的经验均值,既\overline{X}=\Large\frac{1}{N}\normalsize\sum\limits^N_{i=1}X_ii=1,2.....,N,X是X1​,X2​.....XN​的经验均值,既X=N1​i=1∑N​Xi​
      P(∣X‾−E(X‾)∣≥t)≤2exp(−2N2t2∑i=1N(bi−ai)2)P(|\overline{X}-E(\overline{X})|\ge t) \le 2exp(- \frac{2N^2t^2}{\sum\limits^N_{i=1}(b_i-a_i)^2})P(∣X−E(X)∣≥t)≤2exp(−i=1∑N​(bi​−ai​)22N2t2​)
      P(X‾−E(X‾)≥t)≤exp(−2N2t2∑i=1N(bi−ai)2)P(\overline{X}-E(\overline{X})\ge t) \le exp(- \frac{2N^2t^2}{\sum\limits^N_{i=1}(b_i-a_i)^2})P(X−E(X)≥t)≤exp(−i=1∑N​(bi​−ai​)22N2t2​)
      P(E(X‾)−X‾≥t)≤exp(−2N2t2∑i=1N(bi−ai)2)P(E(\overline{X})- \overline{X} \ge t) \le exp(- \frac{2N^2t^2}{\sum\limits^N_{i=1}(b_i-a_i)^2})P(E(X)−X≥t)≤exp(−i=1∑N​(bi​−ai​)22N2t2​)
  • 证明:取Xi=L(Y,f(X)),且Xi∈[0,1],取ε>0则以下不等式成立:X_i=L(Y,f(X)),且X_i \in[0,1],取\varepsilon>0则以下不等式成立:Xi​=L(Y,f(X)),且Xi​∈[0,1],取ε>0则以下不等式成立:
    P(R(f)−R^(f)≥ε)≤exp(−2Nε2)P(R(f)- \hat{R}(f) \ge \varepsilon) \le exp(- 2N{\varepsilon}^2)P(R(f)−R^(f)≥ε)≤exp(−2Nε2)
    由于Ψ={f1,f2...fd}是一个有限集合,故由于\Psi=\{f_1,f_2...f_d\}是一个有限集合,故由于Ψ={f1​,f2​...fd​}是一个有限集合,故
    P(∃f∈Ψ:R(f)−R^(f)≥ε)≤exp(−2Nε2)=P(⋃f∈Ψ{R(f)−R^(f)≥ε})P(\exists f \in \Psi:R(f)- \hat{R}(f) \ge \varepsilon) \le exp(- 2N{\varepsilon}^2)=P(\bigcup_{f \in \Psi}\{R(f)-\hat{R}(f)\ge \varepsilon\})P(∃f∈Ψ:R(f)−R^(f)≥ε)≤exp(−2Nε2)=P(⋃f∈Ψ​{R(f)−R^(f)≥ε})
    ≤∑f∈ΨP(R(f)−R^(f)≥ε)≤d∗exp(−2Nε2)\le\sum\limits_{f \in \Psi}P(R(f)-\hat{R}(f)\ge\varepsilon)\le{d*exp(-2N\varepsilon^2)}≤f∈Ψ∑​P(R(f)−R^(f)≥ε)≤d∗exp(−2Nε2)
    取δ=d∗exp(−2Nε2),则P(R(f)<R^(f)+ε)≥1−δ取\delta={d*exp(-2N\varepsilon^2)},则P(R(f)<\hat{R}(f)+\varepsilon)\ge1-\delta取δ=d∗exp(−2Nε2),则P(R(f)<R^(f)+ε)≥1−δ
    R(f)≤R^(f)+ε(d,N,δ)R(f)\le \hat{R}(f)+\varepsilon(d,N,\delta)R(f)≤R^(f)+ε(d,N,δ)

生成模型与判别模型:

  • 生成模型:生成联合分布的
  • 判别模型:直接生成决策函数或条件概率的

监督学习应用:

  • 分类问题

    • TP——将正类预测为正类数
    • FN——将正类预测为负类数
    • FP——将负类预测为正类数
    • TN——将负类预测为负类数
    • 精确率P=TPTP+FPP=\frac{TP}{TP+FP}P=TP+FPTP​
    • 召回率R=TPTP+FNR=\frac{TP}{TP+FN}R=TP+FNTP​
    • 2F1=1p+1R\frac{2}{F1}=\frac{1}{p}+\frac{1}{R}F12​=p1​+R1​
  • 标注问题:

    • 序列等问题
  • 回归问题

    • 输出变量和输入变量之间的关系
import numpy as np
from scipy.optimize import leastsq
import matplotlib.pyplot as plt
def real_f(x):
    return np.cos(2*np.pi*x)
def poly_f(p,x):
    f=np.poly1d(p)
    return f(x)
def residuals_f(p,x,y):
    ret=poly_f(p,x)-y
    return ret
x=np.linspace(0,1,10)
x_points=np.linspace(0,1,1000)
y_=real_f(x)
y=[np.random.normal(0,0.1)+y1 for y1 in y_]
def fitting(M=0):
    p_init=np.random.rand(M+1)
    ret=leastsq(residuals_f,p_init,args=(x,y))
    print(ret[0])
    plt.plot(x_points,real_f(x_points),label="real")
    plt.plot(x_points,poly_f(ret[0],x_points),label="fitting")
    plt.plot(x,y,"bo",label='noise')
    plt.legend()
    plt.show()
fitting(M=6)
#简单拟合图像

在这里插入图片描述

第一章-统计学习方法概论 统计学习 统计学习是关于计算机 基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。总的来说,统计学习也称为统计机器学习。 统计学习的特点 以计算机以及网络为平台; 以数据为对象,是数据驱动的学科; 目的是对数据进行预测和分析; 以方法为中心,构建模型并应用模型进行预测和分析; 是概率论、统计学、信息论、计算理论、最优化理论以及计算机科学等多个领域的交叉学科,具... 阅读详情

相关推荐

akshare 布林通道策略

import datetime import pandas as pd import backtrader as bt import matplotlib.pyplot as plt from datetime import datetime import matplotlib import akshare as ak %matplotlib inline class Boll_strategy(bt.Strategy): #自定义参数,每次买入1800手 params=(('size'.

qq_26742269的博客 5346

【统计学习方法】1、统计学习方法概论

第一章 统计学习方法概论 1.1 统计学习 1.2 监督学习 1.2.1 基本概念 1.3 统计学习三要素 1.3.1 模型 1.3.2 策略 1.4 模型评估与模型选择 1.4.1 训练误差和预测误差 1.4.2 过拟合与模型选择 1.5 正则化与交叉验证 1.5.1 正则化 1.5.2 交叉验证 1.6 泛化能力 1.6.1 泛化误差 1.6.2 泛化误差上界 1.7...

呆呆的猫的博客 1935

[软考]系统架构设计师 备考经验分享(一) - 备考计划篇

前言 上周末刚刚结束了软考架构师的考试,自我感觉考的还可以,大概率是过了。 两次参加软考,一次中级嵌入式,一次高级架构师,都是备考不到两个月时间,尤其是架构师这次考试内容和本职工作有不小的差别,并且需要同时备考三个科目,在高强度地备考中感觉是摸索出到了一点软考的技巧与经验。 打算趁还记得,赶紧写几篇文章做下梳理总结,算是给将来自己考系分、高项或者其他考试做个记录,也希望能够帮到正在备考的大家。 先把第一步,个人的备考计划分享给大家。 自身情况分析 首先,请大家一定先明确三个问题,这三个问题会直接影响到你的

_ 6406

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论

《统计学习方法:李航》笔记 从原理到实现(基于python)-- 第1章 统计学习方法概论

weixin_42046845的博客 2216

Windows环境下Elasticsearch与JDK版本兼容性实战指南

本文详细解析了Windows环境下Elasticsearch与JDK版本的兼容性问题,提供了从版本匹配检查到安装部署的完整实战指南。重点介绍了Elasticsearch 8.x需JDK 17+等关键版本对应关系,并分享多版本JDK共存方案及性能优化技巧,帮助开发者高效避坑。

weixin_29250403的博客 421

BERTopic安装指南:hdbscan依赖问题全解析(附解决方案)

本文详细解析了安装BERTopic时常见的hdbscan依赖报错问题,深入剖析了C++编译环境缺失、Python版本兼容性以及包管理渠道混用三大核心原因。针对Windows、macOS和Linux不同系统,提供了创建虚拟环境、使用conda安装预编译包、安装C++编译工具等具体解决方案,帮助用户顺利安装BERTopic并开始文本主题建模实践。

weixin_29061041的博客 216

机器学习--基本概念(二)

文章转自(有图)http://burningcloud.cn/article/103/index.html 机器学习 | 基本概念(二) 各位读者大家好,这周我将把机器学习基本概念的剩余部分讲完。 模型评估与模型选择 统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力,所以训练误差和测试误差就自然成为了学习方法评估的标准。 顾名思义,训练误差就是模型对训练集的平均损失,测试误差就是模型对测试集的平均损失。训练集对于判断给定的问题是否是一个容易学习的问题有意义,然而本质上并不重要。测

陈泊舟的博客 2378

免费大容量国外网盘测评:冷数据归档与rclone加密接入

云存储的本质,是通过对象存储、冗余编码和分层缓存,把本地磁盘容量问题转化为网络访问与数据管理问题。免费大容量国外网盘常以空间换用户规模或付费转化,容量政策、传输策略、协议支持和退出成本,往往比标称容量更决定长期可用性。支持 WebDAV、S3 兼容和命令行工具的服务,可接入 rclone 等自动化流程,再配合客户端加密与冷热分层,用于冷数据归档、老项目备份和家庭影像保存。理解带宽换算、单文件上限、保活机制与传输一致性后,评估话题型大容量网盘与专业向协议网盘,就能把免费空间纳入可靠存储层。围绕免费大容量国外网

weixin_31292729的博客 217

《统计学习方法》(李航)第1章主要内容介绍(统计学习概述、分类、三要素)

李航所著《统计学习方法》第一章主要内容介绍(公式推导+代码实现)

APPLECHARLOTTE的博客 787

EFR32BG22 Thunderboard开发板 使用SPI 读取加速度计

Simplicity Studio v5 创建Silicon Labs蓝牙SoC EFR32BG22 Thunderboard模块的加速度计工程,模块上有一个ICM-20648 6轴运动跟踪设备,集成3轴加速度计和3轴陀螺仪功能,使用SPI接口跟EFR32BG22芯片连接。 我尽量以图片的形式展示(少打字): 将EFR32BG22的Thunderboard模块通过USB线插入到电脑,打开Simplicity Studio v5软件。 下面看重点: 点击搜索到的IO Stream: USART,点击Ins

qq_25727979的博客 1496

【无标题】 Python自动化法律文书撰写

Jinja2是一个功能强大的模板引擎,支持丰富的语法和功能。除了条件判断和循环语句外,Jinja2还支持过滤器、宏、继承等高级特性,非常适合处理复杂的文书模板。

master_chenchen的博客 2065

《统计学习方法》第一章:统计学习方法概论

第一章:统计学习方法概论 1.监督学习(Supervised learning) 监督学习的实现步骤: 得到一个有限的训练数据集合 选定模型的假设空间,也就是所有的备选模型 确定模型选择的准则,即学习的策略 实现求解最优模型的算法 通过学习方法选择最优模型 利用学习的最优模型对新数据进行预测或分析 在模型知道每一个样本的标签时,所进行的学习就是监督学习。监督学习与无监督学习的主要区别在于训练数据集有没有label 训练集: T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,

乐乐什么都有 391

反应动力学仿真软件:Kintecus_(11).数据输入与输出解析

在反应动力学仿真软件的二次开发中,数据输入与输出解析是至关重要的步骤。正确地解析输入数据和生成输出结果不仅能够确保仿真过程的顺利进行,还可以提高仿真的准确性和效率。本节将详细介绍如何在仿真软件中实现数据输入与输出的解析,包括文件格式、数据结构、解析方法以及实际操作示例。

kkchenjj的博客 760

2018/7/6 《统计学习方法》笔记—第一章—概论

统计学习方法概论第一章主要介绍一些基本概念。统计学习方法三要素:模型、策略和算法。模型选择包括正则化(regularzation)、交叉验证(cross validation)与学习的泛化能力。生成模型(Generative model)和判别模型(Discriminative model).监督学习算法的应用:分类问题(classification)、标注问题、回归问题(regression)策...

ustb_xiaojiang的博客 146

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

第一章、统计学习方法概论

第一章、统计学习方法概论 1、统计学习的特点 计算机基于数据构建模型,并运用模型对数据进行预测和分析。其中研究对象是数据,研究的目的是对未知的数据进行预测。 统计学习建立在一个基本假设上:同类数据具有一定的统计规律性。 统计规律:对大量偶然事件整体起作用的规律,表现这些事物整体的本质和必然的联系。https://baike.baidu.com/item/统计规律/894528?fr=aladdin 统计学习是概率论、统计学、信息论、计算理论、最优化理论、计算机科学等多个领域的交叉学科。 2、统计学

qq_33934427的博客 639

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

《统计学习方法》 第一章 统计学习方法概论

第一章 统计学习方法概论 1. 统计学习 数据:计算机及互联网上的各种数字、文字、图像、视 频、音频数据以及它们的组合。 数据的基本假设是同类数据具有一定的统计规律性。 统计学习的目的:用于对数据(特别是未知数据)进行预测和分析。 统计学习的方法: 监督学习 多用于分类、标注与回归问题中 非监督学习 半监督学习 强化学习: 非监督学习的一种,随机采取一个动作,根据得到的反馈,来决定策...

weixin_41045344的博客 303

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

第一章 统计学习方法概论

第一章 统计学习方法概论1.1统计学习1.2监督学习1.3监督学习三要素 1.1统计学习 统计学习方法由监督学习(supervised learning)、非监督学习(unsupervised learning)、半监督学习(semi-supervised learning)和强化学习(reinforcement learning)等组成。 1.2监督学习 监督学习的实现步骤: ①得到一个有限的训...

Hundreays 2160

【统计学习方法】第一章 概论

文章目录基础概念期望风险、经验风险、结构风险第一章 统计学习方法概论1.正则化2.交叉验证3.泛化能力4.生成模型与判别模型生成方法判别方法5.分类问题6.回归问题 基础概念 期望风险、经验风险、结构风险 经验风险:就是训练误差 结构风险:训练误差 + 表示模型复杂度的正则项(结构风险就是训练误差和模型复杂度之和) 经验风险是局部概念,针对训练样本的损失函数,可以求得。 期望风险是全局...

aaon22357的博客 329

《统计学习方法》——第一章 统计学习方法概论

1.1 统计学习 统计学习就是计算机系统通过运用数据及统计方法提高系统性能得机器学习。现在人们提及得机器学习,往往是指统计机器学习。统计学习由监督学习、非监督学习、半监督学习和强化学习等组成。 李航的《统计学习方法》以介绍统计学习方法为主,其中第2-8 章都是监督学习方法为主。 1.2 监督学习 输入/输出空间:监督学习中,输入与输出的所有可能取值的集合分别称为输...

holledog的博客 460

统计学习方法第一章概论

# 统计学习分类 """ 监督学习:是指从标注数据中学习预测模型的机器学习问题,标注数据表示输入和输出的对应关系,预测模型对给定的输入产生相应的输出。监督学习的本质就是学习输入到输出的映射规律。 输入空间;输入的向量。例如x 特征空间:输入空间到特征空间的映射,如x^2,x^3等 输出变量为连续变量的为回归问题,输出变量为有限个离散的成为分类问题,输入变量与输出变量均为变量序列的问题成为标注问题 假设空间:监督学习的目的是在于学习一个输入到输出的映射,这一映射由模型来表示,模型属于输入空间到输出空间的映射集

tangzhaotz的博客 268

《统计学习方法》读书笔记——第一章统计学习方法概论

总结:本章主要是介绍一些基本的概念,起到统揽全书的作业。 1.1 统计学习 统计学习是基于数据构建概率模型并运用模型对数据进行预测分析的学科。 统计学习由监督学习、非监督学习、半监督学习、强化学习等组成。这本书主要讨论监督学习。 1.2 监督学习 输入空间:所有可能的输入值 输出空间:所有可能的输出值 假设空间:简单说就是可能的模型的集合 联合概率分布:P(x,y)表示。举个例子,...

qq_35190319的博客 326

【统计学习方法by李航】第一章 统计学习方法概论 个人总结

第一章开始的话一、统计学习 [1.1](一)总定义(二)统计学习的方法二、监督学习[1.2](一)基本概念[1.2.1]1、输入空间、特征空间与输出空间2、联合概率分布3、假设空间(上面名词解释里面有讲)(二)问题的形式化[1.2.2]三、统计学习三要素[1.3](一)模型[1.3.1](二)策略[1.3.2]1、损失函数、代价函数2、风险函数(期望损失)、经验风险(经验损失)【L是损失函数】3、...

weixin_42159233的博客 1391

《统计学习方法》第一章 概论

文章目录统计学习的分类基本分类二级目录三级目录统计学习的分类基本分类一、监督学习二、无监督学习三、强化学习四、半监督学习与主动学习按模型分类合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 统计学习的分类 基本分类 二级目录 三级目录 统计学

weixin_47675950的博客 621

第一章 统计学习方法概论笔记

文章主要参考 github 仓库 Lihang 添加自己的一点思考 文章目录前言章节目录导读实现统计学习方法的步骤统计学习分类基本分类按模型分类按算法分类按技巧分类统计学习方法三要素模型模型是什么?策略损失函数与风险函数常用损失函数ERM与SRM算法模型评估与模型选择过拟合与模型选择正则化与交叉验证正则化交叉验证泛化能力生成模型与判别模型生成方法生成模型判别方法分类问题、标注问题、回归问题参考...

solejay 250
上一篇: 洛谷-1071 潜伏者
下一篇: 洛谷-4549 【模板】裴蜀定理
mkopvec
博客等级 码龄8年 22粉丝 331原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值