机器学习笔记 - 范数

最新推荐文章于 2025-05-25 20:23:23 发布
最新推荐文章于 2025-05-25 20:23:23 发布
阅读量2.3k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 范数 线性代数 L2范数 L1范数 平方欧几里得范数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/124176799
本文详细介绍了机器学习中的范数概念，包括范数的基本性质、P范数的计算，重点讲解了L0、L1、L2范数以及平方欧几里得范数，并探讨了它们在深度学习和误差计算中的应用。此外，还讨论了矩阵的Frobenius范数和范数在表示点积中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、范数的概念

1、概念和性质

        机器学习和深度学习的一个重要概念。范数通常用于评估模型的误差。例如，它用于计算神经网络输出与预期值（实际标签或值）之间的误差。可以将范数视为向量的长度。它是将向量映射到正值的函数。

        范数具有以下性质：

        规范是非负值。

        零向量的范数是0。

        向量之和的范数小于或等于这些向量的范数之和。

        向量的范数乘以标量等于该标量的绝对值乘以向量的范数。

2、

了解本专栏 订阅专栏 解锁全文
机器学习笔记 - 什么是支持向量回归(SVR)？
学以致用 知行合一
04-14 5万+
SVM 回归算法称为支持向量回归或SVR。支持向量回归是一种监督学习算法，用于预测离散值。支持向量回归使用与 SVM 相同的原理。SVR 背后的基本思想是找到最佳拟合线。在 SVR 中，最佳拟合线是点数最多的超平面。 ​ SVR将输入的数据的原始空间映射到更高维的特征空间，通常通过非线性高斯核函数实现。在特征空间中，问题变成了拟合数据的最优线性平面的构造。
机器学习笔记(part1)--Frobenius范数与迹运算
小山羊的学习日志
06-17 3983
学习笔记，仅供参考，有错必纠 转载自：Frobenius范数 迹运算 设A是m×nm \times nm×n的矩阵，其Frobenius范数定义为： ∥A∥F=∑i=1m∑j=1n∣aij∣2 {\parallel A \parallel }_F = \sqrt{ \sum_{i=1}^{m} \sum_{j=1}^{n} {\mid a_{ij} \mid }^2 } ∥A∥F​=i=1∑m​j=1∑n​∣aij​∣2​ 迹运算返回的是矩阵对角元素的和： Tr(A)=∑iAi,i Tr(A) =
矩阵论 第四章 矩阵分析(1) 范数
剑心琴魄
01-04 2951
这章主要讲的是矩阵函数. 1. 范数 一. 平时说的绝对值就是一种范数. 范数也就是绝对值概念的扩展,目的是用某种方法衡量一个矢量的度量. 比如二维坐标的长度. 范数的定义: 设V是数域F上的线性空间,若任意x∈V, 均对应一个数||x||满足: 正定性: ||x||≥0, 且 ||x||=0当且仅当x=0;齐次性: 任意k∈F, x∈V, ||kx|| = |k|
深度学习笔记
IBelieve2016的博客
02-25 722
第一节课 1.机器学习模型， 就是为了使模型的输出结果与原结果的差距尽可能小。 下图的公式中，L就代表损失函数。最后一项是正则项，可以防止过拟合。因为过拟合的情况下，参数的个数会比较多，而如果加上这个惩罚项，就能使很多参数值为0，这样，输入向量的很多维都因为不重要，而不在上面加入权重，从而防止过拟合。还可以按照下面的公式来理解：控制了w的大小，这样就能保证模型输出结果与原结果的差距，保持在一...
【数学基础】范数及其应用
最新发布
weixin_42127042的博客
05-25 954
对向量空间中的任意向量x非负性：|x| ≥ 0，且 |x| = 0 当且仅当x= 0。齐次性：|αx| = |α|·|x|（α 为标量）。三角不等式：|xy| ≤ |x| + |y核心作用：量化向量或矩阵的“大小”或“复杂度”。选择依据需要稀疏性 → L₁ 范数需要平滑性 → L₂ 范数控制最大值 → L∞ 范数数学本质：范数的选择定义了空间中的几何结构和优化行为。
范　数
10-14 7733
3.3  范　数　　3.3.1 向量范数　　在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。　　范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。同一向量，采用不同的范数定义，可得到不同的范
范数概念以及相关推导
weixin_44561338的博客
05-16 5798
范数 向量范数 常见范数 p范数(p = 1, 2, ∞\infty∞, ⋯\cdots⋯): ∣∣x∣∣p=(∑i=1n∣xi∣p)1p||x||_p = (\sum\limits_{i=1}^{n}|x_i|^p)^{\frac{1}{p}}∣∣x∣∣p​=(i=1∑n​∣xi​∣p)p1​ 0范数：向量中非0分量的个数（用来衡量稀疏度） 定义：向量范数 设∣∣⋅∣∣||\cdot||∣∣⋅∣∣是向量空间RnR^nRn上的实值函数，且满足条件： 非负性：$||\cdot||\geq0 $ ，且
2021李宏毅机器学习笔记--12 attack ML models
guoxinxin0605的博客
06-26 413
2021李宏毅机器学习笔记--12 attack ML models摘要一、图像模型的攻击1.1原理1.2Constraint1.3参数训练1.4一个例子1.5攻击方法1.5.1FGSM(Fast Gradient Sign Method)1.6黑盒攻击1.7拓展研究1.7.1普遍对抗攻击(Universal Adversarial Attack)1.7.2对抗性重新编程(Adversarial Reprogramming)1.8真实世界的攻击二、声音模型的攻击三、defense3.1被动防御3.1.1fe
机器学习笔记---正则化为什么可以抑制过拟合？
Blank_Space
06-13 1137
前言上期详细的介绍了过拟合的现象。那如何抑制过拟合呢？大家都知道应该加入正则化项，那为什么加入正则化可以达到这个效果？参考了很多资料，所以就有了这篇笔记。本文约2.3k字，预计阅读15分...
范数的意义与计算方法
Laurence的技术博客
01-11 1万+
范数可以简单的理解为“距离”。由于向量是既有大小又有方向的量，所以向量是不能直接比较大小的，但是范数提供了一种方法，可以将所有的向量转化为一个实数，然后就可以比较向量的大小了。（注：本文我们只讨论向量范数，向量范数表征向量空间中向量的大小，另一种叫矩阵范数，表征矩阵引起变化的大小。范数并不是一个数，而是一组数，我们先了解一下最常用的L-2范数范数，它的计算方法是：将向量的每一个分量平方后再求和，然后对和开平方，得到的就是这个向量的L-2范数范数了
基础知识 - 范数
qq_37668179的博客
04-01 4291
范数
【和范数】【差范数】和范数和差范数
wq6qeg88的博客
12-28 699
在某些文献或领域中，和范数可能是指对一组向量（或矩阵）的各个分量的范数进行累加，通常是将向量中的每个元素的范数进行加总。（Difference Norm）在数学和信号处理中的含义有所不同，它们分别度量的是向量或函数的某种“大小”或“差异”。这种形式的范数可以被理解为每个元素的范数（绝对值）的和，常见于处理稀疏性问题的场合（例如 LASSO 回归）。总之，和范数可能就是对某个对象（向量、矩阵等）元素的某种范数的求和过程。（曼哈顿距离）：衡量两个向量之间的差异的绝对值的和。则用于衡量两个对象之间的差异或距离。
机器学习中的数学基础（1）——向量和范数
domzhaosh
02-20 1929
机器学习中的数学基础（1）——向量和范数 死磕侠2019-03-15 17:55:10 从今天开始，我将开设一个机器学习数学基础的系列。主要介绍机器学习中经常用到的那些数学知识，方便大家入门。一说起数学，有人会觉得很难。其实在这个系列中，我将会以最直白的语言来向你解释这些数学名词，大家不用担心，即使你是零基础，一样可以看得懂。 向量 我们从向量开始说起，什么是向量？它其实就是用括号括起来的...
矩阵分析与应用
weixin_46007132的博客
06-30 3142
矩阵的范数与内积实矩阵的范数记作，它是矩阵A的实值函数，必须具有以下性质：实函数是一种矩阵范数。容易验证：（1），且当即时。（2）（3）（4）对于两个矩阵的乘积，有：以下是几种典型的矩阵范数Frobenius范数这一定义可以视为向量的Euclidean范数按照矩阵各行排列的“长向量”的推广。矩阵的Frobenius范数也称Euclidean范数或者范数范数式中，是向量x的范数，范数也称p范数。行和范数列和范数若A，B是m*n的矩阵，则矩阵的范数有以下性质。与矩阵的范数密切相关的量是矩阵的内积。对于任意m*n
向量，矩阵的范数
aolingshuang的博客
10-25 780
向量，矩阵的范数我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。 那么向量的范数，就是表示这个原有集合的大小。 而矩阵的范数，就是表示这个变化过程的大小的一个度量
函数二范数_第八课：向量的范数
weixin_39821605的博客
11-21 2936
写在前面的话：很高兴能够认识饭卡里还有好多钱这位土豪大佬。向大佬学习，为成为一名真正的段子手+逗比而奋斗。范数的概念向量的范数是一种用来刻画向量大小的一种度量。实数的绝对值，复数的模，三维空间向量的长度，都是抽象范数概念的原型。上述三个对象统一记为 ，衡量它们大小的量记为 （我们用单竖线表示绝对值，双竖线表示范数），显然它们满足以下三条性质：这也是范数的定义，满足上述三条性质的映射我们称之为范...
范数的知识点总结---0 1 2
Enjoy324的博客
11-05 4971
范数 引入范数 我们很容易比较两个数的大小， 2< 3 , 4<9。 但是如果想比较的是向量怎么比较呢？例如（0，0，7，8） 和 （1，2，3，4）谁的长度大？ 其实这个问题很不严谨， 因为我们现在还没有定义什么是这两个向量的长度。所以引入范数概念 现在，我们可以简单理解范数的意义就是，衡量一个多维向量的长度。范数越大，向量的长度也就越大 2.常用的范数 注意：向量的2范数即为向量的F范数，是一个概念；矩阵的2范数 跟 矩阵的F范数不是一个概念，矩阵A的2范数等于A的最大奇异值，矩阵的F范数
2范数和F范数的区别
热门推荐
weixin_30641465的博客
04-02 1万+
2范数和F范数是不同的。 2范数表示矩阵或向量的最大奇异值，max⁡(svd(X)) 而 F范数表示矩阵所有元素平方和的开方根 sqrt(∑_(x_(i,j∈X))▒x_(i,j)^2 ) 转载于:https://www.cnblogs.com/yinwei-space/p/4388468.html...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值