李沐06 矩阵计算

最新推荐文章于 2025-05-04 16:55:47 发布

Rrrrrr900

最新推荐文章于 2025-05-04 16:55:47 发布

阅读量262

点赞数 2

文章标签：深度学习 pytorch python 机器学习矩阵线性代数人工智能

本文链接：https://blog.youkuaiyun.com/Rrrrrr900/article/details/136940398

版权

本文介绍了矩阵计算中的梯度概念，它将导数扩展到向量形式，表明梯度总是指向函数值变化最大的方向，是理解多变量优化的重要工具。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

矩阵计算

梯度：将导数拓展到向量

梯度指向“值变化最大”的方向

引用https://blog.youkuaiyun.com/weixin_43586185/article/details/116404433

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Rrrrrr900

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

李沐机器学习第三节——矩阵计算（导数）

weixin_43586185的博客

10-26

1905

矩阵求导函数不可微时怎么办？——（将导数拓展到不可微的函数）亚导数梯度——将导数拓展到向量（要搞清“形状”）（y是标量，x是标量，导数也是标量； y是标量，x是向量/y是向量，x是标量，导数是向量； y是向量，x也是向量，导数是一个矩阵。） y是标量，x是向量（梯度指向值变化最大的方向，梯度向量与等高线正交）函数举例： y是向量，x是标量（梯度指向值变化最大的方向，梯度向量与等高线正交） y是向量，x也是向量，导数是一个矩阵。 ...

深度学习-3矩阵计算求导数

weixin_68479946的博客

02-10

135

1.情况一：y是标量而x是向量，梯度指向变化值最大的方向。所有优化模型都是通过求导才能进行优化，笔记来源李沐老师。3.情况三，x，y都是向量，会变成矩阵。一、标量求导，导数就是切线的斜率。2.情况2，y是标量，x是列向量。

1 条评论您还未登录，请先登录后发表或查看评论

李沐深度学习06矩阵计算

qq_45810274的博客

07-17

249

矩阵求导

李沐深度学习笔记-06矩阵计算

qq_41701219的博客

02-12

590

06矩阵计算标量导数亚倒数如果不存在导数的话，将导数拓展到不可微的函数梯度将导数拓展到向量当y是标量，x是标量，求导为标量当y是标量，x是向量，求导为向量当y是向量，x是标量，求导为向量当y是向量，x是向量，求导为矩阵 ...

【李沐-动手深度学习v2】笔记整理-06矩阵计算

m0_51141265的博客

02-10

205

跟李沐动手深度学习v2-06矩阵计算

李沐《动手学深度学习》课程笔记：06 矩阵计算

weixin_44850744的博客

02-24

236

06 矩阵计算

李沐动手学深度学习-06矩阵计算

keepdreams的博客

10-03

286

06矩阵计算矩阵计算中最重要的就是矩阵的导数计算，这对于深度学习或者机器学习的训练与优化都是非常重要的依据如果dy/dx，如果y是一个标量，而x是一个向量，那么就需要使用y的这个表达式，对x1,x2全部求一次导，然后变成一个向量；相反如果y是一个向量而x是一个标量的话，那么每一个y都需要对指定的x进行求导；如果x，y都是向量，那么就是每一个y都需要对每一个x进行求导。拓展到矩阵可以看出，如果矩阵和向量进行求导运算，那么结果就会变成一个三维。如果矩阵和矩阵进行进行求导运算的话那么就会变成以四维的结果。

06矩阵计算（李沐深度学习笔记）

裂缘冰释

09-22

171

QA 能否得到最优解而非局部最优解？数学上可以，但是机器学习计算上不行，只有凸函数才能得到最优解，而机器学习基本不会处理凸函数，如果能得到最优解，就是P的问题，机器学习关心的是NP的问题 ...

李沐pytorch学习-矩阵求导

qq_26545507的博客

08-15

270

对于的计算结果，根据y和x的维度，可根据下图得到导数的维度图1. 矩阵求导结果维度图对于函数：此时 y 是标量，自变量为矩阵对自变量求导数求导样例如下：图2. 求导样例。

李沐矩阵计算【动手学深度学习v2】

m0_73177878的博客

05-07

153

将导数拓展到不可微的函数。

【李沐深度学习笔记】矩阵计算（4）

随手写写

09-22

189

本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。本节是第四篇，由于优快云限制，只能被迫拆分。

06矩阵计算.zip

07-31

一个深度学习代码练习仓库,主要包含了李沐老师的动手学习深度学习课程的相关代码实现。主要功能点实现了从零开始的深度学习模型,如线性回归、Softmax 回归、多层感知机等。实现了经典的卷积神经网络模型,如 ...

李沐49_样式迁移——自学笔记

Rrrrrr900的博客

04-18

844

由于合成图像是风格迁移所需迭代的模型参数，我们只能在训练过程中通过调用extract_features函数来抽取合成图像的内容特征和风格特征。实验中，我们选择第四卷积块的最后一个卷积层作为内容层，选择每个卷积块的第一个卷积层作为风格层。由于我们还需要中间层的输出，因此这里我们逐层计算，并保留内容层和风格层的输出。使用VGG层抽取特征时，我们只需要用到从输入层到最靠近输出层的内容层或风格层之间的所有层。我们训练模型：首先将内容图像和风格图像的高和宽分别调整为300和450像素，用内容图像来初始化合成图像。

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows

iwill323的博客

12-22

3839

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block

在深度学习中，什么是线性插值（linear interpolation）？

weixin_44649780的博客

04-30

449

线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。

远程深度学习新环境配置流程

weixin_45668967的博客

04-30

301

下载并安装适合你系统的 Miniconda 版本。

卷积神经网络实战（2）

最新发布

weixin_55843921的博客

05-04

105

一开始conv1，第一层卷积层，去运算的时候，以前全连接的时候直接展平，现在是三维的，通道数是1（黑白照片），卷积的时候卷积核也是（1,3,3），但现在卷积核的尺寸实际上是立方体，虽然写的是2d，这是接口的这么一个设计，之所以是2d是因为在两个维度上进行移动（上下左右），不像以前的全连接是一维的必须展平。nn.MaxPool2d(2,2)，前面一个2代表池化核大小是2*2，后面的2代表步长。池化一次把图像尺寸减半。对于第二层卷积层，卷积核是(32,3,3)，这层的输入和输出的大小一样，作用是提取高层特征。

Transformer：颠覆深度学习的架构革命与技术演进

源滚滚编程

04-30

1763

2017年，谷歌团队在论文《Attention Is All You Need》中提出的Transformer架构，彻底改变了人工智能对序列数据的处理范式。通过这种机制，模型能够自动识别并强化相关位置的语义关联，例如在句子“The cat sat on the mat”中，“cat”与“sat”的关联权重显著高于其他无关词汇。其核心思想是：每个位置的输入向量通过**查询（Query）、键（Key）、值（Value）**三个矩阵变换，动态计算与其他位置的关联权重。，实现了全局上下文感知与并行计算的完美平衡。

《解锁LibTorch：开启C++深度学习新征程》

zheng_ruiguo的专栏

04-30

691

LibTorch 作为 PyTorch 的 C++ 接口，凭借其独特的优势在深度学习领域占据了重要的一席之地。它不仅继承了 PyTorch 的动态计算图和自动求导机制，还充分发挥了 C++ 语言的高性能和低延迟特性，为深度学习的研究和应用提供了强大的支持。从功能特性上看，LibTorch 在张量操作、神经网络训练与推理、多平台支持以及与 Python 的互操作性等方面表现出色。其张量操作接口简洁高效，与 PyTorch 类似，方便开发者快速上手。

李沐深度学习线性回归

01-12

### 李沐深度学习中的线性回归 #### 实现线性回归模型在李沐的《动手学深度学习》教程中，通过仅使用`NDArray`和`autograd`实现了线性回归训练过程[^1]。具体来说，在初始化阶段，定义了权重和偏差作为可训练参数，并设定了初始值。为了更好地理解这个概念，下面是一个简单的Python代码片段用于展示如何构建这样的模型： ```python def linreg(X, w, b): """线性回归模型""" return nd.dot(X, w) + b ``` 此函数接收输入特征矩阵X以及两个参数w（权重）和b（偏置项）。它返回预测的目标变量Y帽，这是基于当前设定的权重和偏移计算得出的结果。接着，对于损失函数的选择上，通常采用均方误差(MSE)，因为它能够有效地衡量实际输出与预期之间的差异程度: ```python def squared_loss(y_hat, y): """均方损失""" return (y_hat - y.reshape(y_hat.shape)) ** 2 / 2 ``` 这里需要注意的是，当处理真实标签时，应该将其形状调整为与预测值相同的形式以便于后续操作。最后，在更新规则方面，则运用到了梯度下降的思想。正如所提到的学习率决定了每次迭代过程中沿着最陡峭路径前进的距离；而负梯度则指示出了应当朝哪个方向移动才能使目标函数最小化[^2]: ```python def sgd(params, lr, batch_size): for param in params: param[:] = param - lr * param.grad / batch_size ``` 这段代码展示了简单的小批量随机梯度下降(SGD)方法，其中包含了三个主要组成部分——待优化的参数列表、选定的学习速率lr以及批次大小batch_size。