李沐深度学习笔记-05线性代数

最新推荐文章于 2025-12-02 09:08:20 发布

原创

最新推荐文章于 2025-12-02 09:08:20 发布 · 919 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #线性代数 #pytorch

本文介绍了深度学习中的线性代数基础知识，包括标量、向量、矩阵的表示和操作，如哈达玛积、求和及矩阵向量积。此外，还详细探讨了PyTorch中拷贝的概念，区分了浅拷贝和深拷贝的差异，浅拷贝共享内存，深拷贝创建独立副本，并讨论了它们在梯度计算和计算图中的影响。

1.线性代数

标量由只有一个元素的张量表示

import torch
x=torch.tensor([3.0])
y=torch.tensor([2.0])
x+y,x*y,x/y,x**y
#输出(tensor([5.]), tensor([6.]), tensor([1.5000]), tensor([9.]))

可以将向量视为标量值组成的列表

x=torch.arange(4)
x
#输出tensor([0, 1, 2, 3])

通过张量的索引来访问任一元素

x[3]
#输出tensor(3)

访问张量的长度

len(x)
#4

只有一个轴的张量，形状只有一个元素

x.shape
#torch.Size([4])

通过指定两个分量m和n来创建一个形状为m*n的矩阵

A=torch.arange(20).reshape(5,4)
A
'''输出tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11],
        [12, 13, 14, 15],
        [16, 17, 18, 19]])
'''

B=torch.tensor([[1,2,3],[2,0,4

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

爱的小胡

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

李沐《动手学深度学习》课程笔记：05 线性代数

weixin_44850744的博客

02-24

1323

目录 05 线性代数 1.线性代数 2.线性代数实现 3.按特定轴求和 05 线性代数 1.线性代数 2.线性代数实现 import torch # 标量由只有一个元素的张量表示 x = torch.tensor(3.0) y = torch.tensor(2.0) print(x+y) print(x*y) print(x/y) print(x**y) # 可以将向量视为标量组成的列表 x = torch.arange(4) print..

【课程笔记】动手学深度学习(李沐)

你好tesseract的专栏

03-02

2317

网上找了下，笔记不多http://blog.youkuaiyun.com/quincuntial/article/details/78014194http://www.cnblogs.com/yifdu25/p/8358964.htmlhttp://blog.youkuaiyun.com/catalyst_zx/article/details/53204234 http://blog.youkuaiyun.com/zswang9ht...

参与评论您还未登录，请先登录后发表或查看评论

李沐笔记+课后练习（线性代数）

qq_42310607的博客

10-01

494

标量：向量：矩阵：特殊矩阵： 线性代数实现： import torch # 标量由只有一个元素的张量表示 x = torch.tensor([3.0]) y = torch.tensor([2.0]) print(x+y, x*y, x/y, x**y) # 可以将向量视为标量值组成的列表 x = torch.arange(4) print(x) # 通过张...

李沐《动手学深度学习》笔记3-线性代数

qq_36136196的博客

07-05

318

标量向量长度：二范数点积正交矩阵 线性代数的本质：矩阵是一个扭曲的空间 F范数：对称，反对称，正定，正交置换矩阵特征向量，特征值此处不被改变指方向，与大小无关。 import torch x = torch.tensor([3.0]) x = torch.arange(4) len(x)#4 x[3] #tensor(3) x.shape #torch.Size([4]) A = torch.arange(20).reshape(5,4) A.T A == A.T X = t

【深度学习】李沐的深度学习笔记来了！

fengdu78的博客

08-06

912

转载自 |机器之心去年年初，机器之心知识站上线了亚马逊资深首席科学家李沐博士的「动手学深度学习」中文系列课程。这门课从3月持续到8月，超过28000人参与了直播，课程回放在 B 站的播放量达到了上百万次。这门课程基于李沐等人编写的《动手学深度学习》第二版。《动手学深度学习》既有开源项目，也有纸质书，它覆盖了90年代至今重要的模型，特别是每一章都是一个Jupyter记事本...

【李沐深度学习笔记】线性代数实现

随手写写

09-21

729

本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。这节就算之前内容的复习，后面以截图形式呈现。

【李沐深度学习笔记】线性代数

随手写写

09-19

857

课程地址和说明数据预处理实现p3 本系列文章是我学习李沐老师深度学习系列课程的学习笔记，可能会对李沐老师上课没讲到的进行补充。 线性代数 标量标量（scalar），亦称“无向量”。有些物理量，只具有数值大小，而没有方向，部分有正负之分。物理学中，标量（或作纯量）指在坐标变换下保持不变的物理量。用通俗的说法，标量是只有大小，没有方向的量。（在深度学习领域也是如此）标量的运算规律加减法：c=a+bc=a+bc=a+b 乘除法：c=a⋅bc=a\cdot bc=a⋅b 取特定函数：c=sinac=sina

李沐动手学深度学习-学习笔记

03-15

首先，笔记会介绍深度学习的基本原理，包括线性代数、概率论和信息论等数学基础，以及神经网络的前向传播、反向传播和梯度下降等关键算法。这些内容是深度学习的基石，对于初学者来说尤为重要。通过理解这些基础概念...

李沐基于Pytorch的深度学习笔记（5）-线性回归和基础优化算法（附代码）

m0_57628341的博客

02-28

492

1 线性回归线性回归的应用是机器学习和深度学习的一个基础，所以需要去了解。具体的东西在各种图书中都是有参考的。李沐老师这里举了个例子，这个例子就是啥呢，关于房价的一个预估。做一个简化模型：这个模型和我们熟知的感知机模型其实是一样的。之后呢我们需要把这个模型拓展到一般化的线性模型。一般为了方便表示和计算，一般还是会做成矩阵的一个方式。这里可以把线性模型看作单层神经网络 1.2 神经网络类似于这种模型都属于神经网络，而当前的神经网络的模型以及比这更加高级了。...

【Transformer】李沐论文逐段精读学习笔记

Zheng_LH

07-10

3008

贡献：网络简单，且跟之前的网络结构都不一样，不使用rnn或cnn的单元。并行度更好，训练快很多。在机器翻译上取得了更好的效果。本文提出的Transformer是第一个纯基于attention的序列转录模型，使用multi-head self-attention替代了之前的rnn结构。在机器翻译上，比RNN和CNN都要快，还取得了新的SOTA。介绍了传统的RNN，CNN以及encoder-decoder架构。分析了RNN的缺点：难以并行。容易遗忘。再介绍了attention机制。最后提出了一个全新的架构Tra

DAY4 深度学习之李沐大神笔记（2）

qq_41034212的博客

09-16

269

DAY4 深度学习之李沐大神笔记（2）今天主要是完成线性代数相关的知识回顾以及常用代码梳理。通过arange列出20个元素，再通过reshape构建成5行4列的矩阵： A = torch.arange(20).reshape(5,4) A 将A矩阵进行矩阵的转置： A.T 判断是否为对称矩阵： B == B.T 向量就是标量的推广，矩阵是向量的推广，我们可以构建具有更多轴的数据结构： X = torch.arange(24).reshape(2,3,4) X#这就是一个三维的张量，4是行数，.

线性代数（李沐老师课程）

kyle的博客

09-02

1000

范数在深度学习中扮演着至关重要的角色，主要用于模型训练过程中的正则化、损失函数的设计、梯度裁剪、模型评估等方面。

李沐老师《动手学深度学习》笔记

weixin_46213025的博客

01-11

1374

李沐老师《动手学深度学习》笔记——08 线性回归 + 基础优化算法

编程小菜学习之李沐老师动手学深度学习笔记-37微调

m0_63577878的博客

06-05

650

深度学习系列课程

05线性代数（李沐深度学习笔记）

裂缘冰释

09-22

742

[TOP] 线性代数 直观理解矩阵乘法相当于扭曲空间，向量通过一个矩阵相乘变成另外一个向量，相当于矩阵把一个空间进行了扭曲矩阵也有长度，即范数 c和b是向量。F范数相当于把矩阵拉成一个向量求范数，由于F范数比较简单，所以一般会用F范数在数学上，特别是在矩阵理论中，置换矩阵是一个方形二进制矩阵，它在每行和每列中只有一个1，而在其他地方则为0。设P是一个m×n的 (0,1) 矩阵，如果 m≤n且 PP′=E，则称 P为一个 m×n的置换矩阵。其中P′是P的转置矩阵，E是m阶单位方

深度学习（李沐）——学习笔记（一）

weixin_45568353的博客

10-07

1112

一

深度学习——基础知识：线性代数

平什么阿的博客

08-31

1006

文章目录一.标量和向量二. 矩阵三. 张量及其算法性质四. 降维一.标量和向量标量由只有一个元素的张量表示。 import torch x = torch.tensor([3.0]) y = torch.tensor([2.0]) x + y, x * y, x / y, x**y (tensor([5.]), tensor([6.]), tensor([1.5000]), tensor([9.])) 向量视为标量值组成的列表。 x = torch.arange(4) x tensor([0

【卷积神经网络】卷积层、池化层、全连接层

一杯水果茶！足矣~

11-29

1763

卷积神经网络通过三维输入数据（h×w×c）直接提取特征，相比传统神经网络能更好地保留空间信息。其核心架构包含卷积层、池化层和全连接层，其中只有带权重参数的层（如卷积层和全连接层）计入网络深度。卷积层通过滑动窗口、步长调节、边缘填充和多核设计实现多层次特征提取，小卷积核堆叠既能扩大感受野又能减少参数量。感受野随网络深度递推增长，计算公式为RF_new = RF_prev + (k-1)×S_prev，这种层级结构使浅层提取局部特征，深层捕获全局特征。

深度学习理论推导--多元线性回归

最新发布

weixin_43719312的博客

12-02

543

本文介绍了多元线性回归的矩阵表示与求解方法。首先通过矩阵运算展示了如何从一元线性回归扩展到多元情形，推导出预测值的矩阵表达式。然后定义了残差平方和(RSS)的矩阵形式。最后详细阐述了利用链式法则对参数求导的过程，说明如何通过最小化残差平方和来求解最优参数。全文以矩阵运算为核心，展示了多元线性回归的简洁数学表达和求解思路。

李沐深度学习-循环卷积网络笔记

03-27

### 关于李沐深度学习课程中循环卷积网络部分的学习笔记在李沐的《动手学深度学习》教材及其配套资源中，虽然主要关注的是基础概念、数据操作以及经典的卷积神经网络（CNN），但对于更复杂的结构如循环卷积网络（Recurrent Convolutional Networks, RCNs）也有一定的涉及[^1]。然而，在具体章节安排上，RCN的内容并未单独成篇，而是作为高级主题的一部分被提及。 #### 循环卷积网络简介循环卷积网络是一种结合了卷积神经网络（CNN）的空间特征提取能力和循环神经网络（RNN）的时间序列建模能力的方法。这种模型特别适用于处理具有时空依赖性的任务，比如视频分类或动作识别。通过引入时间维度上的记忆机制，RCN能够更好地捕捉动态变化的信息[^4]。 #### 学习路径建议对于希望深入理解循环卷积网络的学生来说，可以从以下几个方面入手： 1. **基础知识巩固**: 首先复习卷积神经网络的基础理论，包括但不限于卷积层的工作原理、池化操作的作用等。这部分内容可以通过阅读李沐老师的讲义或者观看其相关视频完成[^3]。 2. **时间序列分析入门**: 接着了解基本的RNN变体，例如LSTM(Long Short-Term Memory) 和 GRU(Gated Recurrent Unit)，这些单元如何解决梯度消失等问题是非常重要的知识点。 3. **融合实践探索**: 当具备上述两项技能之后，则可尝试将两者结合起来应用到实际场景当中去。这里推荐查阅一些最新的科研论文或是开源项目案例来进行模仿练习[^2]。以下是简单的代码片段展示如何构建一个基础版本的RCN模型： ```python import torch.nn as nn class SimpleRCN(nn.Module): def __init__(self, input_channels, num_classes): super(SimpleRCN, self).__init__() # Define a CNN part self.cnn = nn.Sequential( nn.Conv2d(input_channels, 64, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2)) # Flatten the output of CNN to feed into RNN self.flatten = nn.Flatten() # Define an LSTM layer after flattening spatial features self.lstm = nn.LSTM(64 * 7 * 7, hidden_size=128, batch_first=True) # Final fully connected layer for classification task self.fc = nn.Linear(128, num_classes) def forward(self, x): cnn_outs = [] T = x.size(1) # Time steps for t in range(T): out_cnn = self.cnn(x[:,t,:,:]) flattened = self.flatten(out_cnn) cnn_outs.append(flattened.unsqueeze(dim=1)) lstm_input = torch.cat(cnn_outs,dim=1) _, (hn,cn)= self.lstm(lstm_input) final_output = hn[-1] return self.fc(final_output) ```