深度学习笔记003 数据操作&线性代数&自动求导及实现

最新推荐文章于 2025-10-11 20:04:45 发布
原创 最新推荐文章于 2025-10-11 20:04:45 发布 · 111 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了自动求导在解决机器学习中的优化问题中的作用，特别是对于凸函数最优解的情况。同时，解释了计算图的概念，包括显式和隐式构造，并指出其在Python库如PyTorch中的应用。文章强调了自动求导在数值计算和符号计算之间的差异，并在实际问题中如何利用这些工具进行高效优化。
部署运行你感兴趣的模型镜像

数据操作

在这里插入图片描述
在这里插入图片描述
[::3,::2]代表的是行每3行一跳，列是每两列一跳

在这里插入图片描述

bold的代表向量，一个向量对一个向量的导数是一个矩阵：

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
答：如果是凸函数有最优解，机器学习考虑的是NP问题，往往无法达到最优解。

自动求导及实现

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

自动求导

在这里插入图片描述

区别符号计算与数值拟合

pythorch实用计算图(有点像链式法则)

在这里插入图片描述
显示构造就像小学的先化简再赋值:
在这里插入图片描述
隐式构造就是让系统先记住值：
在这里插入图片描述

两个计算方式：
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【动手学深度学习v2】学习笔记02：线性代数、矩阵计算、自动求导
weixin_45800258的博客
09-10 718
本文是本深度学习专栏的第二篇文章，讲解了深度学习相关的线性代数、矩阵计算和自动求导的知识，并且给出了相关的实现代码与常用函数。适合零基础的小白学习深度学习，即使基础较差，也可以跟着其中的代码和讲解一步步熟悉深度学习编程。
（六）学习笔记：动手学深度学习（自动求导）
小刘的博客
01-07 2217
自动求导1.链式法则1.1向量的链式法则1.1.1实例一1.1.2实例二2.计算图3.自动求导的两种模式3.1正向累积和反向累积3.2反向累积总结3.3复杂度3.3.1反向累积和正向累积复杂度的对比4.自动微分4.1一个简单的例子4.2 非标量变量的反向传播4.3 分离计算4.4 Python控制流的梯度计算4.5小结4.6练习 1.链式法则 这是因为在深度学习中，多元函数通常是复合（composite）的， 所以我们可能没法应用上述任何规则来微分这些函数。 幸运的是，链式法则使我们能够微分复合函数。 让我
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（3）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅱ（线性代数、微分、自动求导）
Dontla的博客
08-11 1388
开源项目地址：d2l-ai/d2l-zh 教材官网：https://zh.d2l.ai/ 书介绍：https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本，书及代码下载地址在github网页的最下面 交流者论坛 额外： https://distill.pub/ （d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（1）（序言、pytorch的安装、神经网络涉及符号） （d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（2）前言（介绍各种机器学习问
【动手学深度学习】课程笔记 05-07 线性代数、矩阵计算和自动求导
Summerison的博客
11-05 991
动手学深度学习笔记05、06、07
《动手学深度学习》学习笔记：04 数据操作 + 数据预处理~ 07 自动求导
chenjialehhh的博客
01-26 563
其中删除法是直接将有缺省值的数据删除，而插值法则是将缺省值作为一个新的类型，可以在后续将此有缺省值的特征进行编码或者制作成如下图所示的类似one-hot的样式（如果此特征对应种类较少）。很多习以为常的操作都会占用新的内存，影响程序运行，如Y = X + Y得到的Y会占用新内存来存储，可以用Y[:] = X + Y 或者 Y += X来避免。可以使用自带的函数来做tensor与numpy的互相转换，也可以用内置函数来转换单元素tensor。cat（）函数可以用来拼接张量,dim用来选择拼接的维度。
动手学深度学习3.1线性回归-笔记&练习（PyTorch）
scdifsn的博客
04-18 1548
李沐老师《动手学深度学习（PyTorch版）》3.1线性回归-笔记&练习详解
学习笔记-李沐动手学深度学习（一）（01-07，概述、数据操作、tensor操作、数学基础、自动求导（前向计算、反向传播））
ljmiiianng的博客
01-19 3751
【语言是一个符号】【深度学习是机器学习的一种】最热的方向：深度学习和CV、NLP结合【AI地图】① 如下图所示，X轴是不同的模式，最早的是符号学，然后概率模型、机器学习。Y轴是我们想做什么东西，感知是我了解这是什么东西，推理形成自己的知识，然后做规划。② 感知类似我能看到前面有个屏幕，推理是基于我看到的东西想象未来会发生什么事，根据看到的现象、数据，形成自己的知识，知道所有知识后能进行长远的规划，未来怎么做。
07自动求导（李沐深度学习笔记）
裂缘冰释
02-25 1007
这里求导可以参看上一节这张图，∂<x,w>∂w=xT∂w∂w+wT∂x∂w=xT∂w∂w=xT\frac {\partial <x,w>}{\partial w}=x^T\frac{\partial w}{\partial w}+w^T\frac{\partial x}{\partial w}=x^T\frac{\partial w}{\partial w}=x^T∂w∂<x,w>​=xT∂w∂w​+wT∂w∂x​=xT∂w∂w​=xT，因为∂w∂w=1\frac{...
深度学习基础（pytorch基本操作&螺旋数据分类）
最新发布
2401_89740151的博客
10-11 892
本文总结了我在软件工程课中关于深度学习的第一次实验，包括 PyTorch 基本操作和螺旋数据分类任务，以及一些相关问题的探讨。
深度学习笔记--线性代数，概率论，数值计算
iwill323的博客
09-07 1255
Goodfellow deeplearning学习笔记 概率论、线性代数
龙曲良《PyTorch 深度学习》的学习笔记与代码
08-10
该学习笔记可能包含了PyTorch的安装与配置、基础概念的介绍、张量运算、自动求导机制、神经网络构建和训练、数据加载与处理、模型优化技巧、以及各种深度学习模型（如CNN、RNN、LSTM、GAN等）的构建与应用等章节。...
Diffusion扩散模型简述 + 代码demo
热门推荐
ResumeProject的博客
06-01 1万+
扩散模型是一种生成模型 GAN FLOW VAE 需要用到的概率事实： 条件概率 马尔科夫链的转移公式 高斯分布的KL散度公式 KL(P,Q)=logσ2σ1+σ2+(μ1−μ2)22σ22−12(其中P.Q为一维高斯分布) KL(P,Q)=log\frac{\sigma_2}{\sigma_1}+\frac{\sigma^2+(\mu_1-\mu_2)^2}{2\sigma_2^2} -\frac12 { \tiny(其中P.Q为一维高斯分布)}KL(P,Q)=logσ1​σ2​​+2σ22​σ2+(μ
yolov5 80个类别对照表
ResumeProject的博客
10-30 8036
yolov5 80个类别对照表
pytorch Stream 多流处理
ResumeProject的博客
08-08 7165
在PyTorch中，默认情况下，GPU上的操作是在默认流（default stream）中执行的。默认流是一个序列化的流，其中的操作按照它们出现的顺序逐个执行。这意味着在没有显式指定其他流的情况下，所有的操作都会在默认流中执行。[JIT] 在 TorchScript 中支持 CUDA 流 https://github.com/pytorch/pytorch/issues/41355。然而，PyTorch还提供了功能可以将操作提交到其他流中执行，以充分利用GPU的并行性。来创建其他流，并使用。
WideResNet(宽残差网络)介绍与代码
ResumeProject的博客
01-10 6826
《Wide Residual Networks》        深度残差网络被证明能够扩展到数千层并且仍然具有改进的性能。然而，每提高== 1%== 的准确率都会使层数增加近一倍，因此训练非常深的残差网络存在特征重用减少的问题，这使得这些网络的训练速度非常慢。为了解决这些问题，在本文中，我们对 ResNet 块的架构进行了详细的实验研究，在此基础上我们提出了一种新颖的架构，我们减少了深度和增加残差网络的宽度。我们将由此产生的网络结构称为宽
多模态：指代图像分割
ResumeProject的博客
04-12 6066
指代图像分割         指代图像分割的目的是通过一个自然的语言表达来分割指代物。由于文本和图像之间的不同数据属性，网络很难很好地对齐文本和像素级的特征。         现有的方法使用预训练模型来促进学习，但将语言/视觉知识从预训练模型中分离出来，忽略了多模态对应信息。受对比语言图像预训练（CLIP）的启发，本文提出了一种端到端CLIP驱动的参
模型可视化工具 torchinfo 计算每层输出的Output Shape
ResumeProject的博客
06-07 6051
官方文档 https://www.cnpython.com/pypi/torchinfo 之前的方法总是print(model)，或者在debug的时候去取值，但是在pip install torchinfo ，可以很方便的查看网络中的信息： # 官方的例子 from torchinfo import summary import torchvision model = torchvision.models.resnet152() summary(model, (1, 3, 224, 224), dept
docker 中使用gpu
ResumeProject的博客
03-12 5141
如果没有正确配置会报错：could not select device driver “” with capabilities: [[gpu]].
TensorRT Triton Inference Server: 版本 error魔术标记不匹配 ， NGC使用
ResumeProject的博客
06-09 5129
转换和推理使用的镜像的标签是相同的，但是转换的镜像中pip list得到trt版本为8.6.0，但是推理环境中 root@f2c810ba3976:/# /usr/src/tensorrt/bin/trtexec ， 得到trtexec版本为8.5.3。可在官方文档中寻找正确版本的镜像地址https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags。解决： rebuild。
深度学习系统实践笔记：从数学基础到模型压缩
资源摘要信息: "本资源为深度学习系统笔记，内容涵盖了深度学习数学基础知识、神经网络基础部件详解、深度学习炼丹策略以及模型压缩算法详解。资源内包含的项目源码是作者的个人课程设计和毕业设计作品，所有代码都...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值