自动求导的原理(Autograd, Auto Differentiation)

最新推荐文章于 2025-10-08 12:06:37 发布
转载 最新推荐文章于 2025-10-08 12:06:37 发布 · 1.3k 阅读 · 4 ·
CC 4.0 BY-SA版权
原文链接：https://www.zhihu.com/question/66200879

本文深入解析了TensorFlow中求导的实现原理，通过人工编写每个操作的数学实现，并利用链式法则自动计算整个表达式的导数。文章提供了多个开源计算图示例，包括miniflow等，帮助理解前向传播和后向传播的过程，以及GPU加速的机制。
部署运行你感兴趣的模型镜像

知乎话题

TensorFlow的求导，实际上是先提供每一个op求导的数学实现（人手工写的函数代码），然后使用链式法则自动求出整个表达式的导数。

op的forward和backward，都是用矩阵做输入和输出的，便于GPU调库加速。

很好的示例代码：

miniflow；

开源计算图示例（1）；开源计算图示例（2）；开源计算图示例（3）

四种求导方式的介绍；论文：Automatic Differentiation in Machine Learning: a Survey

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Pytorch使用手册—C++ 前端中的自动求导（Autograd）（专题四十九）
03-10 107
将一个新的基本操作添加到需要为每个操作实现一个新的子类。是用来计算结果和梯度，并编码操作历史的工具。forward和backward，详细要求请参见此链接。下面是来自torch::nn的一个Linearpublic:然后，我们可以通过以下方式使用输出public:然后，我们可以通过以下方式使用输出5.50005.5000。
【深度学习基础】自动微分 Automatic Differentiation
qq_43491212的博客
06-06 1541
本文主要讲述了自动微分（Automatic Differentiation，AD）的两种模式（Forward 和 Reverse）。
自动求导
tangzhaotz的博客
05-10 591
""" autograd 包为张量上的所有操作提供了自动求导机制。它是一个在运行时定义(define-by-run）的框架， 这意味着反向传播是根据代码如何运行来决定的，并且每次迭代可以是不同的 torch.Tensor 是这个包的核心类。如果设置它的属性 .requires_grad 为 True，那么它将会追踪对于该张量的所有操作。 当完成计算后可以通过调用 .backward()， 来自动计算所有的梯度。这个张量的所有梯度将会自动累加到.grad属性. 要阻止一个张量被跟踪历史，可以调用 .det
动手学深度学习6 自动求导
weixin_42831564的博客
01-18 1349
y2XTX从入门到放弃说的就是这两节课~~~
PyTorch 的 Autograd 系统进行一次全面且深入的详解
最新发布
主攻大数据 人工智能 物联网 安全 低空经济等方向。mtsc 、gtest特邀分享嘉宾
10-08 780
叶子张量：用户直接创建的张量，不是通过操作产生的非叶子张量：通过对叶子张量进行操作得到的张量x = torch.tensor(2.0, requires_grad=True) # 叶子张量y = x ** 2 # 非叶子张量z = y + 1 # 非叶子张量ctx.save_for_backward(input) # 保存输入供反向传播使用grad_input[input < 0] = 0 # ReLU的导数# 使用自定义函数。
机器学习之——自动求导
燕哥带你学算法
10-09 3324
作者：叶虎 小编：张欢 随机梯度下降法（SGD）是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的，主要采用BP算法，或者说利用链式法则。但是深度学习模型是复杂多样的，你不大可能每次都要自己使用链式法则去计算梯度，然后采用硬编程的方式实现。 而目前的深度学习框架其都是实现了自动求梯度的功能，你只关注模型架构的设计，而不必关注模型背后的梯度是如何计算的。不过，我们还是
自动求导机制
qq_37289115的博客
10-21 1080
自动求导–GradientTape TensorFlow提供了一个专门用来求导的类GradientTape，可以形象的理解为记录梯度数据的磁带，通过它可以实现对变量的自动求导和监视。 GradientTape类实现了上下文管理器，它能够监视with语句块中所有的变量和计算过程，并把它们自动记录在梯度带中。 with GradientTape() as tape: 函数表达式 grad = tape.gradient(函数，自变量) GradientTape()是GradientTape类的构造函数 首先
pytorch怎么设置模型参数初始值_pytorch自动求导Autograd系列教程（一）
weixin_39568781的博客
11-22 902
前言：构建深度学习模型的基本流程就是：搭建计算图，求得损失函数，然后计算损失函数对模型参数的导数，再利用梯度下降法等方法来更新参数。搭建计算图的过程，称为“正向传播”，这个是需要我们自己动手的，因为我们需要设计我们模型的结构。由损失函数求导的过程，称为“反向传播”，求导是件辛苦事儿，所以自动求导基本上是各种深度学习框架的基本功能和最重要的功能之一，PyTorch也不例外，后面有时间会写一下tens...
【PyTorch自动求导的高级扩展】：非标准网络结构的实现艺术
![【PyTorch自动求导的高级扩展】：非标准网络结构的实现艺术](https://discuss.pytorch.org/uploads/default/optimized/2X/a/a6b7725eedc002a02425975f2b0176033237c679_2_1024x576.png) ...自动求导（Automat
PyTorch 自动微分论文翻译及解释
OrdinaryMatthew的博客
03-17 962
绪论 本文是对 发表在NIPS 2017 Workshop上面的名为 Automatic differentiation in PyTorch 的 预印论文的一部分的翻译。 只是因为感兴趣，想了解一下 PyTorch 自动求导这方面涉及到的不太深的数学和计算机科学的知识。翻译完成后，我所学习到的有这么几点： PyTorch 自动微分抛弃了符号方法。PyTorch 是动态运行的，TensorFlow 和 Caffe 是静态运行的，静态运行的需要制定一个静态图和提前通过符号进行微分。 PyTorch 大部分使
阅读 PyTorch 自动微分文章 补充知识点
OrdinaryMatthew的博客
03-17 2112
绪论 本文是作者在阅读 发表在NIPS 2017 Workshop上面的名为 Automatic differentiation in PyTorch 的 文章时，发现其中我缺少的一些知识点。查找后以本文记录。本文涉及到的点有 原地操作 计算机程序中的求值策略，迫切求值还是懒惰求值 自动求导，含正向累积与反向累积方法 向量-雅可比 积 原地操作 “ 原地运算是一种直接改变给定线性代数、向量、矩阵(张量)内容（content）的运算，而不需要复制。该定义取自本 Python 教程。 根据定义，原地操作
深度学习修炼（三）——自动求导机制
弄鹊
03-23 4311
自动求导机制以及线性回归的初体验
深入浅出详解张量自动求导机制
Paper weekly
12-24 509
©作者 |清川单位 |上海交通大学博士生研究方向 |联邦学习、端云协同推断写在前面深入浅出，在计算机教材界被用滥的词，总是继承着领域小白的初心和梦想。顾名思义，它既意味着理解得透彻，又要求复述得通俗。如果说复述是大名鼎鼎的费曼学习法的精髓，那么复刻便是其在程序世界最恰当的对应概念。君不见深度学习水涨船高，计算框架层出不穷。想要深入浅出这些框架，何不亲自动手复刻个轮子？自动求导机制是神经网络计...
pytorch入门基础知识小白必备，强推，超详细！！！（二）自动求导原理
qq_26413875的博客
09-25 377
这篇博客介绍的内容是pytorch深度学习框架中最重要的内容之一，如果想要成为pytorch大佬的话，这篇博客你绝对不能错过，本人亲自复现使用过代码，获益良多，希望能帮到大家。这个代码呢也不是我写的，我自己加了些个人的理解上去，如果有不妥的地方，希望大家不吝赐教，话不多说，上车吧骚年~ #!/usr/bin/env python # -*- coding:utf-8 -*- # Author: ...
【PyTorch单点知识】自动求导机制的原理与实践
使者大牙ℂypher的博客
07-09 3235
PyTorch中的自动求导介绍
自动求导实现
m0_56065966的博客
10-21 421
轻松学习自动求导
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值