tf.gradients

最新推荐文章于 2024-01-14 10:27:22 发布

imcl

最新推荐文章于 2024-01-14 10:27:22 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： tensorflow 文章标签： tf.gradienst

本文链接：https://blog.youkuaiyun.com/ustc_imcl_fj/article/details/79938829

tensorflow 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了TensorFlow中tf.gradients函数的使用方法及参数解释，并通过实例演示了如何利用该函数进行偏导数计算，同时对比了tf.stop_gradients的不同用法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.gradients

tf.gradients(
ys,
xs,
grad_ys=None,
name=’gradients’,
colocate_gradients_with_ops=False,
gate_gradients=False,
aggregation_method=None,
stop_gradients=None
)

功能

ys, xs 均是包含tensor的list, ys中的每个tensor和xs中的tensor相关

计算步骤：（求和可以理解为batch内的累加）

Σ l e n (y s) i \partial y s [ i ] \partial x s [ j ], \forall j \in [0, l e n (x s) - 1]

$\Sigma_{i}^{len(ys)} \frac{\partial ys[i]}{\partial xs[j]}, \forall j \in [0, len(xs)-1]$

stop_gradients 用于指定偏导停止链式法则的节点。

import tensorflow as tf 

a = tf.constant([0.0])

b = a * 2

pg = tf.gradients(a+b, [a, b])

with tf.Session() as sess:
    res = sess.run(pg)
    print(res)

[array([3.], dtype=float32), array([1.], dtype=float32)]

import tensorflow as tf 

a = tf.constant([0.0])

b = a * 2

pg = tf.gradients(a+b, [a, b], stop_gradients=[a,b])

with tf.Session() as sess:
    res = sess.run(pg)
    print(res)

[array([1.], dtype=float32), array([1.], dtype=float32)]

和tf.stop_gradients区别

tf.stop_gradients 是在构建图的过程中使用，指定停止链式法则的节点

stop_gradients是在构建图之后使用

当程序运行时，碰到以上两种方式定义的stop_gradients, 均会停止链式法则，进而求得部分偏导。