37、TensorFlow高级特性：从梯度计算到自定义训练与图生成

TensorFlow高级特性：从梯度计算到自定义训练与图生成

1. 梯度计算问题与解决方案

在计算某些函数的梯度时，自动微分（autodiff）可能会遇到数值困难。例如，使用自动微分计算softplus函数的梯度时，由于浮点精度误差，可能会出现无穷大除以无穷大的情况，从而返回NaN。不过，我们可以通过解析的方法得到softplus函数的导数为 1 / (1 + 1 / exp(x)) ，这个表达式在数值上是稳定的。

以下是使用 @tf.custom_gradient 装饰器来定义一个更稳定的softplus函数及其导数的代码：

import tensorflow as tf

@tf.custom_gradient
def my_better_softplus(z): 
    exp = tf.exp(z) 
    def my_softplus_gradients(grad): 
        return grad / (1 + 1 / exp) 
    return tf.math.log(exp + 1), my_softplus_gradients

使用这个自定义的更好的softplus函数，即使对于大的输入值，也能得到正确的梯度结果。不过，由于指数运算，主输出仍然可能会爆炸，一种解决方法是使用 tf.where() 在输入值较大时返回输入本身。

2. 自定义训练循环

在某些情况下， fit() 方法可