36、TensorFlow 自定义层、模型、损失、指标及自动求导

TensorFlow 自定义层、模型、损失、指标及自动求导

1. 自定义层

在构建神经网络时，有时需要创建 TensorFlow 未提供默认实现的特殊层，或者为了简化重复的层结构，将多个层组合成一个自定义层。

1.1 无权重的自定义层

对于没有权重的层，可以通过编写函数并将其包装在 keras.layers.Lambda 层中来创建自定义层。例如，以下代码创建了一个将指数函数应用于输入的自定义层：

import tensorflow as tf
from tensorflow import keras

exponential_layer = keras.layers.Lambda(lambda x: tf.exp(x))

这个自定义层可以像其他层一样使用，支持 Sequential API 、 Functional API 和 Subclassing API ，也可以用作激活函数。

1.2 有权重的自定义层

要创建有权重的自定义层，需要继承 keras.layers.Layer 类。以下是一个简化版 Dense 层的实现：

class MyDense(keras.layers.Layer): 
    def __init__(self, units, a