36、深度学习中的自定义层、模型、损失、指标及自动求导

深度学习中的自定义层、模型、损失、指标及自动求导

在深度学习的实践中，我们常常会遇到需要自定义层、模型、损失和指标的情况，同时也需要掌握自动求导的方法。下面将详细介绍这些内容。

1. 自定义层

在某些情况下，我们需要创建自定义层。比如，TensorFlow 没有为特定的架构提供默认实现，或者我们想要构建重复的架构块，将其视为单个层。

• 无权重自定义层 ：对于没有权重的层，如 keras.layers.Flatten 或 keras.layers.ReLU ，可以通过编写函数并将其包装在 keras.layers.Lambda 层中来创建自定义层。例如：

import tensorflow as tf
from tensorflow import keras

exponential_layer = keras.layers.Lambda(lambda x: tf.exp(x))

这个自定义层可以像其他层一样使用，可用于 Sequential API 、 Functional API 或 Subclassing API ，也可以作为激活函数。

• 有权重自定义层 ：要创建有权重的自定义层，需要继承 keras.layers.Layer