36、深度学习中的自定义层、模型、损失与自动求导

深度学习中的自定义层、模型、损失与自动求导

1. 自定义层

在深度学习中，有时候我们需要构建包含特殊层的架构，而 TensorFlow 可能没有提供默认实现，或者想要将重复的层块视为单个层。以下是构建自定义层的方法：
- 无权重层 ：对于像 keras.layers.Flatten 或 keras.layers.ReLU 这样没有权重的层，最简单的方法是编写一个函数并将其包装在 keras.layers.Lambda 层中。例如：

import tensorflow as tf
from tensorflow import keras

exponential_layer = keras.layers.Lambda(lambda x: tf.exp(x))

这个自定义层可以像其他层一样使用，可用于顺序 API、函数式 API 或子类化 API，也可以用作激活函数。

• 有权重层 ：要构建有状态的自定义层（即有权重的层），需要创建 keras.layers.Layer 类的子类。以下是一个简化版的 Dense 层实现：

class MyDense(keras.layers.Layer): 
    def __init__(self, units,