39、TensorFlow高级应用：自定义层与预构建估计器

TensorFlow高级应用：自定义层与预构建估计器

1. 自定义Keras层

在某些情况下，我们可能需要定义Keras尚未支持的新层。此时，我们可以定义一个继承自 tf.keras.layers.Layer 类的新类，这在设计新层或定制现有层时特别有用。

为了说明实现自定义层的概念，我们来看一个简单的例子。假设我们要定义一个新的线性层，用于计算 $w(x + \epsilon) + b$，其中 $\epsilon$ 是一个作为噪声变量的随机变量。为了实现这个计算，我们定义一个新类作为 tf.keras.layers.Layer 的子类。对于这个新类，我们需要定义构造函数 __init__() 方法和 call() 方法。在构造函数中，我们定义自定义层所需的变量和其他张量。如果在构造函数中给出了 input_shape ，我们可以选择在构造函数中创建并初始化变量。或者，我们可以延迟变量初始化（例如，如果我们事先不知道确切的输入形状），并将其委托给 build() 方法进行后期变量创建。此外，我们可以定义 get_config() 用于序列化，这意味着使用我们自定义层的模型可以使用TensorFlow的模型保存和加载功能进行有效保存。

下面是一个具体的例子，我们将定义一个名为 NoisyLinear 的新层，实现上述计算：

import tensorflow as