39、深入探索TensorFlow：自定义层与预构建评估器的应用

深入探索TensorFlow：自定义层与预构建评估器的应用

1. 自定义Keras层

当我们想要定义一个Keras尚不支持的新层时，可以定义一个继承自 tf.keras.layers.Layer 类的新类。这在设计新层或定制现有层时特别有用。

1.1 示例：NoisyLinear层

我们以一个简单的例子来说明自定义层的实现。假设我们要定义一个新的线性层，计算$w(x + \epsilon) + b$，其中$\epsilon$是一个作为噪声变量的随机变量。以下是实现该计算的代码：

import tensorflow as tf

class NoisyLinear(tf.keras.layers.Layer):
    def __init__(self, output_dim, noise_stddev=0.1, **kwargs):
        self.output_dim = output_dim
        self.noise_stddev = noise_stddev
        super(NoisyLinear, self).__init__(**kwargs)

    def build(self, input_shape):
        self.w = self.add_weight(name='weights',
                                 shape=(input_shape[1], self.output_dim),