全连接笔记tf.contrib.layers.fully_connected

原创

已于 2022-03-25 19:16:20 修改 · 3.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2022-03-25 16:08:58 首次发布

本文详细介绍了TensorFlow中全连接层的实现方法与参数配置，包括如何定义全连接层、正则化项加入损失函数优化过程及训练技巧等内容。

*来源于一些大佬笔记的整合，仅用于便于学习和记忆*

1、代码释意：

fully_connected创建一个名为的变量weights，表示一个完全连接的权重矩阵，乘以它inputs产生一个 Tensor隐藏单位。

如果normalizer_fn提供了数据（例如 batch_norm），则应用它。否则，如果normalizer_fn为None且使用了biases_initializer，biases则将创建变量并添加隐藏单位。

如果activation_fn不是None，它也会应用于隐藏单位。

tf.contrib.layers.fully_connected(
    inputs,
    num_outputs,
    activation_fn=tf.nn.relu,
    normalizer_fn=None,
    normalizer_params=None,
    weights_initializer=initializers.xavier_initializer(),
    weights_regularizer=None,
    biases_initializer=tf.zeros_initializer(),
    biases_regularizer=None,
    reuse=None,
    variables_collections=None,
    outputs_collections=None,
    trainable=True,
    scope=None
)

inputs：至少为二阶张量和最后一个维度的静态值; 即[batch_size, depth]，[None, None, None, channels]。
num_outputs：整数或长整数，图层中的输出单位数。
activation_fn：激活功能。默认值是ReLU功能。将其明确设置为“无”以跳过它并保持线性激活。
normalizer_fn：使用标准化功能代替biases