【Tensorflow2.0】tensorflow中的Dense函数解析

原创

已于 2023-02-09 16:06:32 修改 · 9.1k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #深度学习 #python

于 2023-02-09 14:59:49 首次发布

Dense层是Tensorflow中全连接层的实现，它的输入节点数会根据实际输入的shape动态确定。与Pytorch的nn.Linear类似，但Tensorflow在定义时不需指定输入维度，可在模型构建时指定input_shape。文章通过例子展示了如何使用Dense层，并对比了它与Pytorch中Linear层的差异。

1 作用

注意此处Tensorflow版本是2.0+。
由于本人是Pytorch用户，对Tensorflow不是很熟悉，在读到用tf写的代码时就很是麻烦。如图所示，遇到了如下代码：

h = Dense(units=adj_dim, activation=None)(dec_in)

Dense层就是全连接层，对于层方式的初始化的时候，layers.Dense(units,activation)函数一般只需要指定输出节点数Units和激活函数类型即可。输入节点数将根据第一次运算时输入的shape确定，同时输入、输出节点自动创建并初始化权值w和偏置向量b。

下面是Dense的接口

Dense(units,
 activation=None, 
 use_bias=True, 
 kernel_initializer='glorot_uniform', 
 bias_initializer='zeros', 
 kernel_regularizer=None, 
 bias_regularizer=None, 
 activity_regularizer=None, 
 kernel_constraint=None, bias_constraint=