笔记:TensorFlow全连接层函数tf.layers.dense()原理

转文章原地址:
https://www.jianshu.com/p/3855908b4c29

最近在用TensorFlow实现CNN网络时用到了全连接层，在网上看了很多有关全连接层实现的代码，发现相当一部分人都还是倾向于自己构造权重矩阵W和偏移矩阵b，利用矩阵乘法实现全连接层。
而TensorFlow中封装了全连接层函数tf.layers.dense()，但是官方文档中并没有解释其详细原理。网上有部分博客对此提及，但也少有涉及到内部实现原理的。于是今天自己动手做了个对比试验，来探究一下tf.layers.dense()函数的详细原理。

先贴结论：tf.layers.dense( input, units=k )会在内部自动生成一个权矩阵kernel和偏移项bias，各变量具体尺寸如下：对于尺寸为[m, n]的二维张量input， tf.layers.dense()会生成：尺寸为[n, k]的权矩阵kernel，和尺寸为[m, k]的偏移项bias。内部的计算过程为y = input * kernel + bias，输出值y的维度为[m, k]。

以下是实验代码。

import tensorflow as tf

# 1. 调用tf.layers.dense计算
input = tf.reshape(tf.constant([[1., 2.], [