TensorFlow之tf.nn.bias_add()以及如何看张量的行列通道

https://blog.youkuaiyun.com/qq_37174526/article/details/80905693

张量的行、列、通道

[[[1  4]
  [2  5]
  [3  6]]

  [[7 10]
   [8 11]
   [9 12]]]

上图是一个三维张量[2,3,2]，第一个维度是2，于是最外面的中括号里面套了2个子张量，也就是2个3*2的张量，我们把其中一个提取出来。

[[1  4]
 [2  5]
 [3  6]]

它是一个3*2的张量，按照上面说的方法，最外面的中括号里面套了3个子张量，也就是3个2维的向量。
对于一个三维张量来说，第一维代表行(axis=0)，第二维代表列(axis=1)，第三维代表通道(axis=2)。
也就是说，对于上面那个例子，去掉最外面那个括号后的两个子张量就是两行，如下：

[[1  4]
 [2  5]                     
 [3  6]]
和
[[7 10]
 [8 11]
 [9 12]]

再去掉一个子张量的最外面一个括号，就是3列：

[1  4]
[2  5]
[3  6]

其中每一列又有2个通道。比如4这个数字的位置就是第1行第1列第2通道。

tf.nn.bias_add()

图片的张量一般是4维的，比如[2,3,3,2]表示2张3x3的2通道图片，tf.nn.bias_add()会将偏置加到3x3的图片上(第一维不变)，biases的维度要和图片第4维相同(也就是有几个卷积核，就有几个biases)
示例代码：

import tensorflow as tf
import numpy as np

#定义一个[2,3,3,2]图片张量，表示2张3x3的2通道图片
a = tf.Variable(tf.zeros([2,3,3,2]))
#bias向量有两个元素，表示加到不同通道上
b = tf.constant([1,-1],dtype=tf.float32)
add = tf.nn.bias_add(a,b)

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    print(sess.run(a))
    print(sess.run(add))

输出a：

[[[[0. 0.]
   [0. 0.]
   [0. 0.]]

  [[0. 0.]
   [0. 0.]
   [0. 0.]]

  [[0. 0.]
   [0. 0.]
   [0. 0.]]]


 [[[0. 0.]
   [0. 0.]
   [0. 0.]]

  [[0. 0.]
   [0. 0.]
   [0. 0.]]

  [[0. 0.]
   [0. 0.]
   [0. 0.]]]]

输出add：

[[[[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]

  [[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]

  [[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]]


 [[[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]

  [[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]

  [[ 1. -1.]
   [ 1. -1.]
   [ 1. -1.]]]]

可以看到，1分别加到了第一张和第二张图片的第一通道上，-1分别加到了第一张和第二张图片的第二通道上。