学习了mooc上的TensorFlow笔记,如下为自己整理的学习心得,挑选了其中重要的部分和自己不是很理解的部分,以供复习
一、基本概念
1.基于 Tensorflow 的 NN:用张量表示数据,用计算图搭建神经网络,用会话执行计算图,优化线上的权重(参数),得到模型。
2.张量:张量就是多维数组(列表),用“阶”表示张量的维度
比如,0阶张量是一个标量,只代表一个单独的数。如S=123
1阶张量称为向量表示一个一维数组:V=[1,2,3]
2 阶张量称作矩阵,表示一个二维数组,它可以有 i 行 j 列个元素,每个元素可以用行号和列号共同索引到:举例 m=[[1, 2, 3], [4, 5, 6], [7, 8, 9]]
判断张量是几阶的,就通过张量右边的方括号数,0 个是 0 阶,n 个是 n 阶,张量可以表示 0 阶到 n 阶数组(列表):举例 t=[ [ [… ] ] ]为 3 阶。
3.数据类型:Tensorflow 的数据类型有 tf.float32、tf.int32 等。
举例:
import tensorflow as tf #引入模块 x=tf.constant([1.0,2.0]) #定义一个张量等于[1.0,2.0] y=tf.constant([3.0,4.0]) #定义一个张量等于[3.0,4.0] result=x+y #实现向量的加法 print(result)
结果:
result 是一个名称为 add:0 的张量,shape=(2,)表示一维数组长度为 2,dtype=float32 表示数据类型为浮点型,这里不会打印出结果,因为这里只是表示过程
4.计算图(Graph): 搭建神经网络的计算过程,是承载一个或多个计算节点的一张图,只搭建网络,不运算。
神经网络的基本模型是神经元,神经元的基本模型其实就是数学中的乘、加运算。
利用代码实现上述过程:
import tensorflow as tf #引入模块 x=tf.constant([[1.0,2.0]]) #定义一个 2 阶张量等于[[1.0,2.0]] w=tf.constant([[3.0],[4.0]]) #定义一个 2 阶张量等于[[3.0],[4.0]] y=tf.matmul(x,w) #实现 xw 矩阵乘法 print(y)
结果:
结果表示,y是一个张量,是一个一行一列的矩阵,同样,这里只表示计算图的计算过程,并没有运算出结果来。
5.会话(Session): 执行计算图中的节点运算。
seesion利用with语法实现,语法如下:
with tf.Session() as sess: print(sess.run(y))
例如上面的一个例子,用session打印结果:
import tensorflow as tf #引入模块 x=tf.constant([[1.0,2.0]]) #定义一个 2 阶张量等于[[1.0,2.0]] w=tf.constant([[3.0],[4.0]]) #定义一个 2 阶张量等于[[3.0],[4.0]] y=tf.matmul(x,w) #实现 xw 矩阵乘法 print(y) with tf.Session() as sess: #执行会话,打印结果 print(sess.run(y))
结果:打印得到y的值为一个一行一列的矩阵
二、神经网络的参数
1.神经网络的参数:是指神经元线上的权重 w,用变量表示,一般会先随机生成这些参数。生成参数的方法是让w等于tf.Variable,把生成的方式写在括号里。
神经网络中常用的生成随机数/数组的函数有:
tf.random_normal() 生成正态分布随机数
tf.truncated_normal() 生成去掉过大偏离点的正态分布随机数
tf.random_uniform() 生成均匀分布随机数
tf.zeros 表示生成全 0 数组
tf.ones 表示生成全 1 数组
tf.fill 表示生成全定值数组
tf.constant 表示生成直接给定值的数组
下面的举例解释:
① w=tf.Variable(tf.random_normal([2,3],stddev=2, mean=0, seed=1)),表示生成正态分布随机数,形状两行三列,标准差是 2,均值是 0,随机种子是 1。
② w=tf.Variable(tf.Truncated_normal([2,3],stddev=2, mean=0, seed=1)),表示去掉偏离过大的正态分布,也就是如果随机出来的数据偏离平均值超过两个标准差,这个数据将重新生成。
③ w=random_uniform(shape=7,minval=0,maxval=1,dtype=tf.int32,seed=1),表示从一个均匀分布[minval maxval)中随机采样,注意定义域是左闭右开,即包含 minval,不包含 maxval。
④ 除了生成随机数,还可以生成常量。tf.zeros([3,2],int32)表示生成[[0,0],[0,0],[0,0]];tf.ones([3,2],int32)表示生成[[1,1],[1,1],[1,1];tf.fill([3,2],6)表示生成[[6,6],[6,6],[6,6]];tf.constant([3,2,1])表示生成[3,2,1]。
注意:①随机种子如果去掉每次生成的随机数将不一致。
②如果没有特殊要求标准差、均值、随机种子是可以不写的。