TensorFlow笔记

Tensorflow

搭建神经网络

• 用张量表示数据

• 用计算图搭建神经网络

• 用绘画执行计算图，优化线上的权重

张量(tensor): 多维数组(列表)

维数	阶	名字	例子
0	0	标量 scalar	单个数字 s=1,2,3
1	1	向量 vector	v=[1,2,3]
2	2	矩阵 matrix	m=[[1,2,3],[4,5,6],[7,8,9]]
3	3	张量 tensor	t=[[[… (几个括号是几阶)

数据类型

tf.float32

tf.int32

计算图

计算图（Graph）：搭建神经网络的计算过程，只搭建，不运算

搭建神经网络

• 前向传播：定义输入、参数和输出

  x =

  y_ =

  w1 =

  w2 =

  a =

  y =

• 反向传播：定义损失函数、反向传播方法

  loss =

  train_step =

• 生成会话，训练STEPS轮

  with tf.session() as sess:
      Init_op = tf.global_variables_initializer()
      sess.run(init_op)
      STEPS = 3000
      for i in range(STEPS):
          start = 
          end = 
          sess.run(train_step,feed_dict=)
  

神经网络的优化

学习率设置多少合适

学习率大了振荡不收敛，学习率小了收敛速度慢

• 指数衰减学习率

  global_step = tf.Variable(0,trainable=False)
  learning_rate = tf.train.exponential_decay(
      LEARNING_RATE_BASE,#最开始的学习率
      gloabal_step,#当前运行到第几轮的计数器
      LEARNING_RATE_STEP,#学习率多少轮更新一次
      #一般设定为 数据集总样本数/每次喂入多少数据
      LEARNING_RATE_DECAY,#学习衰减率(0,1)
      staircase=True#取整  学习率阶梯型衰减
  )
  
  

搭建模块化的神经网络八股：

#前向传播就是搭建网络，设计网络结构forward.py
def foward(x,regularizer):
    w = 
    b = 
    y = 
    return y
def get_weight(shape,regularizer):
    w = tf.Variable() #给w赋初值
    tf.add_to_collection('losses',tf.contrib.layer.l2_regularizer(regularizer)(w))
    return w

def get_bias(shape):
    b = tf.Variable()
    return b

#反向传播就是训练网络，优化网络参数 backward.py
def backward():
    x = tf.placeholder()
    y_ = tf.placeholder()
    y = forward.forward(x,REGULARIZER)
    global_step = tf.Variable(0,trainable=False)
    loss = 
    '''
    loss可以是y与y_的差距
    loss_mse = tf.reduce_mean(tf.square(y-y_))
    也可以是 交叉熵
    ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
    cem = tf.reduce_mean(ce)
    
    加入正则化后：q
    loss = y与y_的差距+tf.add(tf.get_collection('losses'))
    '''
    '''
    指数衰减学习率
    learning_rate = tf.train.exponential_decay(
    	LEARNING_RATE_BASE,
    	global_step,
    	数据集总样本数/BATCH_SIZE,
    	LEARNING_RATE_DECAY,
    	staircase=True
    )
    '''
    
    '''
    滑动平均学习率
    ema = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY，global_step)
    ema_op = ema.apply(tf.trainable_variables())
    with tf.control_dependencies([trains_step,ema_op]):
    train_op = tf.np_op(name='train')
    '''
    
    train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step)
    
    
    with tf.Session() as sess:
        init_op = tf.global_variables_initializer()
        sess.run(init_op)
        for i in range(train_steps):
            sess.run(train_step,feed_dict={x:,y_:})
            if i%轮数 ==0：
            	print
    
 if __name__ =='__main__':
    backward()