winnertakeall的博客

基于tensorflow的神经网络：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重（参数），得到模型。    总之需要3个重要的信息（1、张量 2、计算图 3、会话）1、张量：张量就是多维数组（列表），用“阶”表示张量的维度。判断张量的阶数，可以通过右边的方括号数。比如S=123，为0阶V=[1,2,3] 为1阶张量，也叫向量，表示一个一维数组。m = [[1,2,3],[...

在tensorflow之神经网络的搭建（1）中，简单的介绍了张量，计算图，会话。下面将介绍另外一个很总要的知识点就是参数。神经网络的参数：是指神经元上的权重w,用变量表示，通常会先随机生成这些参数。生成参数的方法就是tf.Variable.例：w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))表示生成正态分布随机数，形状两行三...

一、反向传播反向传播：训练模型参数，在所有参数上用梯度下降，使NN训练模型在训练数据上的损失函数最小。损失函数（loss）：计算得到的预测值y与已知答案y_的差距。均方误差MSE：求前向传播计算结果与已知答案之差的平方再求平均。用tensorflow函数表示为：loss_mse = tf.reduce_mean(tf.square(y_-y))反向传播训练方法：以减少loss值为优化目标，有梯度下...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data"""1.改变初始化的方式采用的是MSRA初始化：服从动态方差的独立高斯分布(0,np.sqrt(2/n)),n代表的就是前一层的输入的节点。如果采用全0的初始化，又用relu函数激活会...