haohulala的博客

  MOOC上的tensorflow课程笔记 import tensorflow as tf """ a = tf.constant([1.0,2.0]) #一行两列的张量 b = tf.constant([3.0,4.0]) #一行两列的张量 result = a + b print(result) #打印计算图 结果为：Tensor("add:0",...

import tensorflow as tf import numpy as np #create data x_data = np.random.rand(100).astype(np.float32) y_data = x_data*0.1 + 0.3 ###create tensorflow structure start ### Weight = tf.Variable(tf.ra...

#coding utf-8 """ 反向传播-》训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小 损失函数（loss）：预测值（y）与已知答案（y_）的差距 均方误差MSE : MSE(Y_,Y)=(Y-Y_)^2求算术平均值 loss = tf.reduce_mean(tf.square(y_-y)) 反向传播训练方法：以减小loss值为优化目标 train_step...

""" 神经网络搭建的八股： 前向传播就是搭建网络，设计网络结构（forward.py） def forward(x, regularizer): w= b= y= return y def get_weight(shape, regularizer): w=tf.Variable() tf.add_to_collection('losses',...

损失函数 """ 神经元模型 f(∑xiwi + b)，其中b为偏置项bias，f为激活函数activation function 激活函数 activation function tf.nn.relu() tf.nn.sigmoid() tf.nn.tanh() NN的复杂度 层数 = 隐藏层 + 1个输出层 总参数 = 总w + 总b 损失函数loss：预测值y与已经答案y_的差距 优化目...

学习率 """ 学习率 learning_rate：每次参数更新的幅度 wn+1 = wn - learning_rate▽ 相当于每次在梯度反方向减少的幅度，因为梯度是增加最大的方向，我们要找到极小值 我们优化参数的目的就是让loss损失函数最小，所以每次都减少一点梯度方向的值 """ #coding utf-8 import tensorflow as tf #定义待优化参数w初值赋5 "...

正则化 """ 正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标，利用给W加权值，弱化了训练数据的噪声 loss=loss(y,y_)+REGULAERIZER*loss(w) loss(w)=tf.contrib.layers.l1_regularizer(REGULAERIZER)(w) lossL1(w1)=∑|wi| loss(w)=tf.contrib.layers.l2_re...

mnist_forward.py import tensorflow as tf INPUT_NODE = 784 #28*28个输入结点 OUTPUT_NODE = 10 #0-9数字的概率列表 (十分类) LAYER1_NODE = 500 #一层隐藏层500个节点 def get_weight(shape, regularizer): #tf.tr...