one_2_one的博客

import tensorflow as tf x=tf.Variable([1,2]) a=tf.constant([3,3]) #增加一个减法op sub=tf.subtract(x,a) #增加一个加法op add=tf.add(x,sub) init=tf.global_variables_initializer() with tf.Session() a...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 载入数据集 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #定义每个批次的大小 batch_size=100 #计算一共有多少个批次 n_batch=mn...

Fetch这样理解：在会话Session里面，可以同时执行多个操作op，然后得到运行的结果 程序： import tensorflow as tf #Fetch input1=tf.constant(3.0) input2=tf.constant(2.0) input3=tf.constant(5.0) add=tf.add(input2,input3) mul=tf.mul...

（一）二次代价函数： 从上述参数更新公式来看，二次代价函数的使用是有弊端的（受激活函数的导数影响较大），举例子说明： （二）交叉熵代价函数 基于二次代价函数的不足，提出交叉熵代价函数（cross-entropy）： （三）对数似然代价函数 关于对数似然函数和神经网络最后一层使用softmax的情况，可以参考：https://blog.csdn.n...

Tensorflow基本概念： 使用图（graphs）来表示计算任务 在被称为会话（Session）的上下文（context）中执行图 使用tensor表示数据 通过变量（Variable）维护状态 使用feed和fetch可以为任意的操作赋值或者从其中获取数据 总结就是：Tensorflow是一个编程系统，使用图（graphs）来表示计算任务，图（graphs）中的节点称之为op（o...

常用的优化器： 假定：W指的是权值、偏执这些参数 （1）SGD （2）Momentum 当前权值的改变Vt会受到上一次权值改变Vt-1的影响，当Vt-1越来越大时，Vt（存了上一次梯度）也越来越大，梯度W下降地越来越快。类似于小球向下滚动时带上了惯性，加快小球的向下滚动的速度。 （3）NAG 把第一式子中Vt代入代入第二个式子，看出W=W-...-...，跟W...

import tensorflow as tf import numpy as np import matplotlib.pyplot as plt #使用numpy生成200个随机点 x_data=np.linspace(-0.5,0.5,200)[:,np.newaxis] noise=np.random.normal(0,0.02,x_data.shape) y_data=np.squar...

看到没有，每张图片的像素点的值在[0,1]之间 Softmax函数介绍：

对于回归来说： 对于分类来说： 当新数据（未参与训练）要求回归或分类时，过拟合的网络得到拟合的效果比较差，泛化能力不足。 1数据挖掘中说拥有足够多的数据往往胜过一个好的模型 2正则化中，优化损失函数C时，也会优化后面的正则项，即w（网络中的权值）会减小，使得原本比较小的权值越来越接近于几乎等于0，相当于该权值的某个神经元不存在，减小了网络的复杂程度，类似dropout的效果 ...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #每个批次的大小 batch_size=100 #计算一共有多少个批次 n_batch=mnist...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 载入数据集 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #定义每个批次的大小 batch_size=100 #计算一共有多少个批次 n_batch=mni...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist=input_data.read_data_sets("MNIST_data",one_hot=True) #每个批次的大小 batch_size=100 #计算一共有多少个批次 n_batch=mnist...

传统神经网络存在的问题： （1）权值太多，计算量太大 （2）权值太多，需要大量样本进行训练 试想一下输入层是一张100X100的小图片，隐藏层也有1万个神经元，就有1亿个参数，那更大的图片呢？那还得了。 权值共享：抽取相同特征的所有神经元共享相同的权重，所以这些神经元与图片的不同区域连接，但是他们的权重完全相同（比如图片2中不同颜色的神经元都抽取相同的特征） 感受野，一个神...

import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data_sets('MNIST_data',one_hot=True) #每个批次的大小 batch_size=100 #计算一共有多少个批次 n_batch=mnist.train....