one_2_one的博客

import tensorflow as tfx=tf.Variable([1,2])a=tf.constant([3,3])#增加一个减法opsub=tf.subtract(x,a)#增加一个加法opadd=tf.add(x,sub)init=tf.global_variables_initializer()with tf.Session() a...

传统神经网络存在的问题：（1）权值太多，计算量太大（2）权值太多，需要大量样本进行训练试想一下输入层是一张100X100的小图片，隐藏层也有1万个神经元，就有1亿个参数，那更大的图片呢？那还得了。权值共享：抽取相同特征的所有神经元共享相同的权重，所以这些神经元与图片的不同区域连接，但是他们的权重完全相同（比如图片2中不同颜色的神经元都抽取相同的特征）感受野，一个神...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次的大小batch_size=100#计算一共有多少个批次n_batch=mnist...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小batch_size=100#计算一共有多少个批次n_batch=mni...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#每个批次的大小batch_size=100#计算一共有多少个批次n_batch=mnist...

对于回归来说：对于分类来说：当新数据（未参与训练）要求回归或分类时，过拟合的网络得到拟合的效果比较差，泛化能力不足。1数据挖掘中说拥有足够多的数据往往胜过一个好的模型2正则化中，优化损失函数C时，也会优化后面的正则项，即w（网络中的权值）会减小，使得原本比较小的权值越来越接近于几乎等于0，相当于该权值的某个神经元不存在，减小了网络的复杂程度，类似dropout的效果...

看到没有，每张图片的像素点的值在[0,1]之间Softmax函数介绍：

import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#使用numpy生成200个随机点x_data=np.linspace(-0.5,0.5,200)[:,np.newaxis]noise=np.random.normal(0,0.02,x_data.shape)y_data=np.squar...

常用的优化器：假定：W指的是权值、偏执这些参数（1）SGD（2）Momentum当前权值的改变Vt会受到上一次权值改变Vt-1的影响，当Vt-1越来越大时，Vt（存了上一次梯度）也越来越大，梯度W下降地越来越快。类似于小球向下滚动时带上了惯性，加快小球的向下滚动的速度。（3）NAG把第一式子中Vt代入代入第二个式子，看出W=W-...-...，跟W...

Tensorflow基本概念：使用图（graphs）来表示计算任务在被称为会话（Session）的上下文（context）中执行图使用tensor表示数据通过变量（Variable）维护状态使用feed和fetch可以为任意的操作赋值或者从其中获取数据总结就是：Tensorflow是一个编程系统，使用图（graphs）来表示计算任务，图（graphs）中的节点称之为op（o...

（一）二次代价函数：从上述参数更新公式来看，二次代价函数的使用是有弊端的（受激活函数的导数影响较大），举例子说明：（二）交叉熵代价函数基于二次代价函数的不足，提出交叉熵代价函数（cross-entropy）：（三）对数似然代价函数关于对数似然函数和神经网络最后一层使用softmax的情况，可以参考：https://blog.csdn.n...

Fetch这样理解：在会话Session里面，可以同时执行多个操作op，然后得到运行的结果程序：import tensorflow as tf#Fetchinput1=tf.constant(3.0)input2=tf.constant(2.0)input3=tf.constant(5.0)add=tf.add(input2,input3)mul=tf.mul...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据集mnist=input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小batch_size=100#计算一共有多少个批次n_batch=mn...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets('MNIST_data',one_hot=True)#每个批次的大小batch_size=100#计算一共有多少个批次n_batch=mnist.train....