winycg的博客

from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets("MNIST_data/", one_hot=True)sess = tf.InteractiveSession()def weight_variable

参考链接：https://arxiv.org/pdf/1609.04747.pdf 优化器对比论文https://www.leiphone.com/news/201706/e0PuNeEzaXWsMPZX.html 论文翻译版http://blog.youkuaiyun.com/u014381600/article/details/72867109 Adam和SGD优化器比较 梯度下降...

参考链接：http://nn.cs.utexas.edu/downloads/papers/stanley.ec02.pdf  NEAT论文https://morvanzhou.github.io/tutorials/machine-learning/evolutionary-algorithm/4-01-neuro-evolution/  莫凡python NEAThttp://neat-pyt...

参考链接： HyperNEAT介绍 MultiNEAT库官网 NEAT各扩展代码库 MultiNEAT库github安装以及使用MultiNEAT库（基于Ubuntu 16.04）1.安装Anaconda环境，安装MultiNEAT库Anaconda安装路径：/home/winycg/conda install multineat -c anton.matosov...

Tebsorflow开源实现多GPU训练cifar10数据集：cifar10_multi_gpu_train.pyTensorflow开源实现cifar10神经网络：cifar10.py Tensorflow中的并行分为模型并行和数据并行。模型并行需要根据不同模型设计不同的并行方式，其主要原理是将模型中不同计算节点放在不同硬件资源上运算。比较通用且能简便地实现大规模并行的方式是数据并行，同时...

方向导数设lll是xoy平面上以(x0,y0)(x0,y0)(x_{0},y_{0})为始点的一条射线，el=(cosα,cosβ)el=(cosα,cosβ)e_{l}=(cos \alpha, cos \beta)是与lll同方向的单位向量，射线lll的参数方程为x=x0+tcosαx=x0+tcosαx=x_{0}+tcos\alphay=y0+tcosβy=y0+tcosβy=y_{0...

参考链接： Caffe官网 Caffe入门小教程 Caffe的全称为Convolutional Architecture for Fast Feature Embedding。主要优势如下： (1)容易上手，网络结构都是以配置文件.prototxt形式定义，类似json格式，不需要用代码设计网络。每一个神经网络模块都是一个Layer，使用许多顺序连接的Layer来描述神经网络结构。caff...

参考链接： Dataset官方链接 TensorFlow全新的数据读取方式：Dataset API入门教程 知乎：十图详解tensorflow数据读取机制（附代码）TensorFlow数据读取方式：利用placeholder读取内存数据利用queue读取硬盘中的数据Dataset API同时支持从内存和硬盘的读取，相比之前的两种方法在语法上更加简洁易懂Dataset创...

测试前5层卷积层的前向计算与后向计算的时间：from datetime import datetimeimport mathimport timeimport tensorflow as tfbatch_size = 32num_batches = 100def print_activations(t): print(t.op.name, ' ', t.get_s...

参考链接：http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/deep_cnn.htmlhttp://blog.youkuaiyun.com/zeuseign/article/details/72773342首先从github上下载cifar10.py和cifar10_input.py文件用于下载cifar-10数据集和产生相应的样本数据下载...

参考文档：http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/variable_scope.htmltf.Variable()用于创建一个新变量，可以创建相同名字变量，底层会自动引入别名机制，给新创建的变量名加数字，两个变量是不相同的tf.get_variable()获取一个变量，当变量已经存在，则自动获取；不

保存参数：import tensorflow as tfW = tf.Variable([[1, 2, 3]], dtype=tf.float32)b = tf.Variable([1], dtype=tf.float32)saver = tf.train.Saver()sess = tf.InteractiveSession()tf.global_variables_init

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/4-1-tensorboard1/  莫烦tensorboard可视化教程http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/summaries_and_tensorboard.h

样本数据X，行数表示样本数，列数为特征数（784）权重矩阵W，行数表示特征数（784），列数表示类别（10：0-9）偏置向量b，1行10列

参考博客：http://blog.youkuaiyun.com/u014595019/article/details/52605693   讲解LSTM的原理https://www.cnblogs.com/wuzhitj/p/6297992.html    LSTM代码讲解首先从如下地方下载PTB数据： http://www.fit.vutbr.cz/~imikolov/rnnlm

参考博客：http://blog.youkuaiyun.com/lujiandong1/article/details/53448012tensorflow使用图来定义计算,在session中来执行图中定义的计算tensorflow会为我们指定一张默认的图.然后sesssion会直接和该默认图相关联.如果新建一个张图，那么就存在2张图，首先看如下程序：import tensorflow

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-13-A-batch-normalization/首先介绍标准化操作：平均值为标准差为一般在数据处理之前，对数据做标准化操作。在神经网络中，也可以对隐藏层中的数据进行标准化举一个比较简单的实例：在一批数据中，x1...

1.使用单向RNN建立输入层，RNN层和输出层n_steps * n_inputs = 28 * 28,读取的单位是图片中的一行像素输入数据：x=[batch_size,n_steps,n_inputs]输出数据：y=[batch_size,n_classes]输入层：输入数据：x=[batch_size*n_steps,n_inputs]权重w=[n_inpu

生成全0和全1的矩阵tf.ones(shape,type=tf.float32,name=None)tf.zeros(shape, type=tf.float32,name=None)>>> x = tf.zeros([2, 3])>>> sess.run(x)array([[ 0., 0., 0.], [ 0., 0., 0.]], dtype=floa

参考链接：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/5-11-A-autoencoder/  莫烦教学自编码器举一个形象的例子：将一张图片打码，可以看做是压缩信息，即为编码器，此时信息量减小但都是保存的图片中的关键信息根据打码后的图片还原到原始图片，可以看做解压缩信息，即为解码器，此时根...

python手写模拟梯度下降以2元线性回归为例实现分类器：            线性回归函数：误差函数（损失函数）：每次梯度下降参数的变化：使用TensorFlow框架import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef add_layer(input, in_size, out_size...

在tensorflow的计算图中，我们可以利用函数def来封装一些tf操作，但是我们需要使用return语句去规避一些错误，看如下分析：看如下程序：import tensorflow as tfa = tf.Variable(5.0)def add(): a_change = tf.assign(a, 10.0)sess = tf.Session()sess.ru

首先推荐几个说明问题和注释代码的链接：http://www.jianshu.com/p/f682066f0586http://blog.youkuaiyun.com/nanjifengzi/article/details/71487321?locationNum=6&fps=1在说明以下要点：1.单词转化为向量，若使用one-hot编码，则没有考虑到单词之间的上下文关联信息。于

参考链接：http://blog.youkuaiyun.com/m0_37041325/article/details/76943364https://stackoverflow.com/questions/34877523/in-tensorflow-what-is-tf-identity-used-fortf.control_dependencies(self, control

词向量表达word2vec就是将单词嵌入到向量空间中。独热表达： 每一个单词用不同的ID进行表示，因此可以表示为其中一个维度为1，其他全0的向量。例如：科学院：[1,0,0] 中科院：[0,1,0] 数据挖掘：[0,0,1]此种方法相当于将单词看成无语义的ID。在向量空间中考虑，此时单词之间相似性程度一样，不能体现出单词间的语义关系。分布式表达每一个单词表示为一般的向量，可以...