QiangLi的专栏

循环神经网络, Recurrent neural network, RNN RNN简介起源于1982年的霍普菲尔德网络。RNN的主要用途是处理和预测序列数据。应用于语音识别、语言模型、机器翻译以及时序分析等问题。CNN中隐藏层中的节点是无连接的。RNN隐藏层的输入不仅包括输入层的输出，也包括上一时刻隐藏层的输出。前向传播损失函数为所有时刻上损失函数的总和。使用...

TensorFlow 多线程输入数据处理框架 队列tf.FIFOQueue：先进先出队列tf.RandomShuffleQueue：每次出队都是随机选择一个import tensorflow as tf# 创建一个先进先出队列，指定队列中最多存放5个元素，并指定相应的类型q = tf.FIFOQueue(5, "int32")# 使用enqueue_many来初...

TFRecord 格式介绍低层采用Protocol Buffer格式存储，Protocol见blog将MNIST数据转化为TFRecordmnist_to_tfrecord.py转换前MNIST_data文件夹大小12M，转换后record文件46M读取Record文件read_tfrecord.py...

TensorBoard示例程序 import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_dataSUMMARY_DIR = "log"BATCH_SIZE = 100TRAIN_STEPS = 10000HIDDEN1_SIZE = 500def variable_summ...

神经网络中一些重构后的代码。 标准TOP5MNIST-FullConnected分为三个文件mnist_fc_inference.py：定义了前向传播的过程以及神经网络中的参数。mnist_fc_train.py：定义了神经网络的训练过程。mnist_fc_eval.py：定义了测试过程。最高98.62%MNIST-LeNet5lenet5...

TensorFlow GPU加速 单卡尽管机器上多个CPU，但是对于TF来说，所有的CPU都是/cpu:0多个GPU时，设备名称为/gpu:n，n从0开始查看运行每一个操作的设备CPU上import tensorflow as tfimport osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'a = tf.constan...

图像代码文档tensorflow.org 图像地址qiniu单一处理编解码import matplotlib.pyplot as pltimport tensorflow as tf# 读取图片image_raw_data = tf.gfile.FastGFile("cat.jpg", 'rb').read()with tf.Session() as se...

介绍几个常用的损失函数 参考链接：神经网络Loss损失函数总结TensorFlow四种Cross Entropy算法实现和应用softamx cross entropy losssoftmax 交叉熵损失函数是我们常用的一种损失函数。Softmax本身的算法很简单，就是把所有值用e的n次方计算出来，求和后算每个值占的比率，保证总和为1，一般我们可以认为Softmax...

介绍一些神经网络中常用的优化方法。包括动态学习率、正则化防止过拟合、滑动平均模型。 优化方法学习率的设置TensorFlow提供了一种学习率设置方法——指数衰减法。全部方法见Decaying_the_learning_ratetf.train.exponential_decay函数先使用较大的学习率来快速得到较优解，然后随着训练步数的增多，学习率逐步降低，最后进行微调。...

rdma.cc相关结构体// structure to save the address of remote channels.struct RdmaAddress { uint32_t lid; uint32_t qpn; uint32_t psn; uint64_t snp; uint64_t iid;};// structure to save ...

相关资料Code Linkmy rdma codeRendezvousYahoo开源TensorFlow On Sparkgetopt和getopt_long函数 - Cashey1991的专栏 - 博客频道 - youkuaiyun.com 如何编译和使用启用RDMA的TensorFlow按照常规的TF编译说明进行操作。 在配置步骤中，如果您想要支持基于ibverbs的RDM...

为了让训练结果可以复用，下面介绍如何将训练得到的网络模型持久化。 代码实现tf.train.Saver有关[tf.train.Saver]类的官网文档见这里或者GitHub简单实现保存代码：import tensorflow as tfv1 = tf.Variable(tf.constant(1.0, shape=[1]), name = "v1")...

介绍TensorFlow中的变量管理。相关链接莫烦Python视频讲解官网教程name_scope和variable_scope区别变量管理本文主要介绍tf.get_variable()和tf.variable_scope()来进行变量管理。两种变量创建方式tf.Variable()的函数原型：__init__( initial_va...