Tensorflow
关注
分享
扫一扫
ZerinHwang03
在日出前出发，一路观察影长的变化
展开
-
Tensorflow－训练的并行模式介绍
TensorFlow中可以很容易地利用单个GPU加速深度学习模型的训练过程，但当需要利用更多的GPU或机器，需要了解如何并行化训练深度学习模型。常见的并行化深度学习模型的训练方式有两种，同步模式和异步模式。下文将对这两种模式展开介绍。在此之前，还需要回顾一下TensorFlow是如何对深度学习模型进行训练的。深度学习模型的训练是一个迭代过程，在每一轮迭代中，前向传播算法会根据当前参数的取值计算...原创 2019-04-25 20:32:12 · 1321 阅读 · 0 评论 -
Tensorflow－使用TensorBoard实现可视化
TensorBoard无需额外安装，在TensorFlow安装时，TensorBoard就会被自动安装。TensorBoard简介TensorBoard是TensorFlow中实现可视化的工具。其使用TensorFlow程序运行过程中生成的日志文件来实现TensorFlow程序运行状态的可视化。TensorBoard和TensorFlow运行在不同的进程中。TensorBoard会自动读...原创 2019-04-25 10:45:57 · 589 阅读 · 0 评论 -
Tensorflow－with tf.Graph().as_default()
tensorflow下的Graph中 tf.Operation是一个node，而tf.Tensor是一个edge以tf.constant(0.0)为例，调用tf.constant(0.0)创建一个单独的tf.Operation，生成值42.0，将其添加到默认图形，并返回一个表示常数的值的tf.Tensor在没有特别说明的情况下，程序中定义的tf.Operation均是添加进入defa...原创 2019-04-03 20:27:17 · 7558 阅读 · 0 评论 -
Tensorflow－模型的保存、恢复以及fine-tune
最近在做的本科毕设需要对迁移过来的ConvNet进行在线fine-tune，由于之前在学习Tensorflow时对模型的保存恢复学习的不够深入，所以今天花了一个下午看了几篇文章，觉得有的写的很不错，就搬运过来。在最后有自己的总结。参考原文：https://zhuanlan.zhihu.com/p/53814653使用tensorflow的过程中，我们常常会用到训练好的模型。我们可以直接使用...原创 2019-03-22 17:54:34 · 2485 阅读 · 1 评论 -
Tensorflow－数据读取的三种方式
参考原文：1.https://blog.youkuaiyun.com/chengshuhao1991/article/details/786449662.https://blog.youkuaiyun.com/u014061630/article/details/80712635最近在学习Tensorflow文档。在对QueueRunner的学习过程中顺便了解了一下Tensorflow中常见的数据读取方式。在...原创 2019-02-15 17:28:56 · 756 阅读 · 1 评论 -
Tensorflow－系统架构
参考原文：https://blog.youkuaiyun.com/chengshuhao1991/article/details/78644966Tensorflow的系统架构分为两个部分：前端系统：提供编程模型，负责构造计算图 后端系统：提供运行时环境，负责执行计算图可以说，前端的任务就是要构造一幅计算图出来，交给后端完成相应的计算。 Tensorflow的工作方式：Tensor...转载 2019-02-15 17:17:34 · 477 阅读 · 0 评论 -
Tensorflow－TFRecord文件
Tensorflow官方对数据读取提供了三种方式1.预加载数据：即提供运行python代码，使用python代码提供数据2.填充数据：使用placeholder占位符，再使用feed_dict将数据喂入占位符中3.通过文件读取数据：直接从文件中读取；通过队列管理器从文件中读取数据。TFRecord就属于方式3。TFRecord数据文件是一种将图像数据和标签统一存储的二进制文件，能更...原创 2019-01-12 17:59:12 · 339 阅读 · 0 评论 -
Tensorflow－迁移学习代码及注解
# -*- coding:utf-8 -*-# 先对待操作的文件的进行介绍# 通过下载连接下载后解压的文件夹中包含5个子文件夹，每一个子文件夹的名称为一种花的名称，# 代表了不同的类别，即一种花对应一个类别，对应一个子文件夹。# 平均每一种花有734张图片，每一张图片都是RGB色彩模式的，大小也不相同。# 所以特别需要注意的是，这和之前处理的图像不同，这里的程序将处理的是没有整理过的图...原创 2019-01-10 11:01:03 · 999 阅读 · 0 评论 -
Deep Learning－迁移学习
迁移学习迁移学习引出的原因：实际上学习模型的训练是很依赖于1.数据集，包括数据本身以及数据的标注2.训练的时间成本，很多模型很大参数很多，同时拥有足够多的数据集，这样对于模型本身的训练也是很耗费时间和计算成本的所谓迁移学习，就是将在某一个问题上已经训练好了的模型（针对某个问题进行模型的训练得到一个能解决这个问题的模型），通过对这个已经训练好的模型进行调整，得到一个能适用于新的问题，即能解决...原创 2019-01-09 19:27:15 · 302 阅读 · 0 评论 -
Tensorflow－Variable 和 placeholder
Variable & placeholderVariableVariable本质上是个张量，但其和其他一些张量的不同之处在于其流过计算图后仍然会被保留，即会保留到程序的结束。（可以理解为C++中的具有全局作用域的变量）而其他的张量在流过计算图之后并不会被保留。所以Variable通常用于存储Tensorflow构建的和结构相关的数据。例如NN中的weights。所以Variab...原创 2019-01-09 19:25:26 · 289 阅读 · 0 评论 -
Tensorflow－tf.sparse_to_dense()
对tf.sparse_to_dense()的参数concated的理解：batch_size = tf.size(labels)labels = tf.expand_dims(labels, 1)indices = tf.expand_dims(tf.range(0, batch_size, 1), 1)concated = tf.concat([indices, labels],...原创 2019-01-09 19:23:45 · 1201 阅读 · 0 评论 -
Tensorflow－模块化神经网络
以模块化的方式来定义一个NNinference():定义前向传播过程，即FP过程。因为tensorflow的NN构建可以理解为实际上前期工作都是在定义一张计算图，只有到session处才是开始图的运算。所以前向过程反映了整个NN的框架，包括多少层，有哪些层，各个层由哪些参数，使用什么激活函数都是在这个inference函数中完成的。最终返回的是前向传播FP的结果，即输入通过前向传播NN...原创 2019-01-09 19:21:10 · 519 阅读 · 0 评论 -
Tensorflow－变量管理
变量管理为了方便在不同的函数中（划重点）使用相同的变量，希望能直接通过变量的名称完成变量的使用，而不是采用参数传递的方式在不同的函数中使用相同的变量，所以这里引入了变量管理机制，能方便地通过变量的名称来完成变量在不同地方不同作用域下的使用。变量管理机制的使用：注意tf.get_variable()的机制，是受到with tf.variable_scope(‘name_space’, r...原创 2019-01-09 19:18:57 · 209 阅读 · 0 评论 -
Tensorflow－持久化模型
持久化模型通过Saver对象实现save、restore等方法。将运算的结果存储至ckpt.meta文件和从ckpt.meta文件中读取相应的值。这些值是与节点的名称相对应的tf.train.Saver()对象无参数时是默认导入当前graph中的所有节点。若是指定节点，则向tf.train.Saver()对象传递相应的节点作为参数从ckpt.meta文件中还原节点对应的值时，因为ckp...原创 2019-01-09 19:17:53 · 312 阅读 · 0 评论 -
Tensorflow－GraphDef、MetaGraph、CheckPoint
Tensorflow框架实现的三种图 参考原文：http://www.360doc.com/content/17/1123/18/7669533_706522939.shtml==========================Graph:Tensorflow所运行的代码，或者说用python代码表达的计算，所描述的对象实际上就是一张计算图，包含了各个运算节点和用于计算的张量。...原创 2019-01-09 19:14:22 · 6352 阅读 · 1 评论