Shwan_ma的博客

最近在写concatenates的时候，Tensorflow一直报错。前方提示：注意tensorflow版本号 下面错误是tf 1.3.0的错误按照别人blog的写法，但一直出错： http://blog.youkuaiyun.com/mao_xiao_feng/article/details/53366163code：t1 = [[1,2,3],[4,5,6]]t2 = [[7,8,9],[10,11,

有时候会需要通过从保存下来的ckpt文件来观察其保存下来的训练完成的变量值。ckpt文件名列表：（一般是三个文件）xxxxx.ckpt.data-00000-of-00001xxxxx.ckpt.indexxxxxx.ckpt.metaimport osfrom tensorflow.python import pywrap_tensorflowcheckpoint_path ...

在初学tensorflow的时候，我们会发现在函数体内定义tf.variable()或者tf.get_variable()变量的时候，跟其他语言不同，在tensorflow的函数体内定义的变量并不会随着函数的执行结束而消失。这是因为tensorflow设置的全局变量及局部变量与其他语言有着本质的不同，这是因为tf里面是由图定义的，内部的变量区分为tf.GraphKeys.GLOBAL_VAR...

本文转载 http://shartoo.github.io/tensorflow-inputpipeline/如有侵权，联系删除主要内容本文旨在根据mnist数据集构建一个简单而有效的输入管道。使用tensorflow加载数据有两种方式来加载数据，其一是使用feeding方法并在每一步提供data和label给feed_dict对象。这种方式在数据集太大而无法在内存中存放时将无能为力，因...

tensorflow的BatchNorm 应该是tensorflow中最大的坑之一。大家遇到最多的问题就是在fine-tune的时候，加载一个预模型然后在训练时候发现效果良好，但是在测试的时候直接扑街。这是因为batch normalization在训练过程中需要去计算整个样本的均值和方差，而在代码实现中，BN则是采取用移动平均（moving average）来求取批均值和批方差来，所以在每一个...

最近在调试tensorflow的fine-tune时，出现大量adam变量丢失，如下代码块WARNING:tensorflow:Variable resnet_v1_50/conv1/weights/Adam missing in checkpoint ./pretrain_model/resnet_v1_50.ckptWARNING:tensorflow:Variable resnet_v1...

之前一直很困惑tf.Variable和tf.get_variable之间的区别，这几天算稍微明白一些。用简单的语言描述概括一下tf.Variable 和 tf.get_variable的一些特性tf.Variable 和 tf.get_variable之间最主要的区别： 如果tf.Variable定义的时候，两个变量即使重名，那么是依然是两个独立的变量， tensorflow会自动增加变量后...

尝试在MNIST上跑AlexNet，然而发现loss一直下降的时候，在某一时刻突然出现了nan。 在tensorboard上显示如下： 可以看到在最后面的accuarcy突然下降。一开始百思不得其解， 原因其实在于交叉熵中的 y_truth * log(y_predict) log(0) * 0的时候， 则会出现NaN， 一旦出现这个情况，网络训练结果必然完蛋https://...

=============最近发现了一个问题================== 如果一直出现No dashboards are active for the current data set. 请检查路径，我发现如果 出现 中文路径，必然显示不出来================分割线=============== tensorboard在Tensorflow调试中一直扮演着比较重要的...

最近一直在研究tensorflow的fine-tuning，TF关于fine-tuning这块的资料真的没有Caffe多。经过这几天的琢磨，差不多也明白了。感谢网上为数不多的开源资料。主要方法有如下两种：

在上一篇的转载博客中http://blog.youkuaiyun.com/shwan_ma/article/details/78874696中，我发现用slim可以很方便的选择性的从ckpt文件中加载所要的数据。以我自己的代码为例：exclude = ['layer_weight','WD2_conv', 'BD2']variables_to_restore=slim.get_variables_to_res

一般来说，打印tensorflow变量的函数有两个： tf.trainable_variables () 和 tf.all_variables() 不同的是： tf.trainable_variables () 指的是需要训练的变量 tf.all_variables() 指的是所有变量一般而言，我们更关注需要训练的训练变量： 值得注意的是，在输出变量名时，要对整个graph进行初始化一、打

下文转载于http://blog.youkuaiyun.com/qq_25737169/article/details/78125061在使用tensorflow加载网络权重的时候，直接使用tf.train.Saver().restore(sess, ‘ckpt’)的话是直接加载了全部权重，我们可能只需要加载网络的前几层权重，或者只要或者不要特定几层的权重，这时可以使用下面的方法：var = tf.global

这两天调系统配置，有点上火。 记录下这两个系统命令 cuda 版本 cat /usr/local/cuda/version.txtcudnn 版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

前言Imgaenet上的预训练模型可以为我们自己训练或者fine-tune带来很大的便利，但是在加载这些模型的时候，通常要对输入图像进行预处理。然而，模型的预处理形式不尽相同。这里主要概括下tensorflow中slim的pretrained model所要求的图像预处理。preprocessing_fn_map preprocessing_fn_map = { 'cifarn...