currycode

根据tensorflow中的conv2d函数，我们先定义几个基本符号。1、输入矩阵 W×W，这里只考虑输入宽高相等的情况，如果不相等，推导方法一样，不多解释。2、filter矩阵 F×F，卷积核3、stride值 S，步长4、输出宽高为 new_height、new_width当然还有其他的一些具体的参数，这里就不再说明了。我们知道，padding的方式在tensorflo...

在用tensorflow训练深度学习模型的时候，假设我们在训练之前没有指定GPU来进行训练，则默认的是选用第0块GPU来训练我们的模型，而且其它几块GPU的也会显示被占用。有些时候，我们更希望可以通过自己指定一块或者几块GPU来训练我们的模型，而不是用这种默认的方法。接下来将简单介绍两种简单的方法。我们现有的GPU个数如下所示：1.第一种是通过tf.device()函数来指定训练时所要...

TensorFlow模型加载与转换详解本次讲解主要涉及到TensorFlow框架训练时候模型文件的管理以及转换。首先我们需要明确TensorFlow模型文件的存储格式以及文件个数： model_folder:------checkpoint------model.meta------model.data-00000-of-00001------model.index以上是模...

自从tensorflow进入2.0时代，之前的程序用2.0的tf跑就会报出一大堆的deprecated warning，要求使用 keras.xx instead...看来tensorflow是铁了心要推keras上正统的宝座，有必要学习一下keras的使用了。官方文档：https://keras-cn.readthedocs.io/en/latest/参考1，keras callb...

学习率设置在训练过程中，一般根据训练轮数设置动态变化的学习率。刚开始训练时：学习率以 0.01 ~ 0.001 为宜。 一定轮数过后：逐渐减缓。 接近训练结束：学习速率的衰减应该在100倍以上。Note：如果是迁移学习，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤10−4≤10−4) 在新数据上进行微调。把脉 目标函数损失值 曲线理想情况下...

0. 前言官方教程（需要翻墙，都有中文版了）： TensorBoard：可视化学习 TensorBoard：图的直观展示 TensorBoard：直方图信息中心 TensorFlow Summary 相关API（需要翻墙) Github: tensorflow/tensorboard1. 综述tf.summary相关API的功能就是，将定期将部分指定tensor的值保存...

BN在如今的CNN结果中已经普遍应用，在tensorflow中可以通过tf.layers.batch_normalization()这个op来使用BN。该op隐藏了对BN的mean var alpha beta参数的显示申明，因此在训练和部署测试中需要特征注意正确使用BN的姿势。正确使用BN训练注意把tf.layers.batch_normalization(x, training=is_...

使用tensorflow进行模型的保存很简单，生成一个saver实例然后saver.save()即可，在恢复时有两个问题很棘手：怎么得到graph 怎么得到placeholder以创建feed_dictx得到graph：1.如果你有model的定义文件，可以像训练时一样重新创建一个图，然后saver.restore()获得图中的参数权重：# 设置超参hp = hparam...

https://ai.googleblog.com/2017/06/accelerating-deep-learning-research.htmlhttps://colab.research.google.com/github/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb#scrol...

首先上观点：一维卷积的卷积核是二维的，二维卷积的卷积核是三维的 一维池化的池化核是一维的，二维池化的池化核是二维的为什么卷积的时候卷积核维度多了一维呢？因为有通道（channel）的存在。比如对于语音处理中常用的特征MFCC，一般来说网络的输入是[timestep, num_mfcc],对其使用一维卷积，则有：import numpy as npimport tensorflow ...

矩阵乘法本质上只能是两个二维的matrix进行叉乘，那么两个三维甚至四维的矩阵相乘是怎么做到的呢？比如：import tensorflow as tfa = tf.constant(1,2,3,4)b = tf.constant(1,2,4,6)c = tf.matmul(a,b)# c.shape == (1,2,3,6)查看matmul的源码：@tf_export(...

This is a guide to the main differences I’ve found betweenPyTorchandTensorFlow. This post is intended to be useful for anyone considering starting a new project or making the switch from one deep l...

参考 ：https://stackoverflow.com/questions/39691902/ordering-of-batch-normalization-and-dropout一般来说使用顺序是：-> CONV/FC -> ReLu(or other activation) -> Dropout -> BatchNorm -> CONV/FC -&gt...

def softmax(logits, axis=None, name=None, dim=None): """Computes softmax activations. This function performs the equivalent of softmax = tf.exp(logits) / tf.reduce_sum(tf.exp(logits), axi...

CNN with Estimator官网教程：https://tensorflow.google.cn/tutorials/estimators/cnn自定义Estimator指南：https://www.tensorflow.org/guide/custom_estimators利用Estimator搭建神经网络模型一般需要定义五个函数，他们分别是：define_flags()...

tensorflow之dataset：https://www.tensorflow.org/guide/datasetspandas.read_csv文档：http://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html#pandas.read_csv逗号分隔值（Comma-Separated Valu...

TensorFlow版本：1.12.0英文版本见：https://tensorflow.google.cn/performance/datasets_performance目录1. 数据输入管道的结构2. 数据输入管道的性能优化2.1 数据准备(ET)和消耗过程(L)的解耦 ------ prefetch解耦、重叠两过程2.2 数据变换(T)的并行化 ------ 并行ma...

翻译自：https://danijar.com/structuring-your-tensorflow-models/装饰器定义Python装饰器装饰器是一种设计模式, 可以使用OOP中的继承和组合实现, 而Python还直接从语法层面支持了装饰器.装饰器可以在不改变函数定义的前提下, 在代码运行期间动态增加函数的功能, 本质上就是将原来的函数与新加的功能包装成一个新的函数wra...

参考链接：https://stackoverflow.com/questions/42785026/tf-nn-conv2d-vs-tf-layers-conv2d定义：tf.layers.conv2d(inputs, filters, kernel_size, strides=(1,1), padding='valid', data_f...

在这篇博客中训练CNN的时候，即便是对fc层加了dropout，对loss加了L2正则化，依然出现了过拟合的情况（如下图所示），于是开始尝试用early stop解决拟合问题。（训练集的loss在下降而测试集的loss却在5k步左右开始上升，说明过拟合了）想要实现ES，首先需要知道loss的值（以便根据loss值在xx次迭代内的变化决定是否需要停止training），Tensor...

地址：https://github.com/ujjwalkarn/Machine-Learning-TutorialsMachine Learning & Deep Learning TutorialsThis repository contains a topic-wise curated list of Machine Learning and Deep Learning...

API文档：http://tflearn.org/doc_index/#API地址：https://github.com/tflearn/tflearn/tree/master/examplesThe following examples are coming from TFLearn, a library that provides a simplified interface fo...

地址： https://github.com/aymericdamien/TensorFlow-ExamplesTensorFlow ExamplesThis tutorial was designed for easily diving into TensorFlow, through examples. For readability, it includes both notebo...

原文：https://pgaleone.eu/tensorflow/go/2017/05/29/understanding-tensorflow-using-go/Tensorflow is not a Machine Learning specific library, instead, is a general purpose computation library that repr...