Candy_GL的博客

版权声明：本文为博主原创文章，转载需注明出处。    https://blog.youkuaiyun.com/u013698770/article/details/57977482resnet是用于解决什么问题的实验结果表明，层数的增加会提高网络的学习效果。但是，实验结果也表明，如果只是单纯的增加网络的深度，网络的学习能力会下降。实验结果如下图所示：56层的学习误差比20层的学习误差还要大。因此，我们需...

转自：https://cloud.tencent.com/developer/article/1092432今天说一下tensorflow的变量共享机制，首先为什么会有变量共享机制？ 这个还是要扯一下生成对抗网络GAN，我们知道GAN由两个网络组成，一个是生成器网络G，一个是判别器网络D。G的任务是由输入的隐变量z生成一张图像G(z)出来，D的任务是区分G(z)和训练数据中的真实的图像（real ...

转自：https://blog.youkuaiyun.com/hanyong4719/article/details/80558995def batch_norm_layer(x, train_phase, scope_bn):##x is input-tensor, train_phase is tf.Variable(True/False)        with tf.variable_scope(sc...

转自：https://blog.youkuaiyun.com/qq_25737169/article/details/79048516Batchnorm原理详解前言：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。 本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几...

转自：https://www.jianshu.com/p/0312e04e4e83tensorflow中关于BN（Batch Normalization）的函数主要有两个，分别是：tf.nn.momentstf.nn.batch_normalization关于这两个函数，官方API中有详细的说明，具体的细节可以点链接查看，关于BN的介绍可以参考这篇论文，我来说说自己的理解。不得不吐槽一下，tens...

转自：https://blog.youkuaiyun.com/hjimce/article/details/50866313一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift》，这个算法目前已经被大...

转自：https://blog.youkuaiyun.com/zhangyonggang886/article/details/788830282015年Google提出了Batch Normalization算法，Batch Normalization简称BN算法，它是为了克服神经网络层数加深导致难以训练而诞生的一个算法。根据ICS理论，当训练集的样本数据和目标样本数据分布不一致的时候，训练得到的模型无法很...

降低学习率

减少batchsize的大小

在 conv2d_transpose() 中，有一个参数，叫 output_shape， 如果对它传入一个 int list 的话，那么在运行的过程中，output_shape 将无法改变（传入int list已经可以满足大部分应用的需要），但是如何更灵活的控制 output_shape 呢？传入 tensor# 可以用 placeholderoutputs_shape = tf.placeho...

转自：https://blog.youkuaiyun.com/fireflychh/article/details/736921831、tf.truncated_normal使用方法tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从截断的正态分布中输出随机值。 生成的值服从具有指定平...

雷锋网 AI 评论按：关于深度学习的框架之争一直没有停止过。PyTorch，TensorFlow，Caffe还是Keras ？近日， 斯坦福大学计算机科学博士生Awni Hannun就发表了一篇文章，对比当前两个主流框架PyTorch和TensorFlow。雷锋网 AI 科技评论编译如下：这篇指南是我目前发现的PyTorch和TensorFlow之间的主要差异。写这篇文章的目的是想帮助那些...

版权声明：本文为博主原创文章，转载请注明出处。    https://blog.youkuaiyun.com/mao_xiao_feng/article/details/53453926max pooling是CNN当中的最大值池化操作，其实用法和卷积很类似有些地方可以从卷积去参考【TensorFlow】tf.nn.conv2d是怎样实现卷积的？ tf.nn.max_pool(value, ksiz...

版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.youkuaiyun.com/zcf1784266476/article/details/71248799错误提示：python TypeError: Expected int32, got list containing Tensors of type '_Message' instead.错误原因：ten...

转自：https://blog.youkuaiyun.com/Jiaach/article/details/78874704argmax()官方文档如下：tf.argmax(input, dimension, name=None) Returns the index with the largest value across dimensions of a tensor. Args: inpu...

转自：https://blog.youkuaiyun.com/u013713117/article/details/54598628矩阵a*b# 2-D tensor `a`a = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3]) => [[1. 2. 3.] ...

版权声明：本文为博主原创文章，欢迎转载，请标明出处。 https://blog.youkuaiyun.com/cc1949/article/details/78422704tf.transpose函数中文意思是转置，对于低维度的转置问题，很简单，不想讨论，直接转置就好（大家看下面文档，一看就懂）。   tf.transpose(a, perm=None, name='transpose'...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/Eric_LH/article/details/79074583tile() 平铺之意，用于在同一维度上的复制tf.tile( input, #输入 multiples, #同一维度上复制的次数 name=None )# a = tf.c...

参考RNNs in Tensorflow, a Practical Guide and Undocumented Features会更清楚些。我理解不论dynamic_rnn还是static_rnn（1.0版本没有tf.nn.rnn了），每个batch的序列长度都是一样的（不足的话自己要去padding），不同的是dynamic会根据 sequence_length 中止计算。另外一个不同是dyn...

版权声明：本文为博主原创文章，未经博主允许不得转载。    https://blog.youkuaiyun.com/xierhacker/article/details/78772560参考:Module: tf.contrib.cudnn_rnn Module: tf.contrib.rnn更新:2017.12.25 增加了tf.nn.embedding_lookup 来进行embeddin...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/u013041398/article/details/60955847embedding_lookup( )的用法 关于tensorflow中embedding_lookup( )的用法，在Udacity的word2vec会涉及到，本文将通俗的进行解释。首先看一段网上的简单代码： ...

[TensorFlow]Tensor维度理解http://wossoneri.github.io/2017/11/15/[Tensorflow]The-dimension-of-Tensor/Tensor维度理解Tensor在Tensorflow中是N维矩阵，所以涉及到Tensor的方法，也都是对矩阵的处理。由于是多维，在Tensorflow中Tensor的流动过程就涉及到升维降维，这篇就通过一些...

转自：https://blog.youkuaiyun.com/sinat_33761963/article/details/62433234当使用Tensorflow训练大量深层的神经网络时，我们希望去跟踪神经网络的整个训练过程中的信息，比如迭代的过程中每一层参数是如何变化与分布的，比如每次循环参数更新后模型在测试集与训练集上的准确率是如何的，比如损失值的变化情况，等等。如果能在训练的过程中将一些信息加以记录...

之前一直对tensorflow的padding一知半解，直到查阅了tensorflow/core/kernels/ops_util.cc中的Get2dOutputSizeVerbose函数，才恍然大悟，下面是具体的介绍实际上tensorflow官方API里有介绍！！不科学上网貌似打不开根据tensorflow中的conv2d函数，我们先定义几个基本符号1、输入矩阵 W×W，这里只考虑输入宽高相等的...

在CNN代码里，可能有这样一句话： W1 = tf.Variable(tf.random_normal([3, 3, 1, 32], stddev=0.01))，对于函数tf.random_normal解释如下：tf.random_normaltf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, nam...

tf.truncated_normal(shape, mean, stddev) :shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。和一般的正太分布的产生随机数据比起来，这个函数产生的随机数与均值的差距不会超过两倍的标准差，但是一般...

在使用CNN时，报错：Loaded runtime CuDNN library: 7100 (compatibility version 7100) but source was compiled with 7000(compatibility version 7000).  If using a binary install, upgrade your CuDNN library to matc...

tf.transpose(input, [dimension_1, dimenaion_2,..,dimension_n]):这个函数主要适用于交换输入张量的不同维度用的，如果输入张量是二维，就相当是转置。dimension_n是整数，如果张量是三维，就是用0,1,2来表示。这个列表里的每个数对应相应的维度。如果是[2,1,0]，就把输入张量的第三维度和第一维度交换。例如：[python] vie...

Win10 TensorFlow（gpu）安装详解写在前面：TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。Tensor（张量）意味着N维数组，Flow（流）意味着基于数据流图的计算，TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。从去年...

最近想学习TensorFlow深度学习编程，然后就开始查这方面的信息。第0步是安装环境，配置环境。首先到TensorFlow的官网查看在Windows上安装的条件和步骤。可以仅仅安装CPU版本的，也可以安装gpu版本的，以安装gpu版本为例进行介绍，发现需要安装CUDA和cuDNN，而且CUDA要求8.0版本。 第1步：你是不是觉得你有显卡就可以安装CUDA，进行加速呢!答案是否定的。因为CUDA...

转载网址：http://note.youdao.com/share/?id=71216576910b7a6cd6f2a0f2ebf8faa2&type=note#/        —— 感谢AI研习社的分享Models in TensorFlow from GitHub图像处理/识别 1.PixelCNN &PixelRNN in TensorFlowTensorFlowimple...

转自：https://blog.youkuaiyun.com/helei001/article/details/51842531在学习深度网络框架的过程中，我们发现一个问题，就是如何输出各层网络参数，用于更好地理解，调试和优化网络？针对这个问题，TensorFlow开发了一个特别有用的可视化工具包：TensorBoard，既可以显示网络结构，又可以显示训练和测试过程中各层参数的变化情况。本博文分为四个部分，第...

报错：tensorflow.python.framework.errors_impl.ResourceExhaustedError: OOM when allocating tensor with shape[64,147,147,64]出现以上类似的错误，主要是因为模型中的batch_size值设置过大，导致内存溢出，batch_size是每次送入模型中的值，由于GPU的关系，一般设为16,32...

转自 //blog.youkuaiyun.com/zSean/article/details/75057806在tensorflow中提供了tf.get_variable函数来创建或者获取变量。当tf.get_variable用于创建变量时，则与tf.Variable的功能基本相同。[html] view plain copy#定义的基本等价  v = tf.get_variable("v",shape=[1...

tf.contrib.layers.batch_norm(    inputs,    decay=0.999,    center=True,    scale=False,    epsilon=0.001,    activation_fn=None,    param_initializers=None,    param_regularizers=None,    up...

1.首先对于cuda8.0、cuda7.5的卸载都可以兼容安装cuda9.0之后，电脑原来的NVIDIA图形驱动会被更新，NVIDIA Physx系统软件也会被更新(安装低版cuda可能不会被更新)。卸载时候要注意了，别动这2个。2.卸载：1.前言:杀毒软件别用来卸载这个了，不好找。打开电脑的控制面板，找到程序，卸载程序点击当天安装的时间，会找到刚才装的cuda软件，也包括以前NVIDIA的驱动软...

测试环境：GTX965M，python3.6.x（GPU安装TensorFlow）,win10下面列出了我安装TensorFlow时碰到的问题1.在安装时候易出现decode错误是由于解决方法：打开 c:\program files\python36\lib\site-packages\pip\compat\__init__.py 约75行 return s.decode('utf_8') 改为r...

doc窗口下输入 pip install tensorflow (--upgrade 可不加)