Leo_Xu06的博客

Batch normalization(BN)BN是对输入的特征图进行标准化的操作，其公式为： x^=γ(x−μ)/σ2+ϵ−−−−−√+β\hat{x}=\gamma(x-\mu)/\sqrt{\sigma^{2}+\epsilon}+\betaxx - 原输入x^\hat{x} - 标准化后的输入μ\mu - 一个batch中的均值 σ2\sigma^{2} - 一个ba

不同应用场景分析与示例Tensorflow读取预训练模型是模型训练中常见的操作，通常的应用的场景包括：1）训练中断后需要重新开始，将保存之前的checkpoint（包括.data .meta .index checkpoint这四个文件），然后重新加载模型，从上次断点处继续训练或预测。实现方法如下：如果代码中已经构建好了网络结构图with tf.Session() as s

问题描述用tensorflow训练或者inference模型的时候，有时候会遇到运行越来越慢，最终内存被占满，导致电脑死机的问题，我们称之为内存溢出。出现这种问题很可能是因为在一个session中，graph循环建立重复的节点所导致的Lazy load问题。举例说明举个例子，用tensorflow循环做多次加法运算，常见的做法是：x = tf.Variable(10, na...

GPU版的tensorflow在模型训练时遇到Blas GEMM launch failed错误，或者keras遇到相同错误（keras 一般将tensorflow作为backend，如果安装了GPU版本的tensorflow，那么在使用keras时会优先使用GPU），类似报错如下：InternalError (see above for traceback): Blas GEMM launc...