Leo_Xu06的博客

ImageNetAlexNetVGGNetGoogleNetResNetInception-v3

问题描述用tensorflow训练或者inference模型的时候，有时候会遇到运行越来越慢，最终内存被占满，导致电脑死机的问题，我们称之为内存溢出。出现这种问题很可能是因为在一个session中，graph循环建立重复的节点所导致的Lazy load问题。举例说明举个例子，用tensorflow循环做多次加法运算，常见的做法是：x = tf.Variable(10, na...

不同应用场景分析与示例Tensorflow读取预训练模型是模型训练中常见的操作，通常的应用的场景包括：1）训练中断后需要重新开始，将保存之前的checkpoint（包括.data .meta .index checkpoint这四个文件），然后重新加载模型，从上次断点处继续训练或预测。实现方法如下：如果代码中已经构建好了网络结构图with tf.Session() as s

经典损失函数比较

介绍Logistic的基本形式：需要明确的概念：逻辑回归解决的不是回归的问题，而是分类的问题逻辑回归是线性模型，其中sigmoid函数只是非线性激活函数极大似然视角下的Logistic极大似然与伯努利分布假设 x,y∼B(±1,p)x, \, y \sim B(\pm1,p)考虑一个二分类问题：f(x)→{+1,−1}f(x)\rightarrow \

Batch normalization(BN)BN是对输入的特征图进行标准化的操作，其公式为： x^=γ(x−μ)/σ2+ϵ−−−−−√+β\hat{x}=\gamma(x-\mu)/\sqrt{\sigma^{2}+\epsilon}+\betaxx - 原输入x^\hat{x} - 标准化后的输入μ\mu - 一个batch中的均值 σ2\sigma^{2} - 一个ba

理解长短期记忆（Long Short Term Memory, LSTM）模型

深度学习常用激活函数-ReLU

卷积神经网络(CNN)防止过拟合的方法下面是我总结的一些防止CNN过拟合的方法，可能有解释不足以及方法不全的地方，希望指出，后期会修改补全。因为数据量的限制以及训练参数的增多，几乎所有大型卷积神经网络都面临着过拟合的问题，目前常用的防止过拟合的方法有下面几种：   1. data augmentation: 这点不需要解释太多，所有的过拟合无非就是训练样本的缺乏和训练参

视觉注意力的循环神经网络模型

深度学习原理解释及实践经验总结（来自Ilya Sutskever）

GPU版的tensorflow在模型训练时遇到Blas GEMM launch failed错误，或者keras遇到相同错误（keras 一般将tensorflow作为backend，如果安装了GPU版本的tensorflow，那么在使用keras时会优先使用GPU），类似报错如下：InternalError (see above for traceback): Blas GEMM launc...