erinapple的博客

从CPU 迁移到GPU 两者的区别主要是GPU 并发低 计算优势CPU（即MPI） 并发性高 计算性能。但是使用经验是 使用的人多 相对应的集群等待时间长DRAM即动态随机存取存储器，是常见的系统内存。Cache存储器：电脑中作高速缓冲存储器，是位于CPU和主存储器DRAM之间，规模较小，但速度很高的存储器算术逻辑单元ALU是能实现多组算术运算和逻辑运算的组合逻辑电路。...

在进行调试的时候，可以保存模型，，加载模型保存模型的一种是保存成checkpoint,而如何从保import tensorflow as tfv1 = tf.Variable(tf.random_normal([1, 2]), name="v1")v2 = tf.Variable(tf.random_normal([2, 3]), name="v2")init_op = tf.gl...

之前了解的网络都是在全连接层加dropout层，防止模型过拟合。在看deepfm的模型的时候，发现在每一层都可以加入dropout层对dropout层的深入理解做分类的时候，Dropout 层一般加在全连接层 防止过拟合 提升模型泛化能力。而很少见到卷积层后接Drop out （原因主要是 卷积参数少，不易过拟合） er类似卷积神经网络，只是在最后的全连接层使用dropout,循环神经...

https://blog.youkuaiyun.com/shenxiaolu1984/article/details/52815641tensorflow用集合colletion组织不同类别的对象。tf.GraphKeys中包含了所有默认集合的名称。collection提供了一种“零存整取”的思路：在任意位置，任意层次都可以创造对象，存入相应collection中；创造完成后，统一从一个collect...

https://blog.youkuaiyun.com/nxcxl88/article/details/527048771. 安装Anaconda从anaconda官网（https://www.continuum.io/downloads）上下载linux版本的安装文件（推荐Python 2.7版本），运行sh完成安装。2. 建立一个tensorflow的运行环境# Python 3.7$ ...

http://www.cnblogs.com/loujiayu/p/3545026.html论文：Understanding the difficulty of training deep feedforward neuralnetworks w和b的初值CNN（卷积神经网络）的出现通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位

梯度消失：http://www.cnblogs.com/tsiangleo/p/6151560.html根本的问题其实并非是消失的梯度问题或者激增的梯度问题，而是在前面的层上的梯度是来自后面的层上项的乘积。所以神经网络非常不稳定。唯一可能的情况是以上的连续乘积刚好平衡大约等于1，但是这种几率非常小。所以只要是sigmoid函数的神经网络都会造成梯度更新的时候极其不稳定，产生梯度消失