纸上得来终觉浅

转自：http://qingmang.me/articles/-6937147381640589681/选自 AnalyticsVidhya作者： Syed Danish Ali、Rahul Ahuja机器之心编译参与：吴攀、李亚洲随着神经网络的进化，许多过去曾被认为不可想象的任务现在也能够被完成了。图像识别、语音识别、寻找数据集中的深度关系等任务现在已经变得远远更加简单了。在此向这一

from：http://blog.youkuaiyun.com/u014595019/article/details/52989301最近在看Google的Deep Learning一书，看到优化方法那一部分，正巧之前用tensorflow也是对那些优化方法一知半解的，所以看完后就整理了下放上来，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGr

https://www.zhihu.com/question/34681168从广义上来说，NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。在实际应用中，所谓的深度神经网络DNN，往往融合了多种已知的结构，包括卷积层或是LSTM单元。但是就题主的意思来看，这里的DNN应该特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。因此，题主一定要将DN

from：http://blog.youkuaiyun.com/myarrow/article/details/520646081. 基本概念1.1 MXNet相关概念    深度学习目标：如何方便的表述神经网络，以及如何快速训练得到模型    CNN(卷积层)：表达空间相关性(学表示)    RNN/LSTM：表达时间连续性(建模时序信号)    命令式编程(imperati

ReLu(Rectified Linear Units)激活函数论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper）起源：传统激活函数、脑神经元激活频率研究、稀疏激活性传统Sigmoid系激活函数Linear Units)激活函数" style="margin-top:0px; marg

转自：https://zhuanlan.zhihu.com/p/24204588?from=timeline&isappinstalled=1吴恩达NIPS 2016演讲现场直击：如何使用深度学习开发人工智能应用机器之心  · 3 天前当地时间 12 月 5 日，机器学习和计算神经科学的国际顶级会议第 30 届神经信息处理系统大会（NIPS 2016）在西班牙巴塞罗那开

from：http://www.cnblogs.com/52machinelearning/p/5821591.html上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西

http://www.youkuaiyun.com/article/2014-06-27/2820429摘要：机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里我们将为您总结一下常见的机器学习算法，以供您在工作和学习中参考。【编者按】机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这

http://www.52nlp.cn/斯坦福大学深度学习与自然语言处理第一讲引言http://www.52nlp.cn/斯坦福大学深度学习与自然语言处理第二讲词向量http://www.52nlp.cn/斯坦福深度学习与自然语言处理高级的词向量表示

http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html

http://m.blog.youkuaiyun.com/article/details?id=8775360

http://ethereon.github.io/netscope/#/editor

1. 两个3´3的卷积层串联相当于1个5´5的卷积层，即一个像素会跟周围5´5的像素产生关联，可以说感受野大小为5´5。而3个3´3的卷积层串联的效果则相当于1个7´7的卷积层。除此之外，3个串联的3´3的卷积层，拥有比1个7´7的卷积层更少的参数量，只有后者的。最重要的是，3个3´3的卷积层拥有比1个7´7的卷积层更多的非线性变换（前者可以使用三次ReLU激活函数，而后者只有一次），使得CNN对

http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

from：http://blog.youkuaiyun.com/sxf1061926959/article/details/54630462author:DivinerShi对抗网络是14年Goodfellow Ian在论文Generative Adversarial Nets中提出来的。 记录下自己的理解，日后忘记了也能用于复习。 本文地址： http://blog.csdn

from：http://blog.youkuaiyun.com/sunbaigui/article/details/51702563在2015年残差网络Deep Residual Learning for Image Recognition出来之后，2016年出现了大批量的达到与之相应效果的加深网络的方法。加深网络会带来如下三大类问题：1. 后向传播梯度消失；2. 前向传播信息量减少；3. 训练时

from：https://baijiahao.baidu.com/po/feed/share?wfr=spider&for=pc&context=%7B%22sourceFrom%22%3A%22bjh%22%2C%22nid%22%3A%22news_3960259049607189919%22%7D配置文件中的参数：base_lr: 0.001lr_policy: "ste

作者：陈永志链接：https://www.zhihu.com/question/24529483/answer/114711446来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。一、weight decay（权值衰减）的使用既不是为了提高你所说的收敛精确度也不是为了提高收敛速度，其最终目的是防止过拟合。在损失函数中，weight decay是放在正

看了各位老大的评论收益很多。从我个人的经验来说，提出几点总结：1.样本要多，其中人数要在12000人以上，最好有2000-3000个东方人，每个人的样本数量要均衡，不均衡就用各种随机的图像处理算法去生成，别怕麻烦2.batchnorm一定要加，而且不要相信论文里说的可以去掉dropout或减小weight_decay，batchnorm的抗过拟合能力实际上是不足的，所以dropout建议设

1. 学习率2. 数据未归一化3. 网络结构不合理

from：http://blog.youkuaiyun.com/sunshine_in_moon/article/details/53563611今天，在训练网络时想换一种学习策略试试，因此重新研究了一下Caffe中提供的各种学习率策略，在这里和大家聊聊我使用时的一些经验教训。我们先来看看和学习率策略有关的参数，以下的内容来自caffe.proto中：[cpp] view pl

from：http://blog.youkuaiyun.com/qq_18515405/article/details/51821125在大部分深度学习架构中都抛不开三个概念epoch，[batch size], iterations；接下来就对这三个概念逐一解释一下one epoch：所有的训练样本完成一次Forword运算以及一次BP运算batch size：一次Forwo

from：http://blog.youkuaiyun.com/leo_is_ant/article/details/50506256Caffe 是一个做CNN的工具。但是如果我只想搭建一套普通的神经网络，那么应该怎么做呢？这篇文章参考了一下两篇文章来一发CNN搭建神经网络的实验。 http://nbviewer.ipython.org/github/joyofdata/joyof

from：http://freemind.pluskid.org/machine-learning/softmax-vs-softmax-loss-numerical-stability/一切起源于我在 caffe 的网站上看到的关于 SoftmaxLossLayer 的描述：The softmax loss layer computes the multinomial l

from：http://blog.youkuaiyun.com/yiliang_/article/details/604671291.当数据量足够大的时候可以适当的减小batch_size,由于数据量太大，内存不够。但盲目减少会导致无法收敛，batch_size=1时为在线学习。2.batch的选择，首先决定的是下降方向，如果数据集比较小，则完全可以采用全数据集的形式。这样做的好处有两点，

from:https://blog.youkuaiyun.com/zuochao_2013/article/details/56024172深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon，等等。然而TensorFlow却杀出重...