诗酒年华

/*********************************************深度学习资料**********************************************/[---中文---][1]. Zouxy的csdn博文，通俗易懂，适合入门；http://blog.youkuaiyun.com/zouxy09/article/details/8775360

转载自：http://geek.youkuaiyun.com/news/detail/50558英文原文：http://www.wildml.com/2016/01/attention-and-memory-in-deep-learning-and-nlp/如需转载请注明以上链接地址，谢谢！Attention机制是最近深度学习的一个趋势。在一次采访中，OpenAI的研究总监Ilya Sutskev

神经网络的严冬九十年代末，神经网络遇到的困境就是一个字——“慢”。除了计算速度的因素外，还有一个根本问题就是反向传播时所谓的“梯度消失问题”（vanishing gradient problem）。简单的说， 就是cost function从输出层反向传播时， 每经过一层,梯度衰减速度极快， 学习速度变得极慢，神经网络很容易停滞于局部最优解而无法自拔。又由于当时SVM在图像和语音方面取得的成功，使得

说好的介绍Yann LeCun的，跑题跑了大半篇，罪过罪过，回来接着介绍Yann LeCun。 实际上，深度学习从上世纪80年代开始并没有受到重视，一直到90年代才有所好转，但是LeCun一直坚持了下来，正如深度学习运动核心人物Geoffrey Hinton所说，“是LeCun高举着火炬，冲过了最黑暗的时代。”微软的Leon Bottou是LeCun早期合作人之一，他说道，“没有人比LeCun更能

在通过卷积获得了特征 (features) 之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如 softmax 分类器，但这样做面临计算量的挑战。例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征（即400个feature map，每个feature map的size为8*8），每一个特征和图像卷积都会得到一

接下来介绍一下，CNNs是如何利用空间结构减少需要学习的参数数目的 如果我们有一张1000x1000像素的图像，有1百万个隐层神经元，那么他们全连接的话（每个隐层神经元都与图像的每一个像素点相连），这样就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。然而图像的空间联系是局部的，就像人是通过一个局部的感受野去感受外界图像一样，每一个神经元都不需要对全局图像做感受

卷积神经网络背景 LeCun的LeNets深度学习网络可以被广泛应用在全球的ATM机和银行之中，它可以理解支票上写的是什么。但仍然存在很多质疑，LeCun说道，“不知何故，似乎现在还是无法说服计算机视觉领域圈子，他们仍然觉得卷积神经网络没什么价值。”其中部分原因，可能是因为这项技术虽然强大，但是没有人可以理解它为什么如此强大，而且这项技术的内部工作方式仍然是个谜。因此，为了让大家能够更清楚的了解一

卷积神经网络 卷积神经网络（CNNs）是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。卷积网络是为识别二维形状而特殊设计的一种多层感知器，这种网络结构对平移、比例缩放、倾斜或者其它形式的变形具有高度不变性。 CNNs是第一个真正成功训练多层网络结构的学习算法。它利用空间关系减少需要学习的参数数目以提高BP算法的训练性能。CNNs作为一个深度学习架构提出是为了最小化数据的预处理要

作为人工智能的一种形式，深度学习能够更好地模仿人类大脑。之前还有很多人工智能研究人员还在公开对该领域嗤之以鼻，而仅仅过了几年，从谷歌、微软，到百度、Twitter，深度学习已经开始蔓延到整个商业科技世界了。 很多科技巨头正在挖掘一种特殊的深度学习，他们称之为卷积神经网络(convolutional neural networks)，旨在构建更加智能的互联网服务，比如可以自动理解语言和识别图像。在谷

转自程引的专栏Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。其二，

知乎讨论：“Deep Learning 的专家如此急缺，它难在何处？”这篇文章是对知乎上大家讨论结果的一个汇总和备忘。初读时感觉醍醐灌顶，读完后忍不住想把文中的观点告诉我身边的每个人。作为一个入门深度学习两年的研二学生，对文中深度学习是一门工程性学科的观点深表赞同。本文主要作为个人的阅读记录所用，以避免以后想要查看但又找不到时的追悔莫及。文中观点皆来自于知乎用户，如需转载请注明知乎原文地址 [ h

这个原理称为”如无必要，勿增实体”，即”简单有效原理”。 正如他在《箴言书注》中所说”切勿浪费较多东西去做用较少的东西同样可以做好的事情。”当你有两个处于竞争地位的理论能得出同样的结论，那么简单的那个更好。这一表述也有一种更为常见的强形式：如果你有两个原理，它们都能解释观测到的事实，那么你应该使用简单的那个，直到发现更多的证据。 对于现象最简单的解释往往比比较复杂的解释更正确。

CNNs调参备忘：在所有深度网络中，卷积神经网和图像处理最为密切相关，卷积网络在很多图片分类竞赛中都取得了很好的效果，但卷积网调参过程很不直观，很多时候都是碰运气。为此，卷积网络发明者Yann LeCun的得意门生Matthew Zeiler在2013年专门写了一篇论文，阐述了如何用反卷积网络可视化整个卷积网络，并进行分析和调优。 Matthew Zeiler：http://www.matthew

转载自dudong的博客：http://blog.sina.com.cn/s/blog_5980285201015311.html Geoffrey Hinton Michael Jordan Yann LeCun Yoshua Bengio这几个人是深度学习研究领域的大牛，经常出现在相关的论文中 其实他们之间有着千丝万缕的联系Yann LeCun是Geoffrey Hinton的博士 Y

中文情感分析之TextCNN综述情感分析方法基于情感词典的情感分析基于机器学习算法的情感分析文本分类模型TextCNN中文情感分析实践数据预处理文本数值化模型构建结果分析总结​最近接了个业务需求，需要对论坛发帖进行情感分析，以便于对恶意发帖的行为进行审核治理。在此对情感分析方法进行一个总结，并重点介绍下文本分类基准模型TextCNN在中文情感分析中的实践应用。综述情感分析（Sentiment...