程引的专栏

Neural Networks for Machine Learning by Geoffrey Hinton训练感知机的方法并不能用以训练隐含层训练感知机的方式是每次直接修正权重，最终得到满足所有凸锥里的权重。可行解的平均一定还是可行解。对多层神经网络而言，2个可行解的平均并不一定是可行解。 They should never have been called mul

研究需要，统计了一些经典CNN结构的卷积层参数。 Alexnet Layer Input Kernel Output Stride Pad 1 256 * 3 * 227 * 227 48 * 3 * 11 * 11 256 * 48 * 55 * 55 4 0 2 256 * 48 * 27 * 27 128 * 48 *

序列建模用机器学习对序列建模的意义将输入序列变化到另一个域上的输出序列，例如： 将声压信号转化成单词序列。若没有目标序列，可以通过预测输入序列中的下一段来作为学习信号。 这种方法介于监督学习与无监督学习之间，它使用了监督学习的训练方法，但并不需要一个单独的学习信号。序列的无记忆模型自回归模型（Autoregressive models）通过使用固定数量的历史序列项，来预测未来序列项。即所

理解LSTM网络周期神经网络（Recurrent Neural Networks）。人类并非每一秒都在从头开始思考问题。当你阅读这篇文章时，你是基于之前的单词来理解每个单词。你并不会把所有内容都抛弃掉，然后从头开始理解。你的思考具有持久性。传统的神经网络并不能做到这一点，这似乎是其一个主要的缺点。例如，想象你要把一部电影里面每个时间点所正在发生的事情进行分类。

深度学习（Deep Learning），自然语言处理（NLP）及其表达（Representation）简介过去几年中，深度神经网络在模式识别领域占据着统治地位。他们在诸多计算机视觉任务领域，将之前的最好算法彻底击败。语言识别也正朝着这个方向发展。 They blew the previous state of the art out of the water for many computer

『RNN 监督序列标注』笔记-第一/二章 监督序列标注 监督序列标注（Supervised Sequence Labeling）与传统的监督模式分类（supervised pattern classification）的不同之处在与样本点不能被当作是独立的。序列标注的特点输入和标签都具有强相关性。 输入与标签的对应关系是未知的。RNNs的优点与缺陷优点上下文信息非常灵活（因为它们能够学

『RNN 监督序列标注』笔记-第三章 神经网络多层感知机（Multilayer Perceptrons）多层感知机的输出仅仅取决于当前的输入，因此 MLPs 更适用于模式分类而非序列标注任务。仅仅具有单隐含层的 MLPs 就具有了以任意精度逼近任意连续函数的能力，因此也被成为通用函数拟合器（universal function approximators）。前向过程前向过程可以描述为 ah=∑i=

『RNN 监督序列标注』笔记-第四章 LSTM（Long Short-Term Memory）标准 RNN 在实际使用中能够有效利用的上下文范围很有限，这是由于经过若干次迭代，隐含层权重值要么消失要么爆炸。Long Short-Term Memory (LSTM)结构解决了这一问题。网络结构LSTM 具有记忆单元，每个单元含有记忆细胞和3个倍增单元（输入、输出以及遗忘门）。如图所示： 展示