GerHard 的博客

神经网络——一个很好的解释从头开始以及用Python简单实现的神经网络

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络 (Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了 (i-1) 层神经元在该时刻的输出外，还包括其自身在 (m-1)时刻的输出！RNN和传统的多层感知机不同的就是和时间沾上边...

L1 L2 正则化 是什么ℓ1 -norm和 ℓ2-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。 所谓的 “惩罚” 是指对损失函数中的某些参数做一些限制。 对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。如图，加号后面的分别是 L...

注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用，在编解码器框架内，通过在编码段加入Attention模型，对源数据序列进行数据加权变换，或者在解码端引入Attention 模型，对目标数据进行加权变化，可以有效提高序列对序列的自然方式下的系统表现。Attention：Attention模型的基本表述可以这样理解成： 当我们人在看一样东西的时候，...

【这篇重点在分析一下改变了的网络模型，其他的写的并不全面】1、《Deep Learning Approach for Sentiment Analysis of Short Texts》learning long-term dependencies with gradient descent is difcult in neural network language model bec...

http://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/mnist_beginners.html我们用 MNIST数据集当例子。60000行的训练数据集（mnist.train）10000行的测试数据集（mnist.test） Softmax模型可以用来给不同的对象分配概率。 即使在之后，我们训练更加精细

你可以使用model.save(filepath)将Keras模型和权重保存在一个HDF5文件中，该文件将包含：模型的结构，以便重构该模型模型的权重训练配置（损失函数，优化器等）优化器的状态，以便于从上次训练中断的地方开始使用keras.models.load_model(filepath)来重新实例化你的模型，如果文件中存储了训练配置的话，该函数还会同时完成模型的编译 例子：

这里先分享两个分享： 一个是用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践，另一个是 brightmart 的 text_classification，里面用 Keras 实现了很多文本分类的模型）以及下面的各种分享： 2017 知乎看山杯从入门到第二 知乎看山杯夺冠记 深度学习与文本分类总结第二篇–大规模多标签文本分类 2017知乎看山杯总结

paper： BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs

深度学习 小知识备忘

卷积神经网络例子mnist_cnnkeras/tensorflow/caffe

又要开始一段看论文的调研生活了。那我开始翻译整理论文了。《Convolutional Neural Networks for Sentence Classification》 这是一篇很经典的用卷积神经网络做文本分类的文章。 作者是纽约大学（New York University）的 Yoon Kim github是 https://github.com/yoonkim/CNN_sent...