睡前人工智能共享实验室

介绍GRU(Gated Recurrent Unit)是由Cho, et al. (2014) 提出，是LSTM的一种变体。GRU的结构与LSTM很相似，LSTM有三个门，而GRU只有两个门且没有细胞状态，简化了LSTM的结构。而且在许多情况下，GRU与LSTM有同样出色的结果。GRU有更少的参数，因此相对容易训练且过拟合问题要轻一点。一、GRU原理讲解下图展示了GRU的网络结构，GRU的网络结构和LSTM的网络结构很相似，LSTM中含有三个门结构和细胞状态，而GRU只有两个门结构：更新...

本文主要介绍了LSTM与双向LSTM网路的原理和具体代码实现。长短期记忆(LongShort Term Memory, LSTM)也是一种时间递归神经网络，最早由 Hochreiter & Schmidhuber 在1997年提出，设计初衷是希望能够解决RNN中的长期依赖问题，让记住长期信息成为神经网络的默认行为，而不是需要很大力气才能学会。一、RNN的长期依赖问题在上篇文章中介绍的循环神经网络RNN在训练的过程中会有长期依赖的问题，这是由于RNN模型在训练时会遇到梯度消失(大部分情况)或.

介绍通过对前面文章的学习，对深度神经网络(DNN)和卷积神经网络(CNN)有了一定的了解，也感受到了这些神经网络在各方面的应用都有不错的效果。然而这些网络都有一个共同的特点：每一层的神经元之间是相互独立的，如输入层的神经元彼此之间是独立的。然而，现实世界中很多元素之间都是有相互联系的。比如一部连续剧的内容，上一集和这一集的内容会有一定的联系；同样的，一句话，如“天空很蓝”，我们通过“天空”和“很”会认为接下来的词为“蓝”的概率会较高。正如这种时序数据问题，使用之前所学的模型(除了text-CNN)可能很

前言:在上一篇文章中，已经介绍了Keras对文本数据进行预处理的一般步骤。预处理完之后，就可以使用深度学习中的一些模型进行文本分类。在这篇文章中，将介绍text-CNN模型以及使用该模型对imdb影评数据集进行情感分析。正如上篇文章所说，文本分类的关键在于准确提炼文档或者句子的中心思想，而提炼中心思想的方法是抽取文档或句子的关键词作为特征，基于这些特征去训练分类器并分类。每个类别可以理解为一种中心思想，如情感分析中，分类器将样本分为两类，一类为正面评论，另一类为负面评论，而正面和负面评论正是该文本或.

上一篇文章中一直围绕着CNN处理图像数据进行讲解，而CNN除了处理图像数据之外，还适用于文本分类。CNN模型首次使用在文本分类，是Yoon Kim发表的“Convolutional Neural Networks for Sentence Classification”论文中。在讲解text-CNN之前，先介绍自然语言处理和Keras对自然语言的预处理。自然语言处理就是通过对文本进行分析，从文本中提取关键词来让计算机处理或理解自然语言，完成一些有用的应用，如：情感分析，问答系统等。比如在情感分析中，其本

前言：现今最主流的处理图像数据的技术当属深度神经网络了，尤其是卷积神经网络CNN尤为出名。本文将通过讲解CNN的介绍以及使用keras搭建CNN常用模型LeNet-5实现对MNist数据集分类，从而使得读者更好的理解CNN。1.CNN的介绍CNN是一种自动化提取特征的机器学习模型。首先我们介绍CNN所用到一些基本结构单元：1.1卷积层：在卷积层中，有一个重要的概念：权值共享。我们通过卷积核与输入进行卷积运算。通过下图可以理解如何进行卷积运算。卷积核从左到右对输入进行扫描，每次滑动1格（步长为1）

导语Keras是Python中以CNTK、Tensorflow或者Theano为计算后台的一个深度学习建模环境。相对于其他深度学习的框架，如Tensorflow、Theano、Caffe等，Keras在实际应用中有一些显著的优点，其中最主要的优点就是Keras已经高度模块化了，支持现有的常见模型（CNN、RNN等），更重要的是建模过程相当方便快速，加快了开发速度。笔者使用的是基于Tensorflow为计算后台。接下来将介绍一些建模过程的常用层、搭建模型和训练过程，而Keras中的文字、序列和图像数