The roadmap is constructed in accordance with the following four guidelines:From outline to detailFrom old to state-of-the-artfrom generic to specific areasfocus on state-of-the-artYou will fi

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林       要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很...

Recurrent networks (Elman, 1990) are designed to model sequences, while recursive networks (Goller & Küchler, 1996) are generalizations of recurrent networks that can handle trees. ---Yoav Goldber...

本文章的例子来自于WILDMLvanillaRNN是相比于LSTMs和GRUs简单的循环神经网络，可以说是最简单的RNN。RNN结构RNN的一个特点是所有的隐层共享参数(U,V,W)，整个网络只用这一套参数。RNN前向传导st=tanh(Uxt+Wst−1) ot=softmax(Vst)st为t时刻隐层的状态值，为向量。 ot为t时刻输出的值（这里是输入一个xt就有一个输出ot，这个是不必要的，...

Understanding LSTM Networkshttp://colah.github.io/posts/2015-08-Understanding-LSTMs/ An overview of gradient descent optimization algorithmshttp://sebastianruder.com/optimizing-gradient-descent/The Un...

转自：https://github.com/NELSONZHAO/zhihu/blob/master/mnist_gan/gan_mnist.ipynb本篇代码将使用GAN来学习MNIST数据集的生成，仅仅作为一个demo演示，后面会更新更加复杂的GAN模型In [2]:import tensorflow as tfimport numpy as npimport pickleimport ...

原文：A ten-minute introduction to sequence-to-sequence learning in Keras 作者：Francois Chollet 译者：雁惊寒摘要：序列到序列学习（seq2seq）是一种把序列从一个域（例如英语中的句子）转换为另一个域中的序列（例如把相同的句子翻译成法语）的模型训练方法。目前有多种方法可以用来处理这个任务，可以使用RNN，也可以使...

转处：http://blog.youkuaiyun.com/lujiandong1/article/details/54869170说明：我是在keras的官方demo上进行修改https://github.com/fchollet/keras/blob/master/examples/imdb_cnn.py1、几点说明，从文件中读入数据，会降低GPU的使用率，如果能够直接将数据载入内存，GPU的使用率会比较...

计数下标从1开始例：CUDA_VISIBLE_DEVICES=2 python3 predict_3.pyHow can I run a Keras model on multiple GPUs?We recommend doing so using the TensorFlow backend. There are two ways to run a single model on multip...

https://blog.youkuaiyun.com/Jerr__y/article/details/61195257https://blog.youkuaiyun.com/u014595019/article/details/52759104@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不...

转处：https://www.cnblogs.com/jermmyhsu/p/8228007.html之前提到，深度神经网络在训练中容易遇到梯度消失/爆炸的问题，这个问题产生的根源详见之前的读书笔记。在 Batch Normalization 中，我们将输入数据由激活函数的收敛区调整到梯度较大的区域，在一定程度上缓解了这种问题。不过，当网络的层数急剧增加时，BP 算法中导数的累乘效应还是很容易让梯...

转处：https://blog.youkuaiyun.com/liuchonge/article/details/79021938上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要...

作者：Gein Chen链接：https://www.zhihu.com/question/29873016/answer/77647103来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。clip_gradient 的引入是为了处理gradient explosion的问题。当在一次迭代中权重的更新过于迅猛的话，很容易导致loss divergence。clip_gr...

nmt.py main()->run_main(train_fn, inference_fn) 其中,train_fn指train.py中的train() run_main中，根据参数：flags.inference_input_file决定是走train逻辑还是走infer逻辑 如果是infer，则取最新的checkpoint，执行inference_fn 如果是train，则走train...

https://buptldy.github.io/2016/10/29/2016-10-29-deconv/反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正式的使用是在其之后的工作中(Adaptive deconvolutional networks for ...

转处：http://breezedeus.github.io/2014/11/20/breezedeus-feature-hashing.html#fn:fhash在特征处理（Feature Processing）中我介绍了利用笛卡尔乘积的方法来构造组合特征。这种方法虽然简单，但麻烦的是会使得特征数量爆炸式增长。比如一个可以取N个不同值的类别特征，与一个可以去M个不同值的类别特征做笛卡尔乘

colah 写了一篇介绍LSTM的博客，写的非常的好。为了能够是自己更加深入的了解。特此，将它翻译了过来。原文地址：http://colah.github.io/posts/2015-08-Understanding-LSTMs/转自：http://blog.youkuaiyun.com/shinanhualiu/article/details/49864219递归神经网络(Recurrent Neural ...

转处：http://www.52cs.org/?p=1046作者：Kintocai， 北京大学硕士， 现就职于腾讯。伦敦大学张伟楠博士在携程深度学习Meetup[1]上分享了Talk《Deep Learning over Multi-field Categorical Data – A Case Study on User Response Prediction in

转自：http://blog.youkuaiyun.com/philosophyatmath/article/details/52774666python向量：import numpy as npa = np.array([[1,2],[3,4],[5,6]])sum0 = np.sum(a, axis=0)sum1 = np.sum(a, axis=1)print sum0print...

Data prepare：将liblinear格式的数据，转化成keras下的向量格式的文件raw_train_data = open("/mnt/software/train_data")f = file("train_data","w+")cnt = 0for t_data in raw_train_data: farr = t_data.split(" ")

转自：https://keras.io/losses/A loss function (or objective function, or optimization score function) is one of the two parameters required to compile a model:model.compile(loss='mean_squared_err

Recurrent neural networks can also be used as generative models.This means that in addition to being used for predictive models (making predictions) they can learn the sequences of a problem and then ...

转处：https://zhuanlan.zhihu.com/p/25928551用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践清凇2 个月前近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目，恰好硕士毕业时论文题目便是文本分类问题，趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、

Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture (an artificial neural network) published in 1997 by Sepp Hochreiter and Jürgen Schmidhuber. Like most RNNs, an LSTM netwo

转自：http://www.gageet.com/2014/0878.phpContents一：前导 Back Propagation反向传播算法网络结构学习算法二：Convolutional Neural Networks卷积神经网络三：LeCun的LeNet-5四：CNNs的训练过程五：总结本文是我在20140822的周报，其中部

出自：https://machinelearningmastery.com/save-load-keras-deep-learning-models/Keras is a simple and powerful Python library for deep learning.Given that deep learning models can take hours,

http://blog.youkuaiyun.com/lanchunhui/article/details/51279293http://ufldl.stanford.edu/wiki/index.php/%E6%A2%AF%E5%BA%A6%E6%A3%80%E9%AA%8C%E4%B8%8E%E9%AB%98%E7%BA%A7%E4%BC%98%E5%8C%96反向传播

1.卷积神经网络简介卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池层(pooling layer)。卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20

转处：http://geek.youkuaiyun.com/news/detail/235471作者简介：汪剑，现在在出门问问负责推荐与个性化。曾在微软雅虎工作，从事过搜索和推荐相关工作。 责编：何永灿（heyc@youkuaiyun.com） 本文首发于优快云，未经允许不得转载。TensorFlow Wide And Deep 模型详解与应用（一）前面讲了模型输入的特征，下面谈谈模型本

转处：http://blog.youkuaiyun.com/sxf1061926959/article/details/78440220?readlogAuthor: DivinerShi本文主要讲解Google的Wide and Deep Learning 模型。本文先从原始论文开始，先一步步分析论文，把论文看懂。再去分析官方开源的Tensorflow源码，解析各个特征的具体实现方法，以及模

By Jay Mahadeokar and Gerry PesaventoAutomatically identifying that an image is not suitable/safe for work (NSFW), including offensive and adult images, is an important problem which researchers hav...