1.self attention Self attention 在NLP中有很多的应用，对于它的作用，个人觉得是通过attention score，能够区分出文本的不同部分对最终的任务有不同的重要性，比如，对于文本的分类任务，不同的字/词对于任务是有不同的重要程度，Self Attention从《AttentionIsAllYouNeed》提出。 具体过程可以参考《The I...

一、Self-Attention概念详解 Self-Attention详解 了解了模型大致原理，我们可以详细的看一下究竟Self-Attention结构是怎样的。其基本结构如下 对于self-attention来讲，Q(Query), K(Key), V(Value)三个矩阵均来自同一输入，首先我们要计算Q与K之间的点乘，然后为了防止其结果过大，会除以一个尺度标度，其中为一...

http://androidkt.com/tensorflow-text-classification-attention-mechanism/ In this tutorial, we’re gonna to build a recurrent neural network that’s able to classify reviews. This can be used to improve...

http://androidkt.com/text-classification-using-attention-mechanism-in-keras/ In this tutorial, We build text classification models in Keras that use attention mechanism to provide insight into how cl...

http://www.cnblogs.com/rucwxb/p/10277217.html https://zhuanlan.zhihu.com/p/49271699 https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html https://www.jianshu.com/p/ef41302edeef h...

出处：https://zhuanlan.zhihu.com/p/49271699 Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Bert值得这么高的评价吗？我个人判断是值得。那为什么会有这么高的评价呢？是因为它有重大的理论或者模型创新吗？其实并没有，从模型创新角度看一般，创新不算大。但是架不住效果太好了，基本刷新了很多NLP的任务的最好性能，有些任务还被刷爆了，这个才是关键。...

出处：https://blog.youkuaiyun.com/yujianmin1990/article/details/85221271 前言 翻译一篇非常赞的解释Transformer的文章，原文链接。 在之前的文章中，Attention成了深度学习模型中无处不在的方法，它是种帮助提升NMT（Neural Machine Translation）的翻译效果的思想。在本篇博客中，我们解析下Transfo...

nmt.py main()->run_main(train_fn, inference_fn) 其中,train_fn指train.py中的train() run_main中，根据参数：flags.inference_input_file决定是走train逻辑还是走infer逻辑 如果是infer，则取最新的checkpoint，执行inference_fn 如果是train，则走train...

tf.contrib.rnn.BasicLSTMCell基本的LSTM循环网络单元实现基于http://arxiv.org/abs/1409.2329我们添加 forget_bias （默认值为1）到遗忘门的偏置，为了减少在开始训练时遗忘的规模。它不允许单元有一个剪裁，映射层，不允许有peep-hole 连接：这是基准。对于更高级的模型，请使用 full LSTMCelldef __init__(...

作者：Gein Chen链接：https://www.zhihu.com/question/29873016/answer/77647103来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。clip_gradient 的引入是为了处理gradient explosion的问题。当在一次迭代中权重的更新过于迅猛的话，很容易导致loss divergence。clip_gr...

转处：https://blog.youkuaiyun.com/liuchonge/article/details/79021938上篇文章我们使用tf.contrib.legacy_seq2seq下的API构建了一个简单的chatbot对话系统，但是我们已经说过，这部分代码是1.0版本之前所提供的API，将来会被弃用，而且API接口并不灵活，在实际使用过程中还会存在版本不同导致的各种个样的错误。所以我们有必要...

“TensorFlow中AttentionCellWrapper的attn_length是什么鬼？attention window又是什么鬼？”--初次使用AttentionCellWrapper做attentionRNN时可能会有些懵逼...因为新版TensorFlow的API doc中关于AttentionCellWrapper的介绍有些含糊，它说是基于 0473这篇经典的attention ...

出处：https://theneuralperspective.com/2016/11/20/recurrent-neural-network-rnn-part-4-attentional-interfaces/oIn this post, we will be covering the encoder-decoder architecture with attention for seq-seq...

/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林       要是关注深度学习在自然语言处理方面的研究进展，我相信你一定听说过Attention Model（后文有时会简称AM模型）这个词。AM模型应该说是过去一年来NLP领域中的重要进展之一，在很...