Brilliant_orange的博客

通过self-attention自注意，RNN 不太容易忘记且容易关注相关信息。simple-RNN新的状态h。有介绍，这里便不累赘了）两者不一样的地方在于h。（相关性计算在上一篇。

Attention 可以大幅提升seq2seq的遗忘问题。有了Attention，Seq2Seq 模型不会忘记源输入，且decoder解码器就知道该把注意力集中在哪里。所以attention解决了遗忘问题，提高了准确率，但是代价就是计算量的提高。第一种方法：（V T 矩阵 都是训练的参数）解码器到状态t时，我们一共计算了mt个权重。知道输入x1-xm的完整信息，解决遗忘问题。和当前状态s0的相关性，记为权重a。， 所有的a加起来等于1.缺点: 计算量大得多。，我们计算权重: a。

数据处理：大小写，拼写错误等（数据预处理）->tokenization（它可以是char-level也可以是word-level的 ）->建立两个字典（一个英语一个德语的，因为每种语言使用的字母个数或者词语构造不一样）一个编码器encoder，一个解码器decoder。decoder的初始状态是encoder的最终输出。encoder的最终输出是最后的状态h和传输带c。用Seq2Seq实现机器翻译：多对多问题。decoder的输出是每个字符的概率值。如下图，当前的标签是‘m’每一轮的状态h，c都会更新。

一定要看懂这句话，理解，因为下面其他参数矩阵的计算也是类似的，只不过输入不一样！

我们知道全连接网络FC Nets 和卷积神经网络ConvNets都是属于one to one 模型。比如给定一个输入如一张图片，我们输出他是猫还是狗。但是对于输入输出长度不一致的时序型数据sequential data（比如文本翻译）等就不适用。先讲一下模型。

conda常用命令

深度学习基本概念和CNN基础深度学习深度学习与神经网络的区别深度学习的框架基本概念深度学习深度学习的最初级版本是人工神经网络，是机器学习的一个分支，其试图模拟人脑，通过更加复杂的结构自动提取特征。深度学习与神经网络的区别从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层...

目录安装anaconda环境装相关依赖或者第三方库第二章代码解读安装anaconda环境参考这篇文章或者自己百度https://www.jianshu.com/p/d3a5ec1d9a08装相关依赖或者第三方库pip install pandaspip install scikit-learn==0.20.3 #使用scikit-learn跑一个两年前的案例, 报错:cannot import name ‘joblib’ from ‘sklearn.externals’#原因: scikit

这里记录一些我用Python深度学习的七七八八常用函数或者小技巧啥啥的吧毕竟好记性不如烂笔头!嗯!会再更哒1.strip()string1.strip(string2)一句话来说就是去除字符串string1里面包含的字符序列string2str = "00000003210Runoob01230000000"; print str.strip( '0' ); # 去除首尾字符 0 #...