liaominghui123的博客

所有的Q&A问题（翻译，聊天机器人，摘要提取，评价的正负面等等）都可以用seq2seq来解，用大量的训练文本去训练，比如聊天机器人等：甚至用在目标检测硬解：encoderseq2seq的本质就是输入一些向量然后经过某个block生成另外一些向量。这件事RNN和self-attention和CNN都能做，在这里我们transformer做：现在分析transformer里面每个block的结构：首先是输入经过self-attention得到a，然后根据残差连接的思想加上一个b后用一个lay

self-attention在一些问题中，比如机器翻译，语音识别，词性识别，情感识别，摘要提取等，这都是输入一些序列（文字，音频都可以转为序列）然后输出一些序列，是典型的seq2seq模型。传统seq2seq会遗忘前面的输入在这里引入self-attention来检测全图信息。传统FC链接可以用以下方法观察周围信息，但有时候输入的长度不等，window太长浪费计算资源：自注意力层如下，你输入多少个向量，它对应的输出多少个向量，而且输出是兼顾了所有输入的全局信息的：自注意力的工作流程如下：1， 计算注

关于注意力机制attention解析第一部分seq2seq模型第二部分Attention机制第三部分self-attention第一部分：seq2seq模型处理数据如以下站，可以下载到小数据集用来学习，比如在右下部分是英语翻译成的德语，是一对多的关系，只要翻译满足其中一种，就算翻译正确。现在要结构化数据，可以基于单词也可以基于字母，这里以基于字母的来说明。首先将一句话“I am okay”,拆分成如下的排列：每一个字母可以在如下的字典里面找到它的键：德语是目标语言，所以要加上开始和结束的键值