qq_50857066的博客

网友：为了解决pretraining 和 fine tuning 的 mismatch问题。微调：预训练模型基础上，添加全连接，softmax。

前馈网络（feed-forward network）是一种常见的神经网络结构，由一个或多个线性变换和非线性激活函数组成。它的输入是一个词向量，经过一系列线性变换和激活函数处理之后，输出另一个词向量。作用：使模型卷的更深，因为模型要重复N次，Add操作充分考虑了模型复杂度，抵抗模型深度所导致输入信号的衰减，作用：模仿神经元结构，内置两组Linear数据进行转换。作用：把分散的分布重新拉回到正常的分布区间之中。

对应着上面的a和b。

非线性变换的本质：改变空间上的位置坐标，任何一个点都可以在维度空间上找到，通过某个手段，让一个不合理的点（位置不合理），变得合理。机器学习的本质：在做一件事情，非线性变换（把一个看起来不合理的东西，通过某个手段（训练模型），让这个东西变得合理）多头的个数用h表示，一般h = 8, 我们常用使用的是8头自注意力.2、然后把Z0-Z7拼接起来，再做一次线性变换（改变维度）得到Z。1、对于X，我们将X分成了8块(8头)， 得到Z0-Z7。

注意：与RNN相比，RNN是一个字一个字的输入，自然每个字的循序关系信息就会保留下来，在Encoder中，一句子的每一个字(词)是并行计算的(下一节解释)，所以我们在输入的时候需要提前引入位置信息。这样通过与位置编码(positional encoding)相加，则让输入向量x具有了位置信息。奇数的位置是cos, 偶数的位置是sin。i是维度下标，d是总维度。

tensorflow安装前向传播与后向传播Embedding之word2vecgensim训练词向量word2vecEncoder&Decoder汉字和数字直接相互翻译BiLSTM介绍K.layers.Masking用法

例如： 数据中全部数字的列表input_texts [‘1’…‘80000’], 那么它的最大长度是5。

i1与i2分别是两个输入，隐藏层有两个神经元节点h1与h2，偏置项b1与b2，输出层也有 2 个神经元节点o1与o2lh1​w1×i1w2×i2b1lh2​w3×i1w4×i2b1outh1​1e−lh1​1​outh2​1e−lh2​1​lo1​w5×outh1​w6×outh2​b2lo2​w7。

Bi由两个LSTM层组成，一个从前向后处理序列，一个从后向前处理序列，在处理序列时，每个时间步的输入会被分别传递给两个LSTM层，然后它们的输出会被合并。

【代码】【深度学习】tensorflow的安装。

!!注意我的环境中，使用pip安装gensim会更改numpy版本，导致tensorflow崩溃，我使用的是conda安装成功的。

K.layers.Masking 的操作主要用于处理可变长度序列数据，而这些序列中，可能存在填充值，这个操作的目的是在模型训练和处理序列数据时，将填充值部分屏蔽掉，已防止填充值对模型的影响。总体而言，K.layers.Masking 操作有助于处理序列数据中的填充值，使得模型能够更有效地学习和处理不同长度的序列。

CBOW神经网络会接收上下文词语，将上下文词语转换为最有可能的目标词。skip-gram是用目标词来预测上下文。