transformer(解码器及之后)

生成器类的代码实现：

 知识点1：这里其实就是一个linear再加上一个F.log_softmax()在维度为负一上的变换。目的就是改变向量维度。没什么新奇的内容。

知识点2：import torch.nn.functional

---

模型基本测试训练模型

---

第一步：构建数据集生成器

1.导入工具包Batch，它能够对原始样本数据生成对应批次的掩码张量。

from pyitcast.transformer_utils import Batch

2.需要的参数有V，用来给random.randint生成batch大小，10维度的数据集。

第二个参数是batch

即一次传入多少数据量。

第三个参数是num_batch，要进行多少轮才会完成数据，也就是num_batch*batch量就是总数据量。

3.构建tensor，用torch.from_numpy(),生成一到V的矩阵。

4.将第一列作为起始列变成全一，用切片操作。data [:,0] = 1。

5.传成source = variable(data,require_grad=Flase)

targert = Variable(data,require_grad=Flase)这里都要构建一个Variable,来装这些数据。

同时要将参数更新关掉。因为只是一个copy任务。

6.使用yield Batch(source,target)将数据生成器导出，生成的是封装好的迭代器。

---

使用transformer构建语言模型

知识点1：torch.narrow

1. 类似切片操作，当（0，）表示行上，（1，）表示列上。

2.0是行，1是列。

3.在行上是闭开区间，在列上是闭闭区间。