手撸 chatgpt 大模型:单词向量化编码和绝对位置编码算法

在上一节中，我们将每个单词转换为一个表示数字的标记（token）。现在，我们需要将这个数字映射到一个向量上，这个向量称为嵌入（embedding）。在深度学习中，所有无法通过传统数据结构描述的对象都会被用一个向量表示，例如图像、语音、单词、音频等。最初，向量中的各个字段会被初始化为随机数，然后通过大量的数据和深度学习模型来训练这些向量。训练过程逐步改变向量字段的值，从而使这些字段包含某种“知识”。例如，模型在学习如何将人脸图像与向量关联后，可以通过向模型输入一个向量，输出一张包含人脸的图像。

让我们通过以下示例来模拟这个过程。假设我们有一个包含6个单词的词汇表（vocab），如果想使用长度为3的向量（当然你可以决定向量的长度，通常长度越长越好，但需要更多的数据和时间来训练向量）。以下是使用 torch 初始化6个标记的随机向量的代码：

import torch
# 设置随机种子以生成向量的随机值
torch.manual_seed(321)
vocab_size = 6 # 6个标记
output_dim = 3 # 每个标记映射到长度为3的向量
embedding_layer = torch.nn.Embedding(vocab_size, output_dim)
print(embedding_layer.weights)

运行上述代码将得到以下输出

Parameter containing:
tensor([[-0.1302,  0.4343, -0.4491],
        [-1.0824,  2.5830, -0.3784],
        [-0.6681, -0.4460, -0.4942],
        [-1.0153,  0.9791,  1.5577],
        [-0.3924,  0.4283,  0.6376],
        [-0.5494,  0.7509,  1.7671]], requires_grad=