转换器+自注意力模型（1）

其实我有的时候就在想，大模型都已经这么成熟了，那还要人做什么
最近我老师给我们发了一篇文章，是关于自注意力机制和转换器模型的，我在github上找了个项目

1从.ipynb文件中读取python代码

import json

# 读取 .ipynb 文件
with open('your_notebook.ipynb', 'r') as f:
    notebook = json.load(f)

# 提取代码单元格
code_cells = []
for cell in notebook['cells']:
    if cell['cell_type'] == 'code':
        code_cells.append(''.join(cell['source']))

# 将提取的代码保存到一个 Python 文件
with open('extracted_code.py', 'w') as f:
    for code in code_cells:
        f.write(code + '\n')

我刚才还纳闷这个notebook文件是什么，我又输入了一个print(notebook），结果发现它就是把tansformer这个文件的内容提取到notebook里了，这个.ipynb文件是分为两种单元格的，一种是代码单元格，一种是文本单元格。这个就是筛选出来代码单元格，然后把里面的source部分，也就是代码部分提取出来，然后再保存在extracted_code.py文件里面。

2

import torch
import torch.nn as nn


class SelfAttention(nn.Module):
    def __init__(self, embed_size, heads):
        super(SelfAttention, self).__init__()
        self.embed_size = embed_size
        self.heads = heads
        self.head_dim = embed_size // heads

        assert (
            self.head_dim * heads == embed_size
        ), "Embedding size needs to be divisible by heads"

        self.values = nn.Linear(embed_size, embed_size)
        self.keys = nn.Linear(embed_size, embed_size)
        self.queries = nn.Linear(embed_size, embed_size)
        self.fc_out = nn.Linear(embed_size, embed_size)

    def forward(self, values, keys, query, mask):
        # Get number of training examples
        N = query.shape[0]

        value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1]

        values = self.values(values)  # (N, value_len, embed_size)
        keys = self.keys(keys)  # (N, key_len, embed_size)
        queries = self.queries(query)  # (N, query_len, embed_size)

        # Split the embedding into self.heads different pieces
        values = values.reshape(N, value_len, self.heads, self.head_dim)
        keys = keys.reshape(N, key_len, self.heads, self.head_dim)
        queries = queries.reshape(N, query_len, self.heads, self.head_dim