GPT|手写纯解码器的Transformer代码实现

        本代码使用手写方法实现自注意力网络，是指每个模块手写而并非任何库都不可调用。有一点顺序问题是tokenizer直接用的Bert的，所以只供参考。

        本篇代码的基本方法仿照于手写纯编码器结构（也是俺），因此结构大多重复，但本篇用于评价极性识别因此本质上是个二分类任务，其它下游任务的修改可以参照这里介绍的原理，但是没有提供代码。

1.库函数

import torch
from torch import nn
from torch.utils.data import DataLoader, random_split, Dataset
from transformers import BertTokenizer
from tqdm import tqdm
from sklearn.metrics import f1_score
import numpy as np
import random
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix, ConfusionMatrixDisplay

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print("Using device:", device)

        其中 torch 和 transformer 版本为：

        其它库函数很少因为版本问题报错。

2.一系列可更改项

        

TRAIN_FILE = '/kaggle/input/food-comment/train_food.txt'
TEST_FILE = '/kaggle/input/food-comment/test_food.txt'
MODEL_SAVE_PATH = 'sentiment_classifier.pth'
BATCH_SIZE = 32
EPOCHS = 8
LEARNING_RATE = 8e-6
MAX_SEQ_LEN = 512
VALID_RATIO = 0.15
FRACTION = 1
vocab_size = 30000  # 假设词汇表大小
embed_size = 256    # 嵌入层维度
num_heads = 4       # 注意力头数
ff_hidden_size = 512  # 前馈网络隐藏层大小
num_layers = 6      # 解码器层数
max_len = 512       # 最大序列长度
num_labels = 1      # 输出标签数量，用于情感分类（积极或消极）

        用的纯解码器模型，层数比GPT的12少一半。

3.导入数据

# 数据加载和预处理
class SentimentDataset(Dataset):
    def __init__(self, filename):
        with open(filename, 'r', encoding='utf-8') as file:
            lines = file.readlines()
        self.samples = [line.strip().split(',', 1) for line in lines]
        random.shuffle(self.samples)

    def __len__(self):
        return len(self.samples)

    def __getitem__(self, idx):
        label, text = self.samples[idx]
        return text, int(label)
print("OK")

def load_data(file_path, valid_ratio, fraction=1.0):
    dataset = SentimentDataset(file_path)
    train_size = int((1 - valid_ratio) * len(dataset) * fraction)
    valid_size = int(len(dataset) - train_size) 
    train_dataset, valid_dataset = random_split(dataset, [train_size, valid_size])
    return train_dataset, valid_dataset

train_dataset, valid_dataset = load_data(TRAIN_FILE, VALID_RATIO, fraction=FRACTION)
train_loader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True)
valid_loader = DataLoader(valid_dataset, b