基于VIT的猫狗图像分类项目

编译环境的准备

vit_pytorch介绍

vit_pytorch 是一个实现 Vision Transformer (ViT) 模型的库。Vision Transformer 是一种基于 Transformer 的图像分类模型，它将图像划分为一系列 patch，然后将这些 patch 视为序列数据，类似于自然语言处理中的词序列。

使用这个库，你可以方便地创建和训练 Vision Transformer 模型。这个库封装了 ViT 的一些复杂实现细节，使得用户可以更容易地应用 ViT 到自己的图像分类任务中。

linformer 是 Linformer 的 PyTorch 实现，Linformer 是一种改进的 Transformer 模型，旨在提高 Transformer 的效率。Linformer 通过线性化自注意力机制，减少了计算复杂度，从而使 Transformer 在处理长序列时更加高效。

安装 vit_pytorch 和 linformer 库

可以 安装vit_pytorch库，可能会出现问题

pip -q install vit_pytorch linformer

• 如果下载速度太慢，可以加上镜像源

 pip install vit_pytorch -i https://mirrors.aliyun.com/pypi/simple/

 pip install linformer-i https://mirrors.aliyun.com/pypi/simpl

 建议直接下载源代码

• 点击链接

https://github.com/lucidrains/vit-pytorchhttps://github.com/lucidrains/vit-pytorch

• 点击Code->Dowbload ZIP进行源代码下载

导包

from __future__ import print_function

import glob
from itertools import chain
import os
import random
import zipfile

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from linformer import Linformer
from PIL import Image
from sklearn.model_selection import train_test_split
from torch.optim.lr_scheduler import StepLR
from torch.utils.data import DataLoader, Dataset
from torchvision import datasets, transforms
# from tqdm.notebook import tqdm
from tqdm import tqdm


from vit_pytorch import ViT

import torchvision.transforms as transforms

随机种子的设置

函数 seed_everything 可以确保在相同的种子值下，每次运行代码时，所有涉及随机数的操作都会产生相同的结果，从而增强了实验的可重复性和结果的可比性。这在进行深度学习实验时尤其重要，因为它有助于调试和验证模型的性能。

def seed_everything(seed):
    # 设置 Python 内置的随机数生成器的种子
    random.seed(seed)
    # 设置 Python 环境变量中的 PYTHONHASHSEED，以便控制哈希算法的随机化
    os.environ['PYTHONHASHSEED'] = str(seed)
    # 设置 NumPy 随机数生成器的种子
    np.random.seed(seed)
    # 设置 PyTorch 随机数生成器的种子（CPU）
    torch.manual_seed(seed)
    # 设置 PyTorch 随机数生成器的种子（单个GPU）
    torch.cuda.manual_seed(seed)
    # 设置所有 GPU 的随机数生成器的种子
    torch.cuda.manual_seed_all(seed)
    # 设置 cuDNN 后端的确定性，确保每次运行的结果是一样的
    torch.backends.cudnn.deterministic = True

seed_ev