1.半监督的含义
半监督指的是将训练集中无标签的数据运用起来,因为数据都是宝贵的。如何运用无标签的数据,就是使用训练后的模型对数据进行预测,然后得到一个pred_y,当这个pred_y是在一个置信度比较高的范围内的话,则设标签y=pred_y,即得到有标签的数据,再将这些有标签的数据同样运用于训练模型,即将一部分的无标签数据利用了起来。
2.半监督运用于图片分类的实例代码分析
2.1导入python包
import random
import torch
import torch.nn as nn
import numpy as np
import os
from PIL import Image #读取图片数据
from torch.utils.data import Dataset, DataLoader
from tqdm import tqdm
from torchvision import transforms
import time
import matplotlib.pyplot as plt
from model_utils.model import initialize_model
导入所需的Python库,包括随机数生成库、PyTorch、NumPy、图片处理库PIL、数据处理模块(Dataset和DataLoader)、进度条模块(tqdm),以及用于图像转换的torchvision库和可视化库matplotlib。
2.2设置随机种子
def seed_everything(seed):
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
random.seed(seed)
np.random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
定义一个函数 seed_everything
,用于设置随机种子,以保证实验可重复性。它同时设置了Python随机数生成器和NumPy的随机数生成器的种子。对于PyTorch,还确保了CUDA的随机性。
2.3主要参数设置
seed_everything(0) # 设置随机种子为0
HW = 224 # 设置图像的高度和宽度为224
调用 seed_everything
函数进行随机种子初始化,并定义图像的高度和宽度为224。
2.4数据预处理的转化
train_transform = transforms.Compose(
[
transforms.ToPILImage(),
transforms.RandomResizedCrop(224),
transforms.RandomRotation(50),
transforms.ToTensor()
]
)
val_transform = transforms.Compose(
[
transforms.ToPILImage(),
transforms.ToTensor()
]
)
定义训练集和验证集的数据预处理流程。训练集的转换包括随机剪裁、随机旋转和转换为Tensor;验证集只需将图像转换为Tensor。
2.5定义数据集
class food_Dataset(Dataset):
定义一个名为 food_Dataset
的自定义数据集类,继承自 torch.utils.data.Dataset
。
2.6数据集初始化
def __init__(self, path, mode="train"):
数据集类的初始化方法,接受数据路径和数据模式(训练、验证、半监督)作为参数。
if mode == "semi":
self.X = self.read_file(path)