基于Pytorch的MINIST数据集soft target的知识蒸馏代码实验

知识蒸馏(Knowledge Distillation) 1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏(暗知识提取)的概念,通过引入与教师网络(teacher network:复杂、但推理性能优越)相关的软目标(soft-target)作为total loss的一部分,以诱导学... 阅读详情

知识蒸馏:教师学生模型,通过软目标实现从教师到学生模型的知识传递

在这里插入图片描述

单独训练教师模型

教师模型采用三个全连接层,隐藏层的神经元为1200–>2400–>1200,为防止过拟合,加入Dropout
模型训练采用交叉熵损失,Adam优化器,学习率为1e-4,训练批次epoch=10,batch-size=64
import torch
from torch import nn
from tqdm import tqdm
import torchvision
from torchvision import transforms
from torch.utils.data import DataLoader


class TeacherModel(nn.Module):
    def __init__(self, in_channel=1, num_classes=10):
        super(TeacherModel, self).__init__()
        self.relu = nn.ReLU()
        self.fc1 = nn.Linear(784, 1200)
        self.fc2 = nn.Linear(1200, 2400)
        self.fc3 = nn.Linear(2400, 1200)
        self.fc4 = nn.Linear(1200, num_classes)
        self.dropout = nn.Dropout(p=0.5)

    def forward(self, x):
        x = x.view(-1, 784)
        x = self.fc1(x)
        x = self.dropout(x)
        x = self.relu(x)

        x = self.fc2(x)
        x = self.dropout(x)
        x = self.relu(x)

        x = self.fc3(x)
        x = self.dropout(x)
        x = self.relu(x)

        x = self.fc4(x)

        return x 
    

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")


#load MNIST datasets
train_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train=True,
    transform=transforms.ToTensor(),
    download=True
)
test_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train = False,
    transform=transforms.ToTensor(),
    download=True
)
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)

if __name__ == "__main__":

    """
    从头训练教师模型
    """
    model = TeacherModel().to(device)


    criterion = nn.CrossEntropyLoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
    epochs = 10

    for epoch in range(epochs):
        model.train()
        for data, targets in tqdm(train_loader):
            data = data.to(device)
            targets = targets.to(device)
            prediction = model(data)
            loss = criterion(prediction, targets)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

        model.eval()
        num_correct = 0
        num_samples = 0

        with torch.no_grad():
            for x, y in test_loader:
                x = x.to(device)
                y = y.to(device)

                prediction = model(x)
                prediction = prediction.max(1).indices
                num_correct += (prediction == y).sum()
                num_samples += prediction.size(0)
            
            acc = (num_correct/num_samples).item()
        
        model.train()
        print("Epoch:{}\t Accuracy:{:.4f}".format(epoch, acc))
        torch.save(model.state_dict(), './weights/teacher/teacher_{}.pth'.format(acc))

    """
    教师模型
    Epoch:8  Accuracy:0.9831
    """

在这里插入图片描述

经过10个epoch训练,教师模型的精度为 Accuracy:0.9831

单独训练学生模型

学生模型采用3层全连接层,隐藏层的神经元为20–>20–>20,不需要Dropout
学生模型的训练设置与教师模型完全保持一致
import torch
from torch import nn
from tqdm import tqdm
import torchvision
from torchvision import transforms
from torch.utils.data import DataLoader

class StudentModel(nn.Module):
    def __init__(self, in_channel=1, num_classes=10):
        super(StudentModel, self).__init__()
        self.relu = nn.ReLU()
        self.fc1 = nn.Linear(784, 20)
        self.fc2 = nn.Linear(20, 20)
        self.fc3 = nn.Linear(20, num_classes)
    
    def forward(self, x):
        x = x.view(-1, 784)
        x = self.fc1(x)
        x = self.relu(x)

        x = self.fc2(x)
        x = self.relu(x)

        x = self.fc3(x)

        return x

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")


#load MNIST datasets
train_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train=True,
    transform=transforms.ToTensor(),
    download=True
)
test_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train = False,
    transform=transforms.ToTensor(),
    download=True
)
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)


if __name__ == "__main__":
    
    """
    从头训练学生模型
    """
    model = StudentModel().to(device)

    criterion = nn.CrossEntropyLoss()
    optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
    epochs = 10

    for epoch in range(epochs):
        model.train()

        for data, targets in tqdm(train_loader):
            data = data.to(device)
            targets = targets.to(device)
            prediction = model(data)
            loss = criterion(prediction, targets)
            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

        model.eval()
        num_correct = 0
        num_samples = 0

        with torch.no_grad():
            for x, y in test_loader:
                x = x.to(device)
                y = y.to(device)

                prediction = model(x)
                prediction = prediction.max(1).indices
                num_correct += (prediction == y).sum()
                num_samples += prediction.size(0)
            
            acc = (num_correct/num_samples).item()
        
        model.train()
        print("Epoch:{}\t Accuracy:{:.4f}".format(epoch, acc))
        torch.save(model.state_dict(), './weights/student/student_{}.pth'.format(acc))

    """
    学生模型
    Epoch:9  Accuracy:0.9224
    """

在这里插入图片描述

经过10个epoch训练,教师模型的精度为 Accuracy:0.9224

知识蒸馏训练

import torch
from torch import nn
import torch.nn.functional as F
import torchvision
from torchvision import transforms
from torch.utils.data import DataLoader
from torchinfo import summary
from tqdm import tqdm
from teacher import TeacherModel
from student import StudentModel

torch.manual_seed(0)

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

torch.backends.cudnn.benchmark = True

#load MNIST datasets
train_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train=True,
    transform=transforms.ToTensor(),
    download=True
)
test_dataset = torchvision.datasets.MNIST(
    root = "./dataset/",
    train = False,
    transform=transforms.ToTensor(),
    download=True
)
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=64, shuffle=False)

if __name__ == "__main__":
    """
    学生模型蒸馏训练
    """


    student_model = StudentModel().to(device)

    teacher_model = TeacherModel().to(device).eval()
    teacher_model.load_state_dict(torch.load("./weights/teacher/teacher_0.9830999970436096.pth"))

    student_model.train()

    Temp = 4
    alpha = 0.8

    hard_loss = nn.CrossEntropyLoss()

    soft_loss = nn.KLDivLoss(reduction='batchmean')


    optimizer = torch.optim.Adam(student_model.parameters(), lr=1e-4)
    epochs = 20

    for epoch in range(epochs):
        student_model.train()

        for data, targets in tqdm(train_loader):
            data = data.to(device)
            targets = targets.to(device)

            #教师预测
            with torch.no_grad():
                teacher_predictions = teacher_model(data)
                teacher_predictions = teacher_predictions.detach()
            
            student_predictions = student_model(data)

            student_loss = hard_loss(student_predictions, targets)

            distillation_loss = soft_loss(
                F.log_softmax(student_predictions / Temp, dim=1),
                F.softmax(teacher_predictions / Temp, dim=1)
            )

            loss = (1-alpha) * Temp * Temp * distillation_loss + alpha * student_loss

            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

        student_model.eval()
        num_correct = 0
        num_samples = 0

        with torch.no_grad():
            for x, y in test_loader:
                x = x.to(device)
                y = y.to(device)

                prediction = student_model(x)
                prediction = prediction.max(1).indices
                num_correct += (prediction == y).sum()
                num_samples += prediction.size(0)
            
            acc = (num_correct/num_samples).item()
        
        student_model.train()
        print("Epoch:{}\t Accuracy:{:.4f}".format(epoch, acc))
        torch.save(student_model.state_dict(), './weights/knowledge_distillation/student_{}.pth'.format(acc))

"""
Temp = 4, alpha = 0.3
学生训练: Epoch:9  Accuracy:0.9224
教师训练: Epoch:8  Accuracy:0.9831
学生蒸馏训练  Epoch:19   Accuracy:0.9288

Temp = 4, alpha = 0.5
学生训练: Epoch:9  Accuracy:0.9224
教师训练: Epoch:8  Accuracy:0.9831
学生蒸馏训练  Epoch:19   Accuracy:0.9308

Temp = 4, alpha = 0.8
学生训练: Epoch:9  Accuracy:0.9224
教师训练: Epoch:8  Accuracy:0.9831
学生蒸馏训练  Epoch:19  Accuracy:0.9293
"""

学生蒸馏训练,参照另一篇博客的四个注意事项,笔者选择温度系数T=4,损失权重alpha为0.3,0.5,0.8分别进行实验,得到实验结果如下

模型温度参数T损失权重alpha分类精度
教师模型––98.31%
学生模型––92.24%
蒸馏学生模型40.392.88%
蒸馏学生模型40.593.08%
蒸馏学生模型40.892.93%

实验总结:通过表格对比,证明了知识蒸馏的有效性。此外,损失权重alpha取值的不同,也影响着蒸馏学生模型的分类精度,说明了温度系数,损失权重,都对蒸馏这个学习过程有着重要的影响。

Pytorch实现的各种知识蒸馏方法-python Pytorch实现的各种知识蒸馏方法 Knowledge-Distillation-Zoo Pytorch 实现各种知识蒸馏 (KD) 方法。 本知识库是一个简单的参考资料,主要侧重于基础知识蒸馏/转移方法。 因此没有考虑许多技巧和变化,例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。 希望它对您的项目或研究有用。 我将使用新的 KD 方法定期更新此 repo。 如果我遗漏了一些基本方法,请与我联系。 Lists Name Method Paper Link Code Link Baseline basic model with softmax loss — code Logits通过回归logits模拟学习论文代码ST软目标论文代码AT注意力转移论文代码Fitnet提示薄深度网络论文代码NST神经选择性转移论文代码PKT概率知识转移论文代码 FSP 求解流程过程论文代码 FT 因子转移论文代码 RKD 关系知识蒸馏论文代码 AB 激活边界论文代码 SP 相似性保存论文代码 Sobolev sobolev/jacobian 匹配论文代码 BSS 边 立即下载

相关推荐

基于单片机智能家居控制系统设计

*单片机设计介绍,基于单片机智能家居控制系统设计。

QQ2193276455的博客 1718

文本知识蒸馏代码pytorch pytorch模型蒸馏

教师模型先定义 三个隐藏层fc1,fc2,fc3self.dropout = nn.Dropout(p = 0.5) # 使用dropout防止过拟合x = self.relu(x) # 前向传播使用线性整流relu激活函数return x# 学生模型return xmodel = StudentModel() # 从头先训练一下学生模型# 设置交叉损失函数 和 激活函数epochs = 3# 训练集上训练权重# 前向预测# 反向传播,优化权重。

lovely_yoshino的博客 2225

SCAN和JTAG分别是什么?它们之间有什么联系与区别?

SCAN(扫描)技术是集成电路测试领域的一种方法,主要用于边界扫描测试(Boundary Scan)。它是在集成电路设计中引入的一种测试结构,允许测试人员通过在芯片的输入/输出引脚上设置和读取特殊寄存器(边界扫描寄存器,BSR)的内容,来间接测试电路板上的互联和芯片内部功能块。这种方式可以在不接触其他内部节点的情况下测试整个电路板的连接性,极大地提高了测试覆盖率和可诊断性。JTAG(Joint Test Action Group,联合测试行动小组)则是开发并推广边界扫描测试标准的一个组织。

初心不忘产学研的博客 2546

前馈神经网络-pytorch搭建-MINIST数据集测试(完整代码在文末)

基于公开的MNIST手写数字数据上的分类问题,构建一个包含至少一个隐藏层的前馈神经网络,其中包括选择适当的激活函数和损失函数实现训练模型,并记录训练过程中损失和准确率等实验结果。进一步分析原因,问题或许是出现在激活函数上,由于最后手写数字识别本质上是个多分类的问题,所以在最后一层的10个输出上,使用Softmax函数才是最佳选择,这样更改过之后,准确率就达到了97.48%在最初我只使用了一层的隐藏层,得到的准确率只有67.58%,这是由于模型的深度不够,在数字识别这种高维问题上,表现不佳。

Zljhaodai的博客 1989

【DAB收音机】DAB 认证介绍

DAB 认证ESTI 标准文档: ETSI 103461实际过认证时,需要根据产品的受众国家及区域,参考当地官方是否有国内认证协议。需要参考当地文档进行功能开发。例如:阿联酋地区用《UAE.S 5021 _ 2018.pdf》标准进行认证。ESTI 的DAB认证协议规定了家用和车载数字无线电的最低要求,及其对应的测试方法,是数字无线电认证标志规定的技术基础。本文以车载数字无线电接收器为例,进行部分DAB认证的介绍,详情请见官方文档。或联系博主获取DAB ESTI 103461的中文翻译资料。

qq_15271231的博客 1221

QT绘制饼图+柱状图+折线图

使用qt绘制,折线图,饼图,柱状图,多柱状图

梅山 3879

知识蒸馏——pytorch实现

知识蒸馏——pytorch实现

Pcl2001的博客 8771

多维时空数据介绍(4)多维栅格数据构建

上图中包含了经度、纬度和时间三个维度,其变量为经度、纬度、时间以及降雨量,对应的变量单位为东经多少度、北纬多少度、阳历1895-1-1日开始多少天以及每年降雨多少毫升,其中经度数值4个、纬度数值3个、时间数值2个都是一维的数据,而降雨量是一个包含经度、纬度、时间的三维数组,数值有4*3*2=24个。在GeoScene 中NetCDF数据可以用做多种多维时空数据的数据源,进行创建、可视化和分析,它可以是多维栅格数据、时空立方体,还可以是体元图层,区别在于其所要表示的内容和目的。变量又分为坐标变量和属性变量。

你好,我是小张同学! 1289

pytorch(10)-- 知识蒸馏

一、前言 本篇讨论知识蒸馏,简单而言就是使用一个复杂但性能较好的模型作为教师模型,带动一个简单结构的学生模型迭代训练,使学生模型的数据拟合结果向教师模型结果趋近,从而提高简单模型的效果 代码将使用cifa10数据集上训练达到95%准确率的模型作为教师模型,对一个简单3层卷积网络做蒸馏 二、代码 教师模型采用 pytorch官方导出,加载训练好的模型 teach_model = resnet18(pretrained=False) incha...

AP1005834的博客 2112

5.13华为OD机试真题 新系统 - 社交网络相同爱好好友查询 (Java/Py/C/C++/Js/Go)

5.13华为OD机试真题 新系统 - 社交网络相同爱好好友查询 (Java/Py/C/C++/Js/Go)

算法大师! 158

《派出你的AI同事:WorkBuddy案例实战》067:按行业分类的案例索引

按行业分类的案例索引 —— 《派出你的AI同事:WorkBuddy案例实战》系列文章,配图已统一为规范示意图。

LuckyHanMo的博客 102

【Pytorch】使用Pytorch进行知识蒸馏

【Pytorch】使用Pytorch进行知识蒸馏 关于 `import torch.nn as nn` 关于 `nn.functional` 关于`from torch.utils.data import DataLoader`

Eli_Code 1万+

使用R语言实现循环神经网络RNN进行文本生成

首先,让我们回顾一下循环神经网络(Recurrent Neural Networks,RNN)的基本概念。RNN是一种深度学习技术,特别适合处理序列数据,如时间序列和文本数据。RNN的关键特性是它的隐藏状态,这个状态可以捕捉到当前输入之前的信息。这使得RNN能够利用前面的信息来影响后续的输出,从而对序列数据进行有效的处理。

斌擎科技 726

Pytorch实现模型蒸馏

简单记录一下使用Pytorch进行模型蒸馏的主要代码,,其余数据处理的内容可以另行补充 import torch import torch.nn as nn import numpy as np from torch.nn import CrossEntropyLoss from torch.utils.data import TensorDataset,DataLoader,SequentialSampler class model(nn.Module): def __init__(self,inp

BMSW的博客 4725

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

知识蒸馏(Knowledge Distillation)的Pytorch实现以及分析

       知识蒸馏(Knowledge Distillation)的概念由Hinton大神于2015年在论文《Distilling the Knowledge in a Neural Network》中提出,论文见:https://arxiv.org/abs/1503.02531。此方法的主要思想为:通过结构复杂、计算量大但是性能优秀的教师神经网络,对结构相对简单、计算量较小的学生神经网络进行...

小石的博客 2万+

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

基于知识蒸馏Knowledge Distillation模型压缩pytorch实现

在弄懂原理基础上,从本篇博客开始,逐步介绍基于知识蒸馏的增量学习、模型压缩的代码实现。毕竟“纸上得来终觉浅,绝知此事要躬行。”。 先从最经典的Hilton论文开始,先实现基于知识蒸馏的模型压缩。相关原理可以参考博客:https://blog.youkuaiyun.com/zhenyu_an/article/details/101646943, 既然基本原理是用一个已训练的teacher网络,去教会一个st...

zhenyu_an的博客 1万+

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

第 6 章 实验指导:环境、sklearn、PyTorch 与 llama.cpp

四条动手线:搭环境 → sklearn 传统机器学习 → PyTorch 深度学习 → llama.cpp 部署大模型。只保留代码骨架与关键行,参数含义与踩坑点要自己走一遍才算数。

MsterNZ的博客 446

【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch

本文聚焦自定义数据集的构建与验证,解决“图片如何对应标签”的核心问题。通过构建包含路径、标签、ID与分组信息的标注表,实现样本可追溯;设计ManifestDataset类,统一图像读取、变换与张量输出格式;强调数据检查、固定类别映射与数据契约的重要性,确保训练前数据闭环可靠。后续将进入数据增强与划分环节。

银尘博客 216

PyTorch显存碎片怎么查?从OOM现场到分配器诊断的实战步骤

本文针对GPU训练中显存充足却仍出现CUDA OOM的问题,提出系统排查方法:通过基线测量、峰值趋势观察、内存快照定位、单变量验证等步骤,区分真实显存不足与缓存管理问题。强调避免盲目减小batch size,优先检查张量引用、动态尺寸影响及多进程占用,并建议合理使用PYTORCH_CUDA_ALLOC_CONF调参。关键在于结合allocated与reserved指标,利用快照分析活跃块,确保高效定位根因。

iFisher666的博客 218

PyTorch AMP 自动混合精度训练

自动混合精度(AMP)通过动态匹配算子精度,结合FP16/BF16加速计算与FP32保障稳定性,在不牺牲模型收敛性的前提下显著提升训练效率、降低显存占用。PyTorch中Autocast实现算子级精度调度,GradScaler通过动态缩放梯度防止小梯度下溢,配合跳步机制平衡数值稳定与性能收益,是现代深度学习训练的核心优化技术。

MzKyle的博客 171

基于深度学习的塑料类型图像分类研究(Python+PyTorch+Django完整实现)

本课题围绕塑料回收分拣场景,完成基于深度学习的塑料类型图像分类研究。项目使用公开塑料识别数据集,覆盖六类常见塑料,先以ResNet18预训练特征做错标检测,自动隔离可疑样本并复测清洗效果,再按类别分层划分数据集;模型选用ResNet50进行迁移学习,训练中引入标签平滑与EMA应对标签噪声,以宏平均F1,各类别召回和混淆矩阵作为主要评估指标;训练完成的模型导出为ONNX格式,由Django后端加载推理,Vue前端实现图片上传与结果展示,形成从数据,训练到应用的完整闭环,可作为深度学习方向毕业设计的实现参考。

WEIXIN_JSJBSZDS的博客 177

模型权重如何安全交付?PyTorch加载前的格式与完整性校验

在AI算力平台进行大模型训练或推理时,需严格校验权重文件的来源、格式与完整性。建议先通过SHA-256摘要验证文件一致性,优先使用安全的safetensors格式,避免pickle反序列化风险;加载时启用weights_only=True并校验键名与张量形状,部署前固化交付清单。所有操作应在隔离环境完成,确保文件未被篡改,保障模型安全与稳定。

iFisher666的博客 469

PyTorch

→\to→→\to→。

runningshark的博客 90

从 PyTorch 到 JAX/TPU:一套可证伪的仓库迁移验证流水线

把PyTorch仓库迁到JAX/TPU,最贵的不是报错,而是模型照常收敛却悄悄算错的“静默偏差”😱 本文分享一套可证伪的分层验证流水线:从权重映射、单层对齐到训练曲线,五级断言逐层卡关,让你先建裁判再动手迁移,把80%精力花在证明“迁移是对的”上。

helloagent的博客 441

GPU 云预装镜像横评:CUDA、PyTorch、vLLM 与模型仓库适配性

预装PyTorch、CUDA、vLLM的GPU云镜像不等于直接可用。一个可靠推理环境需五层版本协同:驱动、CUDA runtime、PyTorch wheel、vLLM wheel、模型与tokenizer,任一错位均可能导致启动失败或性能异常。关键在于锁定完整版本链,避免仅依赖“CUDA 12.x + PyTorch最新版”等模糊描述。生产环境应自建分层镜像(系统+框架+模型资产分离),优先使用经验证的组合镜像,严格验收驱动、CUDA、PyTorch、vLLM及模型兼容性,并通过实际运行测试首启延迟、显存

qq_25897071的博客 242

从PyTorch到AscendC:借助KernelSwift拿下昇腾算子实操工坊2w+现金激励

本文介绍参赛者如何通过KernelSwift平台,从PyTorch语义描述出发,自动实现昇腾NPU上的CHEMM算子,历经九类场景调度与调优,1000项精度、200项性能全部通过,成功斩获2万+现金激励。该过程展现了AI驱动的算子生成工具在降低开发成本、提升跨硬件适配效率方面的显著优势。

DeepLink_2025的博客 321
上一篇: 计算机学报2022:知识蒸馏研究综述
下一篇: IJCV2021: Knowledge Distillation: A Survey
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值