基于Pytorch的CIFAR100数据集上从ResNet50到VGG16的知识蒸馏实验记录

从零拆解CNN:核心组件、经典架构与PyTorch实战指南 卷积神经网络(CNN)是计算机视觉领域的基石模型,其核心设计哲学源于对图像数据空间局部相关性和平移不变性的深刻洞察。通过卷积层的局部感知与参数共享机制,CNN能以极高的参数效率提取图像的层次化特征,从边缘、纹理到复杂语义。激活函数如ReLU为模型注入非线性,池化层则实现特征降维与平移鲁棒性。在工程实践中,结合PyTorch框架,从数据加载、网络定义(包含BatchNorm、Dropout等关键模块)、训练循环到超参数调优,构成了完整的模型开发流水线。理解CNN的整体框架与内部细节,是进行模型优化、解决过拟合 阅读详情

知识蒸馏的概念

可以参照NeurIPS2015的论文“Distilling the Knowledge in a Neural Network”了解知识蒸馏的概念。

在这里插入图片描述

知识蒸馏的狭义概念就是从复杂模型中迁移知识来提升简单模型的性能。复杂模型称之为教师模型,简单模型称之为学生模型。最近,笔者重温了知识蒸馏的概念,并在CIFAR100数据集上对知识蒸馏进行了验证和实验。
logits,硬目标,软目标的概念:logits指的是网络最后一层的输出概率,硬目标指的是真值标签的one-hot编码,软目标指的是对logits进行softmax之后的概率。
加入温度系数的软目标,为了让softmax之后的概率分布更加软化,Hinton提出了使用了温度参数对logits进行softmax的软化处理,

在这里插入图片描述
T为温度,T越大,概率分布更加平缓。

数据集 CIFAR100,是一个经典的图像分类模型,有100个图像类别

数据集直接采用Pytorch定义的官方数据集进行加载
import torchvision
from torchvision import transforms

CIFAR100_TRAIN_MEAN = (0.5070751592371323, 0.48654887331495095, 0.4409178433670343)
CIFAR100_TRAIN_STD = (0.2673342858792401, 0.2564384629170883, 0.27615047132568404)

transform_train = transforms.Compose([
        transforms.RandomCrop(32, padding=4),
        transforms.RandomHorizontalFlip(),
        transforms.RandomRotation(15),
        transforms.ToTensor(),
        transforms.Normalize(CIFAR100_TRAIN_MEAN, CIFAR100_TRAIN_STD)
    ])

transform_test = transforms.Compose([
        transforms.ToTensor(),
        transforms.Normalize(CIFAR100_TRAIN_MEAN, CIFAR100_TRAIN_STD)
    ])

train_dataset = torchvision.datasets.cifar.CIFAR100(
    root = "./dataset/",
    train=True,
    transform=transform_train,
    download=True
)
test_dataset = torchvision.datasets.cifar.CIFAR100(
    root = "./dataset/",
    train = False,
    transform=transform_test,
    download=True
)
train_loader = DataLoader(dataset=train_dataset, batch_size=128, num_workers=4, shuffle=True)
test_loader = DataLoader(dataset=test_dataset, batch_size=128, num_workers=4, shuffle=False)

分类模型:采用ResNet50作为教师模型,VGG16作为学生模型。

VGG16网络定义代码
"""vgg in pytorch


[1] Karen Simonyan, Andrew Zisserman

    Very Deep Convolutional Networks for Large-Scale Image Recognition.
    https://arxiv.org/abs/1409.1556v6
"""
'''VGG11/13/16/19 in Pytorch.'''

import torch
import torch.nn as nn

cfg = {
   
   
    'A' : [64,     'M', 128,      'M', 256, 256,           'M', 512, 512,           'M', 512, 512,           'M'],
    'B' : [64, 64, 'M', 128, 128, 'M', 256, 256,           'M', 512, 512,           'M', 512, 512,           'M'],
    'D' : [64, 64, 'M', 128, 128, 'M', 256, 256, 256,      'M', 512, 512, 512,      'M', 512, 512, 512,      'M'],
    'E' : [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 256, 'M', 512, 512, 512, 512, 'M', 512, 512, 512, 512, 'M']
}

class VGG(nn.Module):

    def __init__(self, features, num_class=100):
        super().__init__()
        self.features = features

        self.classifier = nn.Sequential(
            nn.Linear(512, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, num_class)
        )

    def forward(self, x):
        output = self.features(x)
        output = output.view(output.size()[0], -1)
        output = self.classifier(output)

        return output

def make_layers(cfg, batch_norm=False):
    layers = []

    input_channel = 3
    for l in cfg:
        if l == 'M':
            layers += [nn.MaxPool2d(kernel_size=2, stride=2)]
            continue

        layers += [nn.Conv2d(input_channel, l, kernel_size=3, padding=1)]

        if batch_norm:
            layers += [nn.BatchNorm2d(l)]

        layers += [nn.ReLU(inplace=True)]
        input_channel = l

    return nn.Sequential(*layers)

def vgg16_bn(
卷积神经网络(CNN)原理详解:从LeNet到ResNet,实战图像分类与调优指南 卷积神经网络(CNN)是深度学习的核心架构之一,其设计灵感源于生物视觉皮层的局部感知机制。通过卷积核的局部连接和权重共享原理,CNN能够高效地从网格数据(如图像)中提取层次化特征,从底层边缘到高层语义。这一技术价值在于其强大的表征学习能力和参数效率,使其成为计算机视觉领域的基石技术。在应用场景上,CNN已广泛应用于图像分类、目标检测、语义分割以及医学影像分析等。例如,在材料科学领域,利用CNN对TEM图像进行结构识别,可以精准标记晶体区域和缺陷位置,其分割性能可通过DSC(Dice相似系数)等指标量化评估。 阅读详情

相关推荐

PyTorch图像分类实战:从训练调优到边缘部署的全链路工程指南

卷积神经网络(CNN)是计算机视觉的基础模型,其核心在于卷积运算、特征提取与端到端优化。理解卷积核尺寸、通道数设置及BatchNorm与ReLU的顺序,直接关系到梯度流动稳定性与硬件计算效率;而模型落地的关键挑战,往往不在结构设计,而在数据预处理的像素级对齐、训练过程的动态学习率调度,以及TorchScript/ONNX导出时的算子兼容性与内存控制。本文聚焦工业级图像分类的完整闭环——涵盖ResNet变体选型依据、小分辨率适配改造、语义感知增强、混合精度协同裁剪、边缘设备量化推理等硬核实践,所有方案均经医疗

张沈鹏,在路上 ... 478

Cifar-10无限制对抗攻击实战:从BUAA课程看模型鲁棒性工程

对抗样本是深度学习模型鲁棒性评估的核心技术概念,其本质在于通过微小扰动诱导模型产生高置信误判。原理上依赖梯度敏感性与决策边界局部线性假设,技术价值体现在暴露模型在真实部署场景下的脆弱性缺口。典型应用场景涵盖智能驾驶感知模块测试、金融风控模型抗干扰验证及AI内容审核系统健壮性评估。本文以BUAA人工智能安全导论课的Cifar-10无限制对抗攻击竞赛为实践载体,聚焦PyTorch原生实现、L∞扰动约束工程化校验、预处理参数适配等关键环节,深入解析PGD、AutoAttack、Square等主流攻击方法在教学级真

weixin_34006468的博客 352

vgg-cifar100:在CIFAR-100上训练的VGG-16的Tensorflow实现

CIFAR-100上的VGG-16 在CIFAR-100上训练的VGG网(具有batchnorm和dropout)。 您可以通过更改数据加载器类中的一行来轻松修改此代码以在CIFAR-10上进行训练。 在不增加数据的情况下达到约64%的准确性。 该数据集上的记录是75%。 我计划添加数据参数,以使性能达到最新水平。 重要提示-请将saves文件夹下载到项目目录中。 它包含权重 这是架构: 有用的链接

卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现

# 卷积神经网络ResNet50训练CIFAR-100图像分类Pytorch实现 1. 使用pytorch调用CIFAR-100数据集,首次训练自动下载; 2. 包含训练代码,调用resnet50模型进行训练,使用交叉熵损失和SGD优化器; 3. 包含训练了50 epochs的模型,在CIFAR-100测试集上准确率62%; 4. 包含两版可视化推理代码:通过matplotlib可视化图片、真值标签和预测结果,以及通过tkinter窗口显示可视化图片、真值标签和预测结果。

避坑指南:SAP成本中心分割结构配置常见错误及解决(含KA06/KL01前置步骤)

本文深入解析了SAP成本中心会计中分割结构配置的关键步骤与常见错误。重点强调了配置前必须通过KA06创建次级成本要素(类别42)和通过KL01创建活动类型这两个核心前置步骤,并详细剖析了在OKES中定义分割规则及版本时的高频报错原因与解决方案,帮助顾问和运维人员有效规避配置陷阱,确保成本分摊的准确性。

pear55的博客 867

IPC-7351标准实战:如何用LPWizard_10快速生成PCB封装库(附避坑指南)

本文提供了一份详细的IPC-7351标准实战指南,手把手教你使用LPWizard_10软件快速生成符合行业标准的PCB封装库,并直接导入Cadence Allegro。文章深入解读了IPC-7351密度等级的选择逻辑,并重点分享了软件配置、QFN封装生成实战步骤,以及导出失败、焊盘异常等常见问题的避坑解决方案,旨在帮助硬件工程师提升设计效率和可靠性。

weixin_29207439的博客 160

【GD32F407】i2c主机发送,从机中断接收

前言 现在手里负责的一个项目需要用i2c和主芯片进行通信主动发送,中断接收,这就需要支持i2c主机模式和从机模式,先查看原理图 这里我们用到了两条i2c总线进行数据的交替传输,避免在使用一条总线是发送数据和接收数据冲突 初始化i2c控制器 s32_k i2cDevInit(u8 byBusId, TI2cBus *pTI2cBus) { //PCLK = 36000000 BOOL retFlg = FALSE; int I2xSCL = pTI2cBus->byFastMode ?

Enosji的博客 6249

保姆级教程:在Windows 10上为QT5.15.2配置Android开发环境(含SDK/NDK/JDK避坑指南)

本文提供了一份详细的Windows 10环境下为QT5.15.2配置Android开发环境的保姆级教程,涵盖SDK、NDK、JDK的安装与配置,以及常见问题的避坑指南。通过优化安装流程、解决Gradle下载慢等痛点,帮助开发者快速搭建稳定的编译环境,并提供了模拟器配置和调试技巧,确保开发效率。

weixin_30919571的博客 528

多层感知机 Multilayer Perceptron | MLP

本文主要简单介绍了多层感知机的基本概念,优缺点,应用场景,建模时的注意事项,评价指标,实现方法,python示例和模型的参数等。

JasonH2021的博客 3万+

保姆级教程:用中移ML307模组对接高德/OneOS定位服务,从配置apikey到解析+MLBSLOC状态码

本文详细介绍了如何使用中移ML307系列模组对接高德/OneOS定位服务,从配置apikey到解析+MLBSLOC状态码的全过程。涵盖高德定位服务和OneOS定位服务的配置步骤、常见错误处理及性能优化技巧,帮助开发者快速实现基站定位功能,提升物联网项目的定位精度和稳定性。

weixin_30632089的博客 509

在 TASKPROCESSING 上为 ABAP OData 服务添加多个系统别名:从原理到落地的完整实践

本文面向SAP Gateway与ABAP开发者,详细讲解如何在TASKPROCESSING OData服务上添加系统别名。首先介绍了系统别名的概念与设计初衷,阐述了添加别名的业务场景需求,包括多系统接入、用户分流和灰度发布等。随后提供了标准配置步骤,从SPRO路径到具体操作说明,并分享了三个实际案例说明如何实现跨区域统一待办、按用户角色分流和灰度发布。最后给出了验证方法和常见问题解决方案,帮助开发者掌握这项基础但关键的配置技能,实现服务路由的可控管理。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 138

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

上一篇: IJCV2021: Knowledge Distillation: A Survey
下一篇: TPAMI2022 Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and
practical_sharp
博客等级 码龄8年 500粉丝 148原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值