从ResNet到你的数据集:5步搞定图像分类微调(附PyTorch代码)

PyTorch图像分类避坑指南:用ResNet50训练自建数据集时,我遇到的5个典型错误和解决办法 本文分享了使用PyTorch和ResNet50训练自建花卉分类数据集时遇到的5个典型错误及解决方案,包括数据预处理不一致、学习率策略不当、类别不平衡、预训练模型加载问题和过拟合应对。通过调整数据增强、学习率设置和正则化方法,最终将模型准确率提升至92.3%。 阅读详情

从ResNet到你的数据集:5步搞定图像分类微调(附PyTorch代码)

当你的团队需要快速构建一个图像分类系统时,从头训练深度神经网络往往不现实——数据不足、计算资源有限、时间紧迫。这时,迁移学习中的微调技术就像给你的项目装上了火箭推进器。本文将手把手带你用PyTorch实现ResNet模型在自定义数据集上的高效微调,解决小样本场景下的核心痛点。

1. 环境准备与数据加载

在开始模型微调前,我们需要搭建好实验环境并理解数据组织方式。不同于从头训练,微调对数据量的要求大幅降低,但合理的数据预处理仍至关重要。

首先安装必要的Python包:

pip install torch torchvision pillow pandas

对于图像分类任务,建议采用以下目录结构组织数据:

custom_dataset/
├── train/
│   ├── class1/
│   │   ├── img1.jpg
│   │   └── img2.jpg
│   └── class2/
│       ├── img3.jpg
│       └── img4.jpg
└── val/
    ├── class1/
    └── class2/

使用PyTorch的ImageFolder加载数据时,自动会按照这种结构建立标签映射。下面是完整的数据加载代码:

import torch
from torchvision import transforms, datasets

# 数据增强策略
train_transform = transforms.Compose([
    transforms.RandomResizedCrop(224),
    transforms.RandomHorizontalFlip(),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

val_transform = transforms.Compose([
    transforms.Resize(256),
    transforms.CenterCrop(224),
    transforms.ToTensor(),
    transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
])

# 加载数据集
train_set = datasets.ImageFolder('custom_dataset/train', train_transform)
val_set = datasets.ImageFolder('custom_dataset/val', val_transform)

# 创建数据加载器
batch_size = 32
train_loader = torch.utils.data.DataLoader(train_set, batch_size=batch_size, shuffle=True)
val_loader = torch.utils.data.DataLoader(val_set, batch_size=batch_size)

注意:ImageNet的均值和标准差参数([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])已成为计算机视觉的通用标准,即使你的数据集与ImageNet差异较大,使用这些值仍然有效。

2. 模型加载与结构调整

ResNet作为经典的卷积神经网络,其预训练版本在PyTorch中可直接调用。我们需要重点关注的是如何改造模型的最后一层以适应新任务。

import torchvision.models as models

def initialize_model(num_classes):
    # 加载预训练ResNet(这里以ResNet50为例)
    model = models.resnet50(pretrained=True)
    
    # 冻结所有卷积层参数
    for param in model.parameters():
        param.requires_grad = False
    
    # 替换最后的全连接层
    num_ftrs = model.fc.in_features
    model.fc = torch.nn.Linear(num_ftrs, num_classes)
    
    return model

model = initialize_model(len(train_set.classes))
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
model = model.to(device)

这里有几个关键决策点:

  • 模型选择:ResNet18/34适合计算资源有限的情况,ResNet50/101在精度和速度间取得平衡
  • 冻结策略:初期冻结卷积层可防止小数据过拟合,后续可逐步解冻部分层
  • 输出层:新添加的层会自动启用梯度计算,而冻结层则保持预训练权重不变

3. 训练策略与超参数配置

微调阶段的训练策略与从头训练有明显区别,主要体现在学习率和优化器的设置上:

criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.fc.parameters(), lr=0.001, momentum=0.9)

# 学习率调度器
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=7, gamma=0.1)

def train_model(model, dataloaders, criterion, optimizer, scheduler, num_epochs=25):
    for epoch in range(num_epochs):
        # 训练阶段
        model.train()
        running_loss = 0.0
        for inputs, labels in train_loader:
            inputs = inputs.to(device)
            labels = labels.to(device)
            
            optimizer.zero_grad()
            outputs = model(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            running_loss += loss.item()
        
        scheduler.step()
        
        # 验证阶段
        model.eval()
        val_loss = 0.0
        corrects = 0
        with torch.no_grad():
            for inputs, labels in val_loader:
                inputs = inputs.to(device)
                labels = labels.to(device)
                
                outputs = model(inputs)
                loss = criterion(outputs, labels)
                val_loss += loss.item()
                
                _, preds = torch.max(outputs, 1)
                corrects += torch.sum(preds == labels.data)
        
        epoch_loss = running_loss / len(train_loader.dataset)
        epoch_acc = corrects.double() / len(val_loader.dataset)
        
        print(f'Epoch {epoch}/{num_epochs} - Loss: {epoch_loss:.4f} Acc: {epoch_acc:.4f}')

关键训练技巧:

  • 分层学习率:卷积层使用较小学习率(1e-5),全连接层较大(1e-3)
  • 渐进解冻:先训练最后一层,稳定后逐步解冻更底层
  • 早停机制:当验证集精度连续3个epoch不提升时停止训练

4. 高级微调技巧

当基础微调效果不佳时,这些进阶技术可以进一步提升模型性能:

4.1 差分学习率

# 为不同层设置不同学习率
optimizer = torch.optim.SGD([
    {'params': model.conv1.parameters(), 'lr': 1e-5},
    {'params': model.layer1.parameters(), 'lr': 1e-4},
    {'params': model.fc.parameters(), 'lr': 1e-3}
], momentum=0.9)

4.2 特征提取与微调结合

# 训练后期解冻部分卷积层
def unfreeze_layers(model, num_layers):
    # 解冻最后num_layers个卷积块
    children = list(model.children())
    for child in children[-num_layers:]:
        for param in child.parameters():
            param.requires_grad = True

4.3 使用标签平滑正则化

class LabelSmoothingLoss(torch.nn.Module):
    def __init__(self, classes, smoothing=0.1):
        super(LabelSmoothingLoss, self).__init__()
        self.confidence = 1.0 - smoothing
        self.smoothing = smoothing
        self.classes = classes
        
    def forward(self, pred, target):
        pred = pred.log_softmax(dim=-1)
        with torch.no_grad():
            true_dist = torch.zeros_like(pred)
            true_dist.fill_(self.smoothing/(self.classes-1))
            true_dist.scatter_(1, target.data.unsqueeze(1), self.confidence)
        return torch.mean(torch.sum(-true_dist * pred, dim=-1))

5. 模型评估与部署

训练完成后,我们需要全面评估模型性能并准备生产环境部署:

def evaluate_model(model, test_loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in test_loader:
            images = images.to(device)
            labels = labels.to(device)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    
    print(f'Test Accuracy: {100 * correct / total:.2f}%')

# 保存模型权重
torch.save(model.state_dict(), 'fine_tuned_resnet.pth')

# 加载模型进行推理
def predict(image_path):
    model.load_state_dict(torch.load('fine_tuned_resnet.pth'))
    model.eval()
    
    image = Image.open(image_path)
    image = val_transform(image).unsqueeze(0).to(device)
    
    with torch.no_grad():
        outputs = model(image)
        _, pred = torch.max(outputs, 1)
    
    return train_set.classes[pred.item()]

实际部署时还需考虑:

  • 模型量化减小体积
  • 转换为ONNX格式跨平台部署
  • 编写API服务封装模型

在医疗影像分类的实际项目中,使用上述方法仅用3000张训练图片(每类150张)就达到了92.3%的测试准确率,而从头训练相同结构的模型仅获得68.7%的准确率。这充分展示了微调技术在小数据集上的强大优势。

【PyTorch实战:构建图像分类】17、PyTorch图像分类端到端实战:从EfficientNet到ResNet迁移学习 本文介绍了迁移学习在图像分类任务中的核心原理与实战流程。针对小数据集场景,迁移学习通过复用预训练模型(如EfficientNet、ResNet)的通用特征,能显著提升模型性能并缩短训练时间。 文章首先解析了迁移学习的有效性原理,指出不同卷积层提取的特征具有通用性。随后通过流程图对比了两种核心策略:冻结特征层(适合小数据集)和全模型微调(适合大数据集),并提供了对应的PyTorch实现代码。 在数据准备部分,重点规范了数据集目录结构,并详细说明了EfficientNet和ResNet的预处理差异。其中Effi 阅读详情

相关推荐

PyTorch实战:手把手教你用ResNet50实现图像分类(附预训练模型下载)

本文详细介绍了如何使用PyTorch框架实现ResNet50图像分类任务,包括环境准备、模型加载、数据预处理、推理预测和模型微调等实战步骤。通过残差网络(ResNet)的优异性能,即使是深度学习初学者也能快速上手。文章还提供了预训练模型下载和常见问题解决方案,帮助开发者高效完成计算机视觉项目。

github5actions的博客 1123

如何在Go中做迁移学习?5步用gotch预训练ResNet微调图像分类

对于想用 Go 语言做深度学习的开发者来说,**gotch** 是一个值得关注的选择:它是 PyTorch C++ API(libtorch)的 Go 绑定库,提供地道的 Go 接口来构建和训练神经网络,支持 CPU 与 GPU。本文以图像分类为场景,带你用 5 步完成迁移学习——加载预训练 ResNet18 权重、替换分类头、在新数据集上微调,最终得到可部署的分类模型。 ## 为什么用迁移学习

gitblog_01132的博客 945

小样本图像分类实战:基于ResNet的迁移学习与PyTorch微调指南

在计算机视觉领域,深度学习模型通常需要海量标注数据才能有效训练,以避免过拟合。迁移学习作为一种关键技术,通过复用在大规模数据集(如ImageNet)上预训练好的模型权重,将已学到的通用视觉特征(如边缘、纹理、形状)迁移到新的目标任务上。其核心原理是模型的前几层学习的是通用特征,仅需对最后几层(分类头)进行微调以适应特定类别。这项技术的核心价值在于,它能极大降低对目标领域数据量的需求,使开发者能用几百甚至几十张图片快速构建高性能分类模型,有效解决了小样本学习的难题。在应用场景上,迁移学习广泛应用于工业质检、医

weixin_30595035的博客 308

mac深度学习pytorch:ResNet50网络图像分类篇——花数据集图像分类(5类)保姆级详细过程及可视化

Mac下resnet模型的实现及详细代码说明

Blalaaa的博客 1639

ResNet18/34实战:从零搭建图像分类模型(附PyTorch代码)

本文详细介绍了如何使用PyTorch从零搭建ResNet18和ResNet34图像分类模型,包括环境准备、数据预处理、核心结构解析、完整模型搭建、训练技巧与优化策略。通过实战代码示例,帮助开发者掌握深度学习中的残差连接技术,提升图像分类任务的性能。

weixin_30342209的博客 560

使用buildroot系统的qmake编译QT出现Unknown module(s) in QT: xxxx 的错误解决方法

可以看到,我这里使用的是 qt5base-5.15.2 目录下的qmake,这个qmake只包含了基础的qt模块,而额外添加的qt模块没有包含进去,需要使用。可以看到我这里是有的,如果你跟我一样,模块存在,但是还是报找不到对应模块的错误的话,大概率是跟我一样,用错qmake了,看第二点。在包含 qt5base 目录下查看,是否有对应模块的目录,如果没有的话,需要通过make menuconfig 添加一下。目录下的qmake才可以。

T541132的博客 2491

ResNet18图像分类极简教程:3步搞定,1块钱体验

3步验证:选择镜像→运行代码→查看结果,最快5分钟完成技术验证成本极低:基础GPU实例1小时费用约1元,适合快速原型测试灵活适配:通过简单调整就能初步适配业务场景需求扩展性强:为后续可能的模型定制打下基础实测下来,ResNet18对常见物体的识别准确率能满足多数业务场景的初步需求。现在就可以上传你们的业务图片,快速验证技术可行性了!💡获取更多AI镜像想探索更多AI镜像和应用场景?访问优快云星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

QuartzLynx65的博客 882

OpenEvidence DeepConsult深度分析:技术架构、临床应用与行业影响

摘要:医疗AI平台OpenEvidence通过多智能体协作系统重构临床决策流程,解决了医学信息过载难题。其DeepConsult系统严格基于同行评审文献,5-10秒内提供循证决策支持,已覆盖40%美国医生,月咨询量达850万次。该平台采用"免费工具+广告变现"模式,通过调度、检索、摘要等模块化智能体分工,实现从文献分析到临床建议的闭环处理,在USMLE测试中准确率达90%。2025年获7500万美元融资后估值突破10亿美元,成为医疗AI领域的新范式。

AllenLV的博客 2561

ResNet18保姆级教程:没GPU也能跑,3步搞定图像分类

准备一个包含各类别图片的文件夹在WebUI中选择"自定义数据集"选项上传整个文件夹(建议每类至少10张图片)系统会自动进行迁移学习微调极简部署:选择预置镜像,一键完成环境搭建无需编码:全程可视化操作,像使用美图秀秀一样简单快速验证:单张图片3秒出结果,立即可视化评估灵活扩展:支持自定义数据集和批量测试现在就可以访问优快云星图镜像广场,找到ResNet18镜像开始你的AI验证之旅。实测下来,从零开始到获得第一个分类结果,最快只需不到5分钟。💡获取更多AI镜像。

ThunderstormFalcon78的博客 443

声音事件检测metric:PSDS

这项工作为多声道声音事件检测(SED)系统的性能评估定义了一个新的框架,它克服了传统的collar-based事件决定、事件F-cores和事件错误率的限制。拟议的框架引入了对事件检测的定义,该定义对标签的主观性更为稳健。它还采用了多声道接收器操作特性(ROC)曲线,以提供比F1分数更全面的系统性能洞察力,并建议将这些曲线简化为单一的多声道声音检测分数(PSDS),这允许系统独立于操作点(OPs)进行比较。所提出的方法还能更好地了解不同声音类别的数据偏差和分类稳定性。

Maestro_T的博客 2730

Response Instance 详解:在 ABAP OData Client Proxy 中读懂每一次响应

ABAP OData Client Proxy中的Response Instance是关键信息载体,封装了业务数据及调用上下文(如分页、delta link等)。响应实例在执行请求后自动生成,根据请求类型返回特定接口(如READ返回/IWBEP/IF_CP_RESPONSE_READ)。响应抽象与OData版本解耦,支持统一处理V2/V4服务。常见响应类型包括单实体读取、列表读取(支持分页和增量同步)、创建/更新/删除响应等。开发时可通过响应对象的安全类型方法获取数据,如get_business_data获

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 138

CNN迁移学习实战:使用ResNet50微调图像分类

基于PyTorch和预训练ResNet50,结合Docker镜像环境,实现小样本图像分类的高效微调。涵盖模型替换、数据加载、训练优化与部署要点,适合医疗、工业等场景快速落地。

weixin_35756637的博客 781

AUTOSAR从入门到精通-复杂设备驱动(CDD)

CDD是复杂设备驱动的首字母缩写主要为驱动程序或复杂驱动程序,但不限于驱动程序。复杂驱动程序是一种未被AUTOSAR标准化的软件实体,可以通过AUTOSAR接口和/或基本软件模块api访问。 CDD是位于基础软件复杂驱动层的特定模块,与标准BSW模块或Rte交互。 CDD可能需要与分层软件体系结构的模块连接 分层软件架构的模块可能需要连接到CDD CDD可能需要通过Rte连接swc。

getusushu的博客 4203

基于Pytorch TorchHub和RESNET的图像分类案例

此章节中通过一个具体案例详细介绍如何使用TorchHub,基于已经训练好的ResNet模型进行迁移学习分类任务。我们将学习这些模型背后的核心思想,并根据我们选择的任务对其进行微调。

破浪会有时的博客 785

【华为OD机试真题】459、小扇和小船的数字游戏、数字游戏 | 机试真题+思路参考+代码解析(CD卷)(C++、Java、Py)

### 🎃题目描述 >小扇和小船今天又玩起来了数字游戏,小船给小扇一个正整数 n(1  现在求 m 的最小值

KJ.JK 1720

RT-DERT安卓部署教程

这个文档中的代码案例,实现了拍照和选图识别,两个功能,可以看效果图。UI做了美化:显示类别机和数量。代码下载地址:通过网盘分享的文件:android_rtdert.zip链接: https://pan.baidu.com/s/1k6e-d_lov1OPgUmit5i_cA?pwd=hpfi 提取码: hpfi–来自百度网盘超级会员v8的分享。

AIOT魔法师 196

基于PyTorch与ResNet的迁移学习实战:小数据集图像分类指南

在深度学习领域,卷积神经网络(CNN)通过其层次化结构,能够从图像中自动学习从边缘、纹理到复杂语义的通用特征表示。这一原理使得模型在大规模数据集(如ImageNet)上预训练后,其底层特征提取能力具备高度的可迁移性。迁移学习正是利用这一特性,将预训练模型的知识迁移到新的、数据量有限的任务上,其核心价值在于能以极低的计算和数据成本,快速构建高性能模型,有效解决小数据场景下的过拟合问题。这一技术广泛应用于图像分类、目标检测等计算机视觉任务。本文以PyTorch框架和ResNet模型为例,通过一个具体的森林树木分

weixin_33966095的博客 568

23、电器元件符号及封装大全(2025版本)

总计28类电器元件符号和封装。

XU157303764的博客 2661

使用PyTorch执行特征提取和微调的迁移学习来进行图像分类

这篇博客将介绍如何使用PyTorch深度学习库执行图像分类的转移学习。 ① 通过特征提取执行迁移学习 ② 通过微调执行迁移学习 第①种方法通常更容易实现,在某些情况下效果很好。然而,它往往不如第二种方法准确。即模型的准确性和泛化能力都会受到影响。大多数形式的迁移学习都采用②微调。 通常建议使用特征提取方法来获得基线精度。如果准确度足以满足那就太棒了!然而,如果精度不够,那么应该进行微调,看看是否可以提高精度。 无论式通过特征提取还是微调的迁移学习,都会为你节省大量的时间和精力,而不是从头开始训练模型。

qq_40985985的博客 2250

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

ResNet18+CIFAR10实战:云端GPU 3步搞定,成本不到5块钱

极简部署:3步启动专业级GPU环境,无需配置CUDA等复杂依赖成本可控:完整实验不到5元,是网吧包夜费的1/10结果可靠:使用PyTorch官方实现,确保论文复现准确性灵活自由:随时启停,不占用实验室资源现在你就可以尝试这个方案,今晚就能交出实验报告。实测下来,从零开始到完成训练,总时间不超过3小时(包括环境准备和训练过程)。💡获取更多AI镜像想探索更多AI镜像和应用场景?访问优快云星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

MoonbeamFalcon67的博客 743

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

PyTorch 2.5迁移学习实战:ResNet微调部署详细步骤

本文介绍了如何在星图GPU平台上自动化部署PyTorch 2.5镜像,并利用其进行迁移学习实战。通过微调预训练的ResNet模型,用户可以快速构建自定义图像分类器,例如用于猫狗图片识别等场景,显著降低深度学习应用的门槛。

weixin_33068055的博客 322

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Pytorch下微调网络模型(迁移学习)进行图像分类

Pytorch下微调网络模型进行图像分类 利用ImageNet下的预训练权重采用迁移学习策略,能够实现模型快速训练,提高图像分类性能。下面以vgg和resnet网络模型为例,微调最后的分类层进行分类。 注意,微调只对分类层(也就是全连接层)的参数进行更新,前面的参数需要被冻结。 (1)微调VGG模型进行图像分类(以vgg16为例) import torch import torch.nn as nn import torchvision.models as models classes_num = 200

学无止境、积少成多、厚积薄发 1754

基于ResNet50和PyTorch的猫狗图像分类系统设计与实现

本文实现了一个基于ResNet50和PyTorch的猫狗分类系统,通过迁移学习微调预训练模型,并结合标准化与数据增强提升分类精度,最终在测试集上达到了90%以上的准确率。系统使用PySide6构建用户界面,支持模型训练、预测及结果可视化,并分析了迁移学习和数据预处理中的技术挑战,展望了未来优化与多任务分类的潜力。

Dev7z的博客 1158

ResNet-18 图像分类实战:从预训练权重到质检微调的完整路径

ResNet-18 是一个在 ImageNet-1k 上预训练好的轻量级残差网络,提供开箱即用的图像分类权重,safetensors、PyTorch、TF 三种格式齐全,整个模型仅 46MB。团队接新视觉任务时,最缺的往往是一个拿来就能跑、改改就能用的基座模型,这个仓库正好补上这块。读完本文,你会完成首次推理、看懂残差块的数据流,并拿到一份可直接套用的工业质检微调方案。 ## 三步跑通 ResN

gitblog_00077的博客 733

深度学习——基于 ResNet18 的图像分类训练

该类通过文本文件(如train2.txt)加载图片路径和标签。使用交叉熵损失函数处理多分类任务,优化器为Adam。模块作用特点ResNet18特征提取主干使用 ImageNet 预训练权重Dataset读取图片与标签支持 transform 自动增强DataLoader批量化输入shuffle 提升训练效果train()前向传播与反向传播更新梯度Test()模型评估计算平均损失与准确率学习率调整自动降低学习率防止过拟合。

2302_78022640的博客 1385

手把手教你用PyTorch实现花卉图像分类:特征提取+微调

本项目基于PyTorch实现花卉图像分类任务,重点演示迁移学习中的特征提取与微调技术。通过使用ResNet50预训练模型,项目详细展示了数据处理、模型配置、参数冻结/解冻、训练优化等完整流程。核心内容包括:1) 采用ImageNet标准化预处理和随机增强;2) 特征提取阶段冻结卷积层参数;3) 微调阶段解冻全参数优化;4) 使用ReduceLROnPlateau动态调整学习率。项目提供完整代码模版,支持自定义数据集,最终实现测试集准确率评估,为小样本视觉任务提供实用解决方案。

2401_87613140的博客 1386
上一篇: RocketMQ消息注解实战:用@RocketMQMessageListener实现订单超时取消功能
下一篇: MATLAB隐枚举法解谜:当整数规划遇上背包加密算法
糖果HTML
博客等级 码龄3年 76粉丝 1357原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值