tensorflow学习(二)——finetune预训练网络--以mobileNetV1为例

最新推荐文章于 2021-10-18 21:00:00 发布
最新推荐文章于 2021-10-18 21:00:00 发布
阅读量2.3k 收藏 5
点赞数
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34027339/article/details/90212281
版权
本文详细介绍了如何使用MobileNetV1进行图像分类任务的微调，包括数据准备、网络结构定义、预训练权重加载及梯度下降算法设置。通过实例展示了如何调整网络以适应新的分类任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、 流程

微调预训练的流程为

  • 准备数据
  • 定义网络结构，除了网络外，还可以根据需要定义梯度下降算法，准确度计算等。
  • 找到网络的定义，设置需要导入的变量(重要，因为fine-tune最后分类层如果数据类别数目不同的话是一定要改的)
  • 设置需要梯度下降更新的变量(即可以选择冻结前面特征提取层、只训练分类层)

二、 mobileNetV1预训练

  • 下载预训练的权重并解压
    网络结构
    权重
    这里我下载的是mobilenet_v1_0.25_224，解压后图如下：网络的ckpt名字为“mobilenet_v1_0.25_224.ckpt”,0.25指的是depth_multiplier的值，定义网络的时候要设置。
    在这里插入图片描述
  • 网络前向结构定义与导入变量设置
# 网络前向
with slim.arg_scope(mobilenet_v1_arg_scope(weight_decay=WEIGHT_DECAY)):
    # with tf.name_scope("net"):
    logits, _ = mobilenet_v1(images, num_classes=NUM_CLASS, is_training=is_training,
                             depth_multiplier=0.25,
                             dropout_keep_prob=KEEP_PROB)
    # 对于mobileNet来说要重新赋值depth_multiplier，这个数字模型名称有
# 读入网络
# 需要restore 的变量要定义在新加的图前面
# assert (os.path.isfile(MODEL_PATH))
variables_to_restore = slim.get_variables_to_restore(exclude=['MobilenetV1/Logits/Conv2d_1c_1x1'])  # 最后一层不要restore
init_fn = slim.assign_from_checkpoint_fn(MODEL_PATH, variables_to_restore)
  • 设置梯度下降算法，指定需要下降的变量
# 初始化没有导入的变量
   logits_variables1
最低0.47元/天 解锁文章
tensorflow下的finetune(微调包括冻结某些层,添加或修改一些层,选择性读取权重)(恢复网络图时手动写下所有代码来创建图)
weixin_42388228的博客
09-23 3596
参考：https://zhuanlan.zhihu.com/p/53814653 问题描述：网上搜到的csdn tensorflow的finetune的文章都不太容易令人理解，看了好几篇都无法在tensorflow下实现finetune；后来在bing上搜到了引用这篇参考网站的github上tensorflow finetune实现，非常的简洁易懂。 该篇文章在tensorflow下实现finet...
06-迁移学习：用基于 ImageNet 训练的权重的 MobileNet V2 模型进行猫狗分类
Serendipity_zyx的博客
05-18 5783
文章目录1. 数据预处理1.1 数据下载2. 从预训练卷积网络创建基础模型3. 特征提取3.1 冻结卷积基3.2 添加分类头3. 编译模型4. 训练模型5. 微调5.1 解冻模型的顶层5.2 编译模型5.3 继续训练模型6. 评估和预测7. 总结 迁移学习把之前学到的知识，应用到新的问题上，给出较好的解决方法。 本文的例子是基于模型的迁移，就是重新利用模型里的参数。该类方法在神经网络里面用的特别多，因为神经网络的结构可以直接进行迁移。比如大家熟知的 finetune 就是模型参数迁移的很好的体现。 关于迁移
TensorFlow——预训练网络
Digger的博客
11-18 731
预训练网络（迁移学习） 预训练网络是一个保存好之前已在大型数据集（大规模图像分类任务）上训练好的卷积神经网络。 原始数据集足够大且足够通用，预训练网络学到的特征空间层次结构可以作为有效的提取视觉世界特征的模型。 注： 即使新问题和新任务与原始任务完全不同，学习到的特征在不同问题之间是可以移植的，这也是深度学习与浅层学习方法的一个重要优势。它使得深度学习对于小数据问题非常的有效。 ImgaeNet ImageNet是一个手动标注好类别的图片数据库（为了机器视觉研究），目前已有2200个类别。 深度学习中Ima
tensorflow进行fine-tune
shahuzi的博客
07-31 1861
进行fine-tune的关键在于保存数据和重新读取数据，在tensorflow中有多种方法，下面介绍一种空间复杂度较低的方法。 首先，在训练阶段 saver = tf.train.Saver(var_list=tf.trainable_variables()) #只保存可训练变量 with tf.Session() as sess: sess.run(tf.global_variab...
tensorflow-finetune保存
shesheshebie的专栏
07-02 343
finetune主要采用此博客的方法： https://blog.youkuaiyun.com/Alienge/article/details/81012363 同时非常感谢该博主 最近需要做个例子，先训练，然后测试，再finetune，再测试。训练和finetune不说了， 就是那个博客的方法了。可是那个网络，太隆昌了。其实我是不太喜欢这么复杂的算法的，不过要求用，只好用这个。这造成了我的一点不自信，毕竟例...
Tensorflow模型保存、加载和Fine-tune(二)
赵凯月的博客
08-09 665
前言 尝试过迁移学习的同学们都知道，Tensorflow的模型保存加载有不同格式，使用方法也不一样，新手会觉得乱七八糟，所以本文做一个梳理。从模型的保存到加载，再到使用，力求理清这个流程。 1. 保存 Tensorflow的保存分为三种：1. checkpoint模式；2. pb模式；3. saved_model模式。 1.1 先假设有这么个模型 首先假定我们已经有了这样一个简单的线性回归网络结构： import tensorflow as tf size = 10 # 构建input X = tf.pla
详解 TensorFlow TFLite 移动端（安卓）部署物体检测 demo（3）——训练模型
Abandon_first的博客
06-30 2120
详解 TensorFlow TFLite 移动端（安卓）部署物体检测 demo（3）——替换数据集训练 ssd mobilenet v2
轻量级目标检测框架MobileNet-SSD在Caffe下实现的流程步骤
jsk_learner的博客
07-12 2762
本篇博客将涉及对Mobilenet-v1的简单介绍、Mobilenet-SSD的下载及文件说明、网络训练部分、网络测试部分、批归一化融合验证、finetune训练、DepthwiseConvolution即深度可分离卷积在caffe下的实现等内容。
使用 Tensorflow 2 进行自定义对象检测的一般方法
深度学习与计算机视觉
10-18 910
在本文中，将向你介绍如何使用 Tensorflow 2 训练你自己的自定义对象检测器。这不是进行特定类型检测的教程，而是我们可以用来检测任何东西的常用方法。要使用 Tensorflow 对...
tensorflow从与训练网络模型中fine-tune部分网络层参数
公独何人，心如止水。
03-28 4947
方法1： 1，开启tf的训练，有ckpt生成时停止，使用以下语句获得相关层变量的全称： var_names=tf.contrib.framework.list_variables("/Users/kylefan/hobotrl/log/AutoExposureDPGVGG/model.ckpt-0") 2，手工制作一个ckpt文件：挨个对上一步中的变量赋值，然后tf.saver….保存下...
mobilenet_v1_224.rar
03-06
本压缩包，包含了两个文件夹，分别是mobilenet_v1_0.75_224、mobilenet_v1_0.5_224。 其中包含了通过ncc 0.2.0编译过后的mobilenet_v1_0.75_224.kmodel、mobilenet_v1_0.5_224.kmodel
实验课程】MindSpore1.0:MobileNetV2网络实现微调（关键词：MobileNetV2、Fine Tune)
skytttttt9394的博客
07-26 1741
转载地址：https://bbs.huaweicloud.com/forum/thread-83710-1-1.html 作者：archimekai 使用MobileNetV2网络实现微调（Fine Tune） 实验介绍 本实验介绍使用MindSpore，在CPU环境下，mobileNetV2网络做微调训练与验证。 实验目的 掌握如何使用MindSpore进行微调实验开发。 理解微调方法的原理、方法。 了解如何使用MindSpore进行MobileNetV2网络训练与验.
tensorflow 实现模型微调finetune
qq_26535271的博客
08-13 3055
前端时间完成了一个分类模型的训练，在后期测试时发现分类模型存在一些场景或者角度无法准确分类。通常我们往往会决定对这些场景及角度数据进行补充然后重新训练模型。如果数据量较少，模型完成训练的时间则较少。倘若数据量十分庞大（如我这次训练的图片有600W+），那么完成模型训练时间则较长，总体会拖延项目进度。模型重新训练也不能完全保证新增的数据能达到较好的分类效果，此时可以使用微调的方法，可大大减少模型训练...
tensorflow finetune预训练模型方法
cu_is_me的博客
10-18 2028
背景： 训练好一个网络后，欲修改某个网络层的权值size或者结构，重新初始化该网络层，保留其他网络层参数，继续训练。   方法： 此处需要用到slim包中  slim.get_variables_to_restore  函数，由于slim包属于models模块，已在tensorflow1.0后被取消。因此需要重新下载：下载路径：https://github.com/tensorflow/m...
TensorFlow训练分类模型及Finetune实操
bemy1008的博客
05-27 3138
转自：https://blog.youkuaiyun.com/czp_374/article/details/81133641 写的太好了！！！ 这篇文章关注的重点是如何使用
使用JavaScript在浏览器中进行图像分类
cumian9828的博客
07-27 925
by Kevin Scott 凯文·斯科特(Kevin Scott) 使用JavaScript在浏览器中进行图像分类 (Image Classification in the Browser with JavaScript) Machine Learning has a reputation for demanding lots of data and powerful GPU computa...
绒毛动物探测器：通过TensorFlow.js中的迁移学习识别浏览器中的自定义对象
寒冰屋的专栏
12-27 890
下载TensorFlowJS-Examples-master.zip-6.1 MB TensorFlow+JavaScript。现在，最流行、最先进的AI框架支持地球上使用最广泛的编程语言，因此，让我们在我们的web浏览器中通过深度学习实现奇迹，通过TensorFlow.js的WebGL GPU加速！ 这是我们六个系列的第三篇文章： 使用TensorFlow.js在浏览器中进行深度学习入门 狗和披萨：使用TensorFlow.js在浏览器中实现计算机视觉 毛绒动物探测器：通过TensorF...
【tensorflow】在不同层上设置不同的学习率，fine-tuning
热门推荐
Shwan_ma的博客
12-23 1万+
最近一直在研究tensorflow的fine-tuning，TF关于fine-tuning这块的资料真的没有Caffe多。经过这几天的琢磨，差不多也明白了。感谢网上为数不多的开源资料。主要方法有如下两种：
tensorflow 选择性fine-tune（微调）
LEILEI18A的博客
05-06 5385
'''多种选择fine-tune部分权重的方法Multiple selection load weights for fine-tune注：slim的fine-tune 适用slim模块conv bn（尽量一致对应模块）第一种没有试验过：个人理解：可以不用管 不需要fine-tune的权重 直接tf.global_variables_initializer即可 （slim模块就是这样实验的）'''...
mobilenet-v3配置与使用
最新发布
03-19
### MobilenetV3 的配置方法及使用指南 #### 配置方法概述 MobilenetV3 是一种轻量级神经网络架构，广泛应用于移动端设备上的图像分类和其他视觉任务。其配置方式可以分为硬编码和外部文件两种形式[^4]。在 `mobilenetv3.pytorch` 项目中，大多数情况下，配置参数被直接写入到 Python 脚本中，例如 `train.py` 或者 `mobilenetv3.py` 中。 以下是常见的配置项及其作用： - **Batch Size**: 控制每次迭代处理的数据样本数量。 - **Learning Rate (LR)**: 学习率决定了模型权重更新的速度。 - **Model Save Path**: 定义训练过程中或完成后模型保存的位置。 这些参数可以通过修改脚本中的变量来调整，或者通过命令行参数动态传入。 --- #### 示例代码：基于 PyTorch 的 MobilenetV3 训练配置 以下是一个简单的示例代码，展示了如何加载 MobilenetV3 并进行基本的训练配置： ```python import torch from torchvision import datasets, transforms from mobilenetv3 import MobileNetV3_Small # 假设已导入相应模块 # 数据预处理 transform = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) dataset = datasets.ImageFolder('path_to_dataset', transform=transform) dataloader = torch.utils.data.DataLoader(dataset, batch_size=32, shuffle=True) # 加载模型并定义损失函数与优化器 model = MobileNetV3_Small(num_classes=1000) # 替换 num_classes 为你数据集的实际类别数 criterion = torch.nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # 开始训练 for epoch in range(10): # 设置训练轮次 model.train() running_loss = 0.0 for images, labels in dataloader: optimizer.zero_grad() # 清零梯度 outputs = model(images) # 前向传播 loss = criterion(outputs, labels) # 计算损失 loss.backward() # 反向传播 optimizer.step() # 更新权重 running_loss += loss.item() print(f'Epoch [{epoch+1}/10], Loss: {running_loss/len(dataloader)}') ``` 此代码片段演示了如何加载数据、初始化模型以及执行训练循环[^1]。 --- #### 如何优化模型以适应移动设备 为了使 MobilenetV3 更适合部署在 Android 设备上，可以参考 TensorFlow 提供的相关教程[^2]。尽管这里是针对 PyTorch 实现的 MobilenetV3，但通用原则仍然适用： 1. 将模型转换为 ONNX 格式以便跨平台兼容。 2. 利用工具链（如 TensorRT 或 Core ML）进一步压缩模型尺寸。 3. 测试性能指标以确保推理速度满足需求。 具体操作可查阅官方文档或其他社区资源获取更多细节。 --- #### 微调与预训练的区别 当提到 Transformer 类型的网络时，通常会涉及两个阶段——预训练(pretraining) 和微调(finetuning)[^3]。然而对于 CNN 架构而言，“finetune”一般指代的是利用已有大型公开数据集（比如 ImageNet）预先训练好的权重作为初始状态，再针对目标领域的小规模数据重新调整部分层参数的过程。这种方式能够显著减少计算成本同时提升泛化能力。 如果计划采用这种方法，则需注意下载对应版本的 checkpoint 文件，并正确指定加载路径。 ---
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值