cifar实例编译之model的生成

最新推荐文章于 2023-01-15 20:15:51 发布
最新推荐文章于 2023-01-15 20:15:51 发布
阅读量784 收藏
点赞数
分类专栏： Caffe-Windows
本教程详细介绍如何使用Caffe框架训练CIFAR-10数据集，包括数据准备、转换、计算均值、配置训练参数及模型微调等步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

转载自：http://blog.youkuaiyun.com/zb1165048017/article/details/51476516 

参考：<span style="font-family: Arial, Helvetica, sans-serif;">http://blog.youkuaiyun.com/chengzhongxuyou/article/details/50715455</span>

准备工作

按照之前的教程，成功生成过caffe，并且编译整个caffe.sln项目工程，在\caffe-master\Build\x64\Debug生成了一堆exe文件，后面会使用到除了caffe.exe的另外一个exe

【PS】很多VS安装过程中出现问题的，比如XX加载失败，XX未找到等，请自行寻找问题，很可能是原来的VS没卸载干净，或者VS版本缺少一些文件等导致。正常情况下，第一次编译只有libcaffe.lib显示失败，不会出现其它error

第一步

下载cifar的数据集

官网地址：http://www.cs.toronto.edu/~kriz/cifar.html

我的百度云地址：二进制数据文件链接：http://pan.baidu.com/s/1hrRApwC 密码：1dxy

.mat格式连接：链接：http://pan.baidu.com/s/1hr6B7Xa密码：f343

多一句嘴，这个数据集是彩色图片，也即具有RGB三通道，数据存储方式是一行为一张图片，包含3*32*32=3072个像素属性，具体多少张图片，有兴趣的可以去官网看看，或者看看数据集的存储格式：样本数(图片数)*3072

【与训练model无关】下面代码是用matlab写的，用于显示其中一个样本，当然你可以用reshape函数，前面我介绍过这个函数

[html] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. image=zeros(32,32,3);  
  2. count=0;  
  3. for i=1:3  
  4.     for j=1:32  
  5.         for k=1:32  
  6.             count=count+1;  
  7.            image(j,k,i)=data(1000,count);  
  8.         end  
  9.     end  
  10. end  
  11. imshow(uint8(image))  
image=zeros(32,32,3);
count=0;
for i=1:3
    for j=1:32
        for k=1:32
            count=count+1;
           image(j,k,i)=data(1000,count);
        end
    end
end
imshow(uint8(image))


第二步

下载完毕以后，解压得到数据，请核对是否与下图一样


按照下列路径，在自己的caffe目录下建立input_folder文件夹，并拷贝相应数据集


第三步

在input_folder的上一级目录，也就是Debug目录建立一个bat文件(名称随意，我用的是convert.bat)，用于转换数据集格式，内容如下

[plain] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. convert_cifar_data.exe  input_folder output_folders leveldb  
  2. pause  
convert_cifar_data.exe  input_folder output_folders leveldb
pause
【PS】此处的exe就是在编译caffe.sln时候生成的，如果没有，请在VS中修改生成模式为DEBUG，而非release



【PS】caffe-windows是caffe官方提供的caffe，与caffe-master差不多，我这里为了从头演示，没有在master里面操作，无视之即可

运行此bat文件，会生成一个文件夹output_folders，里面有两个文件夹，请核对路径以及文件数目





第四步

计算均值，新建另一个bat文件（本文采用mean.bat），如下图所示，请核对路径

[plain] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. compute_image_mean.exe output_folders/cifar10_train_leveldb mean.binaryproto  
  2.   
  3. pause  
compute_image_mean.exe output_folders/cifar10_train_leveldb mean.binaryproto

pause

双击此bat文件，不出意外会出现下面问题：

解决方法有两种

第一种：打开caffe.sln，修改compute_image_mean.cpp


重新生成一下，得到新的计算均值的exe文件【电脑编译中。。。等待ing。。。。】

第二种：感谢评论区 Liz_Huang的提示，直接在bat后面添加--backend=leveldb，同时也可以换成--backend=lmdb

编译完毕，重新运行bat文件，仔细检查debug文件夹，会发现有一个文件名为：mean.binaryproto

第五步

将debug文件夹下的mean.binaryproto以及output_folders下的两个文件夹拷贝到caffe-windows\examples\cifar10

在caffe-windows也就是caffe-master（根据版本自行决定）文件夹下新建一个bat文件，用于训练模型，本文使用train.bat

[html] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. .\Build\x64\Debug\caffe.exe train --solver=examples/cifar10/cifar10_quick_solver.prototxt  
  2. pause  
.\Build\x64\Debug\caffe.exe train --solver=examples/cifar10/cifar10_quick_solver.prototxt
pause
在运行之前需要修改几个文件,此处截图超过2M了，传不上来，读者自己核对路径以及CPU训练设置

cifar10_quick_solver.prototxt文件：

[html] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. # reduce the learning rate after 8 epochs (4000 iters) by a factor of 10  
  2.   
  3. # The train/test net protocol buffer definition  
  4. net: "examples/cifar10/cifar10_quick_train_test.prototxt"  
  5. # test_iter specifies how many forward passes the test should carry out.  
  6. # In the case of MNIST, we have test batch size 100 and 100 test iterations,  
  7. # covering the full 10,000 testing images.  
  8. test_iter: 100  
  9. # Carry out testing every 500 training iterations.  
  10. test_interval: 500  
  11. # The base learning rate, momentum and the weight decay of the network.  
  12. base_lr: 0.001  
  13. momentum: 0.9  
  14. weight_decay: 0.004  
  15. # The learning rate policy  
  16. lr_policy: "fixed"  
  17. # Display every 100 iterations  
  18. display: 100  
  19. # The maximum number of iterations  
  20. max_iter: 4000  
  21. # snapshot intermediate results  
  22. snapshot: 4000  
  23. snapshot_format: HDF5  
  24. snapshot_prefix: "examples/cifar10/cifar10_quick"  
  25. # solver mode: CPU or GPU  
  26. solver_mode: CPU  
# reduce the learning rate after 8 epochs (4000 iters) by a factor of 10

# The train/test net protocol buffer definition
net: "examples/cifar10/cifar10_quick_train_test.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.001
momentum: 0.9
weight_decay: 0.004
# The learning rate policy
lr_policy: "fixed"
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 4000
# snapshot intermediate results
snapshot: 4000
snapshot_format: HDF5
snapshot_prefix: "examples/cifar10/cifar10_quick"
# solver mode: CPU or GPU
solver_mode: CPU
——————————————————————————————————————————————————————————————————————————

cifar10_quick_train_test.prototxt文件【只贴前面一部分】，需要修改的就是数据格式为leveldb，以及相关路径，自行核对

[html] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. name: "CIFAR10_quick"  
  2. layer {  
  3.   name: "cifar"  
  4.   type: "Data"  
  5.   top: "data"  
  6.   top: "label"  
  7.   include {  
  8.     phase: TRAIN  
  9.   }  
  10.   transform_param {  
  11.     mean_file: "examples/cifar10/mean.binaryproto"  
  12.   }  
  13.   data_param {  
  14.     source: "examples/cifar10/cifar10_train_leveldb"  
  15.     batch_size: 100  
  16.     backend: LEVELDB  
  17.   }  
  18. }  
  19. layer {  
  20.   name: "cifar"  
  21.   type: "Data"  
  22.   top: "data"  
  23.   top: "label"  
  24.   include {  
  25.     phase: TEST  
  26.   }  
  27.   transform_param {  
  28.     mean_file: "examples/cifar10/mean.binaryproto"  
  29.   }  
  30.   data_param {  
  31.     source: "examples/cifar10/cifar10_test_leveldb"  
  32.     batch_size: 100  
  33.     backend: LEVELDB  
  34.   }  
  35. }  
name: "CIFAR10_quick"
layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    mean_file: "examples/cifar10/mean.binaryproto"
  }
  data_param {
    source: "examples/cifar10/cifar10_train_leveldb"
    batch_size: 100
    backend: LEVELDB
  }
}
layer {
  name: "cifar"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    mean_file: "examples/cifar10/mean.binaryproto"
  }
  data_param {
    source: "examples/cifar10/cifar10_test_leveldb"
    batch_size: 100
    backend: LEVELDB
  }
}
一定要核对正确，我好像在设置添加路径的时候多了一个空格，结果出现了下面问题


【PS】一定要细心

最后，运行train.bat时候出现如下界面，说明正在训练


是不是感觉和网上看到的不一样呢？网上都是各种iteration 和loss显示在命令窗口，但是这里出现了prefetch batch等。原因在于我们用的是debug模式下生成的caffe在训练，如果想看到如下情形的结果，请将caffe.sln使用release模式生成(用VS2013打卡caffe.sln以后，上方中间部分的dubug改为release，然后右键工程，重新生成)


第六步

训练完成，会得到如下文件


下面是我训练好的cifar10的model，读者可下载，可自行训练

cifar10_quick_iter_4000.caffemodel.h5的链接：http://pan.baidu.com/s/1o8xSqr4 密码：ftc5

cifar10_quick_iter_4000.solverstate.h5的链接：链接：http://pan.baidu.com/s/1eRGPlNs 密码：589n

第七步

附带说一下caffe train 的finetuning。我们在编译成功caffe以后显示的dos窗口显示的有一行是：

[cpp] view plain copy
print ? 在CODE上查看代码片 派生到我的代码片
  1. commands:  
  2. train  train or finetune a model  
commands:
train  train or finetune a model
只要是用caffe train -solver=xxxxxxx，那就是从头开始训练

凡是遇到caffe train -solver=xxxx  -weights=xxxxxx.caffemodel(.h5)，那就是用已有模型参数(权重偏置)去初始化网络，称为finetune

CIFAR 10 model 结构
qq_45991003的博客
06-09 1069
介绍CIFAR10 结构
DCGAN生成cifar10的图片
Devil_B的博客
03-21 1301
DCGAN（Deep Convolutional GAN）： DCGAN的贡献 提出了一类基于卷积神经网络的GANs，称为DCGAN，它在多数情况下训练是稳定的。 与其他非监督方法相比，DCGAN的discriminator提取到的图像特征更有效，更适合用于图像分类任务。 通过训练，DCGAN能学到有意义的 filters。 DCGAN的generator能够保持latentspace到image的“连续性”。 DCGAN model 实际上，DCGAN是一类GAN的简称，满足以下设计要求（这些要求更像
基础_cifar10_model
weixin_33845881的博客
04-18 247
今天进一步在cifar10数据集上解决几个问题：1、比较一下序贯和model,为什么要分成两块；2、同样的条件下，我去比较一下序贯和model。这个例子作为今天的晚间运行。1、比较一下序贯和model,为什么要分成两块；我认为比较能够说明问题的是前期那个验证码的modelinput_tensor = Input((height, width, 3))x = input_tensorfor i in...
CIFAR-10 model
XianxinMao的博客
03-02 618
# Import tflearn and some helpers import numpy as np import tflearn from tflearn.data_utils import shuffle, to_categorical from tflearn.layers.core import input_data, dropout, fully_connected from tfl...
ubuntu下使用C++生成cifar10二进制格式的数据
code_better的博客
11-22 3029
作者：石炜贤&曾翔钰注：本篇博客代码需要使用opencv，如果还没配置，可以参照这篇博客： http://blog.youkuaiyun.com/code_better/article/details/53287587学习了tensorflow后我们知道，tensorflow中训练卷积神经网络用的数据是cifar-10的bin版本的。可是我们手上有的只是一堆图片，那我们如何才能将其转化为这种格式的数据呢？在c
【学习笔记】【Pytorch】十一、搭建CIFAR-10 model结构和Sequential的使用
qq_45772756的博客
01-15 1103
搭建CIFAR-10 model结构和Sequential的使用
深度学习-CAFFE利用CIFAR10网络模型训练自己的图像数据获得模型-2生成图像库的均值文件
liuweizj12的博客
03-22 861
从caffe目录下examples/imagenet目录中将make_imagenet_mean.sh文件copy至自己所建立的文件目录， 如：testCreateLmDB，并修改相关路径。如下代码如下，一定要注意 目录路径，否则制作不成功。 #!/usr/bin/env sh # Compute the mean image from the imagenet training lmdb
使用Tensorboard 分析cifar10 model
NG7711
08-16 3499
背景 Tensorboard 是google推出了一个可视化分析TensorFlow graph 和 运行过程的工具: tensorboard on github cifar10 model 是google发布了一个简单的基于cifar10 data的的模型: model on the github Tensorboard 的关键概念和API summary Ops: Tensorboard需要数据
不服就GAN：GAN网络生成 cifar10 的图片实例（keras 详细实现步骤），GAN 的训练的各种技巧总结，GAN的注意事项和大坑汇总
qq_42902997的博客
12-31 4404
GAN 的调参技巧总结 生成器的最后一层不使用 sigmoid，使用 tanh 代替 使用噪声作为生成器的输入时，生成噪声的步骤使用 正态分布 的采样来产生，而不使用均匀分布 训练 discriminator 的时候，将 fake img 的标签设为 1，real img 的标签设成 0，这样更有利于其训练 在 generator 和 discriminator 设计的时候都使用 dropout 层来增加随机性；或者在 discriminator 的标签中 添加噪声 来提高随机性；因为随机
tensorflow学习之cifar_10模型评估
Stay fool & simple
07-15 1061
# -*- coding: utf-8 -*-import new_cifar10 import tensorflow as tf import time import datetime FLAGS=tf.app.flags.FLAGStf.app.flags.DEFINE_string('eval_dir','/tmp/cifar10_eval',"""Directory where to w
仿照CIFAR-10数据集格式，制作自己的数据集
weixin_34342207的博客
03-04 1139
本系列文章由 @yhl_leo 出品，转载请注明出处。 文章链接： http://blog.youkuaiyun.com/yhl_leo/article/details/50801226 前一篇博客：C/C++ 图像二进制存储与读取中，已经讲解了如何利用C/C++的方法存储与读取二进制图像文件，本文继续讲述如何根据CIFAR-10的格式制作自己的数据集。 所述博文与代...
第二个深度学习项目 使用condition GAN 训练cifar-10数据集
YYLin
01-28 4071
今天学习了加载cifar-10数据集，加上之前要做condition GAN， 发现暂时还没有使用tensorflow 用于训练cifar-10数据集的condition GAN， 所以就花了一晚上用自己的模型训练cifar-10数据集，等明天结果出来在公布代码 杂记：感觉condition GAN和其他GAN的特点 第一： 生成器的输入参数之后，不仅有图像信息 而且还包括图像的标签信息 第...
【caffe-Windows】cifar实例编译之model的使用
风翼冰舟的博客
05-23 1万+
本文讲解如何对网上下载的一个图片利用训练好的cifar模型进行分类 第一步 上一篇文章训练好以后会得到两个文件 从网上查阅资料解释来看，第一个caffemodel是训练完毕得到的模型参数文件，第二个solverstate是训练中断以后，可以用此文件从中断地方继续训练(具体使用方法目前尚未测试) 第二步 从网上随便下载一个图片，但是注意，最好是cifar里面包含的种类，当然也可以下
CIFAR-10模型训练python版cifar10数据集
一摩尔自由的博客
01-26 9572
在之前的博客中已经对CIFAR-10做了整体的解析，但是目前从tensorflow/models/tree/master/tutorials/image/cifar10中下载下来，运行cifar10_train.py后训练的是binary(适用于C语言)版的数据集。 那么想训练CIFAR-10 python version数据集该怎么修改代码呢？ 其实主要需要修改的部分是cifar10_inp
caffe实例编译之cifar10_quick模型的生成与使用(1)
Liz_Huang的博客
11-10 2051
caffe刚刚入门，嘻嘻，前几天才刚刚配置好，于是找来大神的博客，照着做点实验什么的。 本博客参考的是风翼冰舟的博客： http://blog.youkuaiyun.com/zb1165048017/article/details/51476516 前情提要 我按照网上各路教程安装配置好caffe，人间不易啊。 系统环境：Win7 + VS2013 + caffe + CPU only
手把手教你制作自己的CIFAR数据集（附项目源码）
@Guiliver浩东啊的博客
06-28 8774
从CIFAR数据集制作开始教你训练自己的分类模型 目录 参考CIFAR的格式制作自己的数据集 使用自己制作的数据集训练模型 ##参考CIFAR的格式制作自己的数据集 代码已经公开在本人的Github，记得给我留颗星星，下面是代码使用的详细教程 首先将所有图片按类别放在文件夹中，文件夹名为类别名。例如：存在20个类就分20个文件夹 将所有图片的路径提取到一个文件中，文件中每行包含图片路径和图片所属类别的索引（同时会生成图片类别和索引的对应关系） 运行 get_filename.py 文件，生
CIFAR10模型加载、保存及验证
sgfsfgs的博客
08-11 1235
前端时间写了使用pytorch训练了mnist数据集，今天写cifar10模型的训练整个过程步骤，同时对训练后的模型进行验证。
caffe学习（一）：CIFAR-10
热门推荐
爱吃鱼的猫
08-01 1万+
前段时间一直在弄tensorflow，现在实习公司项目需要对比tensorflow与caffe在图像分类上哪个更好，所以小编我现在只能先把tensorflow放一边，搞一搞caffe。 网上有很多这样的资源，可是大家写的都一样，运行起来还有好多没有写明白的，为了以后再用到，同时方便像我这样的新手学习，我将把我在caffe上运行CIFAR-10例子的过程尽可能的写的详细一点。 先简单介绍一下CI
【Keras-CNN】CIFAR-10
bryant_meng
07-23 1万+
参考 声明 CIFAR-10是由Alex Krizhevsky、Vinod Nair 与 Geoffrey Hinton 收集的一个用于图像识别的数据集，有10类，飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车。与MNIST相比，色彩、颜色噪点较多，同一类物体大小不一、角度不同、颜色不同。 参考 【1】CIFAR-10官网 声明 声明：代码源于《Te...
神经网络分类模型实战代码
最新发布
03-15
### TensorFlow/Keras 实战：神经网络分类模型 以下是使用 TensorFlow 和 Keras 构建一个简单的二分类问题的全连接神经网络 (FCNN) 模型的代码示例[^1]： ```python import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from sklearn.model_selection import train_test_split from sklearn.datasets import make_classification from sklearn.preprocessing import StandardScaler # 创建合成数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=42) # 数据预处理 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) # 构建模型 model = Sequential([ Dense(64, activation='relu', input_shape=(X_train.shape[1],)), Dropout(0.5), Dense(32, activation='relu'), Dropout(0.5), Dense(1, activation='sigmoid') ]) # 编译模型 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy']) # 训练模型 history = model.fit(X_train, y_train, epochs=20, batch_size=32, validation_data=(X_test, y_test)) # 测试模型性能 test_loss, test_accuracy = model.evaluate(X_test, y_test) print(f"Test Accuracy: {test_accuracy:.4f}") ``` 上述代码展示了如何利用 TensorFlow 和 Keras 来解决一个二分类问题。它包括了数据生成、标准化、模型定义、编译以及评估等多个环节。 --- ### PyTorch 实战：神经网络分类模型 下面是使用 PyTorch 构建相同任务的一个实现方法[^2]: ```python import torch import torch.nn as nn import torch.optim as optim from sklearn.model_selection import train_test_split from sklearn.datasets import make_classification from sklearn.preprocessing import StandardScaler # 创建合成数据集并转换为张量 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=42) scaler = StandardScaler() X_scaled = scaler.fit_transform(X) X_tensor = torch.tensor(X_scaled, dtype=torch.float32) y_tensor = torch.tensor(y.reshape(-1, 1), dtype=torch.float32) # 划分训练集和测试集 train_X, test_X, train_y, test_y = train_test_split(X_tensor, y_tensor, test_size=0.2, random_state=42) # 定义模型 class SimpleNet(nn.Module): def __init__(self): super(SimpleNet, self).__init__() self.fc1 = nn.Linear(20, 64) self.dropout1 = nn.Dropout(0.5) self.fc2 = nn.Linear(64, 32) self.dropout2 = nn.Dropout(0.5) self.output = nn.Linear(32, 1) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.dropout1(x) x = torch.relu(self.fc2(x)) x = self.dropout2(x) return torch.sigmoid(self.output(x)) model = SimpleNet() # 定义损失函数和优化器 criterion = nn.BCELoss() # 适用于二分类问题 optimizer = optim.Adam(model.parameters(), lr=0.001) # 训练模型 for epoch in range(20): # 设置迭代次数 optimizer.zero_grad() outputs = model(train_X) loss = criterion(outputs, train_y) loss.backward() optimizer.step() print(f'Epoch [{epoch+1}/20], Loss: {loss.item():.4f}') # 测试模型性能 with torch.no_grad(): predictions = model(test_X).round() accuracy = (predictions == test_y).float().mean() print(f'Test Accuracy: {accuracy.item():.4f}') ``` 这段代码实现了与前面相同的二分类任务，但采用了 PyTorch 的方式来完成模型的设计和训练过程。 --- ### 使用 Keras 进行图像分类的任务实例 下面是一个基于 CIFAR-10 数据集的卷积神经网络 (CNN) 图像分类任务的代码示例[^3]： ```python import tensorflow as tf from tensorflow.keras import datasets, layers, models # 加载 CIFAR-10 数据集 (train_images, train_labels), (test_images, test_labels) = datasets.cifar10.load_data() # 归一化像素值到 [0, 1] 范围 train_images, test_images = train_images / 255.0, test_images / 255.0 # 构建 CNN 模型 model = models.Sequential([ layers.Conv2D(32, (3, 3), activation='relu', input_shape=(32, 32, 3)), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activation='relu'), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activation='relu'), layers.Flatten(), layers.Dense(64, activation='relu'), layers.Dense(10, activation='softmax') # 输出层有 10 类 ]) # 编译模型 model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) # 训练模型 history = model.fit(train_images, train_labels, epochs=10, validation_data=(test_images, test_labels)) # 测试模型性能 test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2) print(f"Test Accuracy: {test_acc:.4f}") ``` 该代码展示了一个典型的卷积神经网络用于图像分类的应用场景。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值