caffe 的边训练边测试

深度学习入门(十)-----训练数据和测试数据 注意这里不是“特定的某个人写的特定的文字”,而是“任意一个人写的任意文字”。由于softmax函数的输出可以理解为概率,因此上例表示“0”的概率是0.1,“1”的概率是0.05,“2”的概率是0.6等。第二个例子中,正确解是“2”,神经网络的输出的最大值是“7”。如实验结果所示,我们发现第一个例子的损失函数的值更小,和监督数据之间的误差较小。如上式所示,均方误差会计算神经网络的输出和正确解监督数据的各个元素之差的平方,再求总和。这里,yk是表示神经网络的输出,tk表示监督数据,k表示数据的维数。 阅读详情

个人认为需要改以下两个地方:训练文件中增加测试层

                                                        在solver.prototxt中设定迭代多少次进行测试

train_val.prototxt

###### test layer, ignore_label

layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "score"
  bottom: "label"
  top: "accuracy"
  accuracy_param{ ignore_label: 255 }
  include {
    phase: TEST
  }
}



solver.prototxt
#################
net: "/home/Haichang_Li/study/caffe/models/lhc/train_val.prototxt"
##### we have test batch size 1, and 1449 test iterations.
test_iter: 1449
##### carry out testing every 50 training iterations. 
test_interval: 50
display: 10
average_loss: 10
lr_policy: "fixed"
# lr for unnormalized softmax -- see train_val definition
base_lr: 1e-4
# high momentum
momentum: 0.99
# no gradient accumulation
iter_size: 1
max_iter: 300000
weight_decay: 0.0005
snapshot: 10000
snapshot_prefix: "/home/Haichang_Li/study/caffe/models/lhc/train"
Tensorflow 一边训练一边验证(training and validation) 在使用tensorflow来训练一个模型的时候,有时候需要依靠验证集来判断模型是否已经过拟合,是否需要停止训练。 1.首先想到的是用tf.placeholder()载入不同的数据来进行计算,比如 def inference(input_): """ this is where you put your graph. the following is just an e... 阅读详情

相关推荐

caffe训练测试(用caffe训练自己的数据)

初试caffe训练,这里不是跑的caffe里自带的例子,是训练测试自己的数据集,欢迎指正~ps:这边就不介绍caffe的安装配置了,直接进入主题啦~ 1大量样本的准备 既然要做训练的话没有大量的图片样本是不行滴,这个阶段耗费很久的时间,说到这里要吐血了,三个人,对采集的视频中的每帧图片进行截图,不夸张的说总共截的图片大概有近百万张,当然啦还要对图片进行筛选不好的样本不要,否则会影响测试效果!我...

MaggieQuan的博客 8411

CNN_UCMerced-LandUse_Caffe_finetune

# CNN_UCMerced-LandUse_Caffe(数据:http://vision.ucmerced.edu/datasets/landuse.html) 主要任务:基于深度学习框架完成对光学遥感图像UCMerced LandUse数据集的分类。 数据特点:共包含21类土地类型图片,每类100张,每张像素大小为256*256,数据类内距离大,类间小。 完成情况:数据量太小,训练数据出现过拟合;为了克服这个问题,又减小训练时间,采用caffe框架,在别人训练好的bvlc_reference_caffenwt模型上进行fine-tune,对最后一层设置较大的学习速率,结果取得了93%的正确率;在这基础上又在fc7层上提取了每张图片的4096维特征,进行了SVM分类,取得了95%以上的分类正确率,并对结果做了可视化分析。 环境:ubuntu14.04 + caffe + python(数据划分和增强在用windows10的3.5,其余都是unbuntu下用的2.7) 程序(相关路径需要修改)/步骤: multi_divide_pic.py---多进程进行数据划分(cv2没装成功,建议用cv2,方便) multi_augmentation_pic.py---多进程数据增强 make_caffe_lmdb.py---生成caffe训练需要的数据路径文件,然后修改caffe配置文件 bvlc_reference_caffenet.caffemodel---caffe模型,在上面进行finetune(http://dl.caffe.berkeleyvision.org/?from=message&isappinstalled=1) binaryproto2npy.py---将caffe生成的均值文件转换成.npy格式 cnn_vision_caffe.py---对训练好的模型进行可视化分析 extract_features.py---获取每张图片在fc7层输出的4096维特征 svm_predict.py---使用svm对上述提取的特征进行训练预测 svm_vision.py---对svm模型进行可视化分析 tsne.py---对数据进行降维可视化

Caffe下自己的数据训练和测试

在caffe提供的例程当中,例如mnist与cifar10中,数据集的准备均是通过调用代码自己完成的,而对于ImageNet1000类的数据库,对于高校实验室而言,常常面临电脑内存不足的尴尬境地。而对于应用者而言,用适合于自己条件的的数据集在caffe下训练及测试才是更重要的。所以我们有必要自己做数据库以及在caffe上训练及测试。 1,数据准备 在data中新建文件夹myself,我们截取了I

qqlu_did的专栏 1万+

深度学习结构

1. 数据集 数据集涉及到训练集(train data)、验证集(validation data)和测试集(test data)。 利用训练集(train data)来训练出最好的网络权重,但怎么保证训练过程中参数的更新方向是有效的呢?于是用验证集(validation data)在训练的时候边训练边验证,相当于训练的时候是根据验证集的效果得到反馈,继而可以及时地往对的方向更新权重参数。 举个例子,网络模型就是需要拿着你给的一大堆数据在黑暗中摸索出一条可以到达数据对应标签的路径,怎么保证这个摸索过程是有效可

nebula1008的博客 1655

用caffe训练测试自己的图片

所有的操作是基于caffe的根目录/caffe-master/来操作的:数据准备我所用的图片是车牌识别中,0~9数字图片,在data下面新建一个number目录,用来存放训练图片(caffenumimg_train)与测试图片(caffenumimg_test),0~9分别有200张左右的训练图片和50张左右的测试图片转换成lmdb格式文件首先,在data/number/目录编写一个脚本create

苏的专栏 9848

Caffe编译 Mnist训练测试

Caffe编译进入目录/caffe-master/,输入下列命令编译整个caffe工程make clean make all 补充说明:很多添加编译选项,据说是为利用cpu的4个核并行编译加快编译效率,然而这里编译时报错所以就make all。其实make all 编译些什么可以看同目录下的Makefile文件。 补充说明:在make all 之前需要修改Makefile.config.exam

苏的专栏 9277

深度学习如何实现分步训练?

在许多深度学习任务中,特别是涉及多模态数据的任务(例如视频和关键点),通常采用阶段训练策略。初步,可以对每个模态单独训练一个编码器,然后在后续阶段将它们结合起来进行联合训练。为了在同一个框架内实现分步训练策略,可以先把各个模块集成到一个统一的模型结构,然后根据当前的任务选择性的激活或者冻结模型的某些部分。3.联合训练:将预训练好的模型进行联合训练,要确保参数都是可更新的。2.选择性激活、冻结。

weixin_45574604的博客 1065

caffe 训练测试自己的数据集

简单记录一下自己使用caffe的过程和遇到的一些问题。 下载caffe以及安装不详细叙述了, 可参照 http://caffe.berkeleyvision.org/installation.html。 下面准备数据集和训练的过程参照imagenet的过程:可参考  http://drubiano.github.io/2014/06/18/caffe-custom-data.html

sllin2012的专栏 5632

【MindSpore易点通】模型测试和验证

在测试中调用MindSpore已有的评估函数,需要定义一个dict,包含要使用的评估方式,并在定义model时传入,后续调用model.eval()会返回一个dict,内容即为metrics的指标和结果。本文的样例代码是一个Resnet50在Cifar10上训练的分类网络,采用datasets.Cifar10Dataset接口读取二进制版本的CIFAR-10数据集,因此下载CIFAR-10 binary version (suitable for C programs),并在代码中配置好数据路径。...

skytttttt9394的博客 1051

caffe学习笔记2-caffe命令行训练与测试

caffe学习记录

YiLiang 1万+

测试一个训练好的caffe模型

在学习caffe的过程中,训练了出了模型出来,出了当时的准确率和loss值,并没有看到给定输入看到真正的输出,这个时候需要测试一下训练出来的模型,实际查看一下效果,其中用到的配置文件和网络模型在caffe的目录下都有,自己测试自己的模型时需要修改为自己的*.prototxt和*.caffemodel#!/usr/bin/env python #coding=utf-8 #因为需要sudo权限,只能...

dyh02016的博客 4034

caffe--python版利用训练好模型进行测试

小鱼最近在caffe上用faster rcnn网络进行目标的检测,但是网络是先按设置好的训练迭代次数进行训练,得到训练模型之后进行一次性的测试(这里小鱼认为是验证更合理),最终网络得到的输出只有train net output的四个输出。下面为某次迭代的输出结果:I1224 13:55:23.250411 16953 solver.cpp:229] Iteration 20000, loss = 0

zllljf的博客 4560

深度学习Caffe实战(9)Windows 平台caffe用MATLAB接口实现训练网络和测试

上一篇介绍了网络协议中各个参数的作用,知道了各个参数的作用,想必应该可以尝试修改网络结构了。前几篇博客介绍的都是用命令行训练和测试网络,这篇博客介绍如何用MATLAB接口实现训练和测试网络,window平台下caffe使用者本来就少,这方面的资料更少了,下一篇博客介绍如何利用MATLAB提取特征和可视化feature map。话不多说,我们开始train1、MATLAB实现卷积神经网络训练 打开M

gybheroin的博客 9682

Caffe模型训练

这条信息说明Caffe正在将求解器的状态(包括学习率、动量等参数)保存到另一个二进制的协议缓冲文件中。编译期间会遇到非常多的问题,基本是依赖库没装,和opencv的版本可能有些关键字被舍弃了,需要更改。实际上是不能直接使用 --image=your_image.jpg来直接指定图片文件来进行识别。运行./data/example/mnist/get_mnist.sh会自动下载四个文件。运行./examples/mnist/train_lenet.sh开始模型训练。写个Python或者C++程序实现。

weixin_62505365的博客 2341

caffe:windows下训练模型

一、利用mnist训练集进行训练 (1) 将mnist数据集lmdb格式存储于examples\mnist目录下 (2) 计算出均值文件:mean.binaryproto 产生均值文件的方法是利用解决方案中的compute_image_mean.exe,位于目录\caffe-master\Build\x64\Release下。回到caffe-master根目录下创建一个mnist_mean....

qy724728631的博客 1697

Caffe简明教程5:训练你的第一个Caffe模型-MNIST分类器

您可以查看所有文章的索引:Caffe简明教程0:文章列表 如果你已经根据前面几篇文章成功地编译了Caffe,那么现在是时候训练你的第一个模型了。我准备借用Caffe官网的LeNet例子来写这篇文章,您也可以访问原始的文档:Training LeNet on MNIST with Caffe Caffe在编译完成之后,在caffe根目录下有个examples文件夹,里面包含了很多Caf

请叫我AXin 5631

【caffe】mnist数据集lenet训练与测试

本篇主要介绍mnist数据集格式的转换,并测试Caffe的训练和检测效果。

guduruyu的专栏 5158

caffe 下测试 MNIST数据

详细说明可参考网页:http://blog.youkuaiyun.com/wangchuansnnu/article/details/44341753                                   http://blog.sina.com.cn/s/blog_49ea41a20102w4uu.html

jiandanjinxin的专栏 7853
上一篇: opencv获得图像某点像素值等
下一篇: string to int
activeforcus
博客等级 码龄14年 16粉丝 61原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值