caffe 理清项目训练、测试流程

 理清项目训练、测试流程
一、要领介绍
    在caffe编译完后,在caffe目录下会生成一个build目录,在build目录下有个tools,这个里面有个可执行文件caffe。只需要学会调用这个可执行文件就可以了,这便是最简单的caffe学习,不需要对caffe底层的东西懂太多,只需要会调参数,就可以构建自己的网络,然后调用这个可执行文件就可以进行训练,当然如果你不仅仅是调参数,而且想要更改相关的算法,那就要深入学习caffe的底层函数调用了。

二、大体步骤
1、数据格式处理(.jpg,.png等图片以及标注标签) (lmdb格式 / leveldb格式)

    create_imagenet.sh(caffe/example/imagenet) : 这个文件可快速生成lmdb的数据格式,只需复制这个脚本文件出来,稍作修改,就可以对我们的训练图片、标注文件进行打包为lmdb格式文件了。

    ( 注意:自己对自己的图像数据进行数据处理要制作四个文件:train和val文件夹存放图像,train.txt和val.txt 图片名和标签 )

    按需修改:

# N.B. set the path to the imagenet train + val data dirs(路径修改)
set -e

EXAMPLE=examples/imagenet (# 生成模型训练数据文化夹)
DATA=data/ilsvrc12        (# python脚本处理后数据路径)
TOOLS=build/tools         (# caffe的工具库,不用变)


TRAIN_DATA_ROOT=train/     (#待处理的训练数据图片路径)(新建)
VAL_DATA_ROOT=val/         (#待处理的验证数据图片路径) (新建)


# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.(一般在网络中用了其他工具)
RESIZE=false             (使用:RESIZE=true   #图片缩放)
if $RESIZE; then
  RESIZE_HEIGHT=256
  RESIZE_WIDTH=256
else
  RESIZE_HEIGHT=0
  RESIZE_WIDTH=0
....
 $DATA/train.txt \     #标签训练数据文件  
 $DATA/val.txt \    #验证集标签数据  


2、编写网络结构文件(.prototxt (如lenet_train_test.prototxt))(网络有多少层,每一层有多少个特征图,输入、输出……)
    
    type: "Data"  :  定义的data层,定义(train/test)输入数据的路径、图片变换等

3、网络求解文件(solver.prototxt (lenet_solver.prototxt))(描述:求解网络,梯度下降参数、迭代次数等参数、CPU/GPU…)

     首句:<span style="font-size:18px;">net: "examples/mnist/lenet_train_test.prototxt"
     文件输入就是我们前面一步定义的网络结构的位置

4、编写网络求解文件后,要把(solver.prototxt)文件作为caffe的输入参数,调用caffe可执行文件,进行训练就可以了。
      开始训练的具体命令如下:
   1、  ./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt 
   2、  sudo sh ./build/tools/caffe train --solver=examples/mnist/train_lenet.sh
      (   
  #!/usr/bin/env sh
  set -e

           ./build/tools/caffe train --solver=examples/mnist/lenet_solver.prototxt $@


     (命令行讲解地址):
http://blog.youkuaiyun.com/qq_36620489/article/details/74853334
     
三、总结:   
    
    文件调用过程:首先caffe可执行文件,调用了solver.prototxt文件,而这个文件又调用了网络结构文件lenet_train_test.prototxt,然后lenet_train_test.prototxt文件里面又会调用输入的训练图片数据等。
    训练自己的模型,需要备好3个文件:数据文件lmdb(该文件包含寻数据)、网络结构lenet_train_test.prototxt、求解文件solver.prototxt,这几个文件名随便,但是文件后缀格式不要随便乱改。把这三个文件放在同一个目录下,然后在终端输入命令,调用caffe就可以开始训练了。  


四、具体操作细节

数据处理制作四个文件

1、文件夹train,用于存放训练图片

2、文件夹val,用于存放验证图片

3、文件train.txt,里面包含这每张图片的名称,及其对应的标签。


<span style="font-size:18px;">first_batch/train_female/992.jpg    1  
first_batch/train_female/993.jpg    1  
first_batch/train_female/994.jpg    1  
first_batch/train_female/995.jpg    1  
first_batch/train_female/996.jpg    1  
first_batch/train_female/997.jpg    1  
first_batch/train_female/998.jpg    1  
first_batch/train_female/999.jpg    1  
first_batch/train_male/1000.jpg 0  
first_batch/train_male/1001.jpg 0  
first_batch/train_male/1002.jpg 0  
first_batch/train_male/1003.jpg 0  
first_batch/train_male/1004.jpg 0  
first_batch/train_male/1005.jpg 0  
first_batch/train_male/1006.jpg 0  
first_batch/train_male/1007.jpg 0  
first_batch/train_male/1008.jpg 0</span>  
上面的标签编号:1,表示女。标签:0,表示男。


4、文件val.txt,同样这个文件也是保存图片名称及其对应的标签。

这四个文件在上面的脚本文件中,都需要调用到。制作玩后,跑一下 create_imagenet.sh脚本文件,就ok了,跑完后,即将生成下面两个文件夹: train_lmdb  /  val_lmdb
文件夹下面有两个对应的文件:  data.mdb  /  lock.mdb
(这文件和系统自带例子一样)

制作完后,要看看文件的大小,有没有问题,如果就几k,那么正常是没做好训练数据,除非你的训练图片就几张。


二、训练

1、直接训练法

#!/usr/bin/env sh  
TOOLS=../cafferead/build/tools  
$TOOLS/caffe train --solver=gender_solver.prorotxt  -gpu all  #加入 -gpu 选项  

    -gpu 可以选择gpu的id号,如果是 -gpu all表示启用所有的GPU进行训练。


2、采用funing-tuning 训练法

$TOOLS/caffe train --solver=gender_solver.prorotxt -weights gender_net.caffemodel #加入-weights  

     加入-weights,这个功能很好用,也经常会用到,因为现在的CNN相关的文献,很多都是在已有的模型基础上,进行fine-tuning,因为我们大部分人都缺少训练数据,不像谷歌、百度这些土豪公司,有很多人专门做数据标注,对于小公司而言,往往缺少标注好的训练数据。因此我们一般使用fine-tuning的方法,在少量数据的情况下,尽可能的提高精度。我们可以使用:-weights 选项,利用已有的模型训练好的参数,作为初始值,进行继续训练。


三、调用Python接口

    训练完毕后,我们就可以得到caffe的训练模型了,接着我们的目标就预测,看看结果了。caffe为我们提供了方便调用的python接口函数,这些都在模块pycaffe里面。因此我们还需要知道如何使用pycaffe,进行测试,查看结果。下面是pycaffe的预测调用使用示例:

# coding=utf-8  
import os  
import numpy as np  
from matplotlib import pyplot as plt  
import cv2  
import shutil  
import time  
  
#因为RGB和BGR需要调换一下才能显示  
def showimage(im):  
    if im.ndim == 3:  
        im = im[:, :, ::-1]  
    plt.set_cmap('jet')  
    plt.imshow(im)  
    plt.show()  
  
#特征可视化显示,padval用于调整亮度  
def vis_square(data, padsize=1, padval=0):  
    data -= data.min()  
    data /= data.max()  
  
    #因为我们要把某一层的特征图都显示到一个figure上,因此需要计算每个图片占用figure多少比例,以及绘制的位置  
    n = int(np.ceil(np.sqrt(data.shape[0])))  
    padding = ((0, n ** 2 - data.shape[0]), (0, padsize), (0, padsize)) + ((0, 0),) * (data.ndim - 3)  
    data = np.pad(data, padding, mode='constant', constant_values=(padval, padval))  
  
    # tile the filters into an image  
    data = data.reshape((n, n) + data.shape[1:]).transpose((0, 2, 1, 3) + tuple(range(4, data.ndim + 1)))  
    data = data.reshape((n * data.shape[1], n * data.shape[3]) + data.shape[4:])  
  
    showimage(data)  
  
  
#设置caffe源码所在的路径  
caffe_root = '../../../caffe/'  
import sys  
sys.path.insert(0, caffe_root + 'python')  
import caffe  
  
  
#加载均值文件  
mean_filename='./imagenet_mean.binaryproto'  
proto_data = open(mean_filename, "rb").read()  
a = caffe.io.caffe_pb2.BlobProto.FromString(proto_data)  
mean  = caffe.io.blobproto_to_array(a)[0]  
  
#创建网络,并加载已经训练好的模型文件  
gender_net_pretrained='./caffenet_train_iter_1500.caffemodel'  
gender_net_model_file='./deploy_gender.prototxt'  
gender_net = caffe.Classifier(gender_net_model_file, gender_net_pretrained,mean=mean,  
                       channel_swap=(2,1,0),#RGB通道与BGR  
                       raw_scale=255,#把图片归一化到0~1之间  
                       image_dims=(256, 256))#设置输入图片的大小  
  
#预测分类及其可特征视化  
gender_list=['Male','Female']  
input_image = caffe.io.load_image('1.jpg')#读取图片  
  
prediction_gender=gender_net.predict([input_image])#预测图片性别  
#打印我们训练每一层的参数形状  
print 'params:'  
for k, v in gender_net.params.items():  
    print 'weight:'  
    print (k, v[0].data.shape)#在每一层的参数blob中,caffe用vector存储了两个blob变量,用v[0]表示weight  
    print 'b:'  
    print (k, v[1].data.shape)#用v[1]表示偏置参数  
#conv1滤波器可视化  
filters = gender_net.params['conv1'][0].data  
vis_square(filters.transpose(0, 2, 3, 1))  
#conv2滤波器可视化  
'''''filters = gender_net.params['conv2'][0].data 
vis_square(filters[:48].reshape(48**2, 5, 5))'''  
#特征图  
print 'feature maps:'  
for k, v in gender_net.blobs.items():  
    print (k, v.data.shape);  
    feat = gender_net.blobs[k].data[0,0:4]#显示名字为k的网络层,第一张图片所生成的4张feature maps  
    vis_square(feat, padval=1)  
  
#显示原图片,以及分类预测结果  
str_gender=gender_list[prediction_gender[0].argmax()]  
print str_gender  
  
plt.imshow(input_image)  
plt.title(str_gender)  
plt.show()  

上面的接口,同时包含了pycaffe加载训练好的模型,进行预测及其特征可视化的调用方法。

参考博客:

http://blog.youkuaiyun.com/hjimce/article/details/48933813


以下是几种主流深度学习框架的功能介绍: 1.PyTorch • 动态计算图:PyTorch采用动态计算图,允许用户在运行时构建和修改计算图,这使得调试和开发更加灵活。 • 自动求导:提供了强大的自动微分机制,能够自动计算梯度,极大地简化了神经网络的训练过程。 • 易用性与灵活性:代码风格接近Python,简洁易懂,与Python数据科学栈(如NumPy)高度集成。 • 分布式训练与混合精度训练:支持多GPU和多节点的分布式训练,以及混合精度训练,可显著加速训练过程。 • 社区支持:拥有活跃的社区和丰富的资源,适合学术研究和工业级应用。 2.TensorFlow • 静态计算图:TensorFlow采用静态计算图,在训练前需要先构建完整的计算图,适合大规模分布式训练和生产级部署。 • TensorBoard可视化:提供了强大的可视化工具TensorBoard,可用于监控训练过程、分析模型性能。 • 丰富的API和工具:支持多种硬件加速,提供了从底层到高层的丰富API,满足不同层次用户的需求。 • 模型部署:通过TensorFlow Serving等工具,可以方便地将模型部署到生产环境中。 3.Keras • 高层API:Keras是一个高层神经网络API,运行在TensorFlow等框架之上,以简单易用、高度模块化著称。 • 快速构建模型:提供了Sequential和Functional API两种模型定义方式,适合快速构建和测试神经网络。 • 数据预处理:内置了多种数据预处理函数,如独热编码、序列填充等。 • 模型评估与调优:支持使用回调函数(如EarlyStopping和学习率调度器)来优化训练过程。 4.其他框架 • Caffe/Caffe2:主要用于计算机视觉任务,支持卷积神经网络(CNN),以高效的训练和推理速度著称。 • MXNet:支持灵活的模型定义和高效的分布式训练,适合大规模数据集。 • PaddlePaddle:百度开发的深度学习框架,支持多种硬件加速,提供了丰富的预训练模型和工具。 • Deeplearning4j:基于Java的深度学习框架,适合在Java生态中使用。 深度学习框架的通用功能 1. 数据预处理:大多数框架提供了数据加载、预处理(如归一化、标准化、数据增强等)的工具。 2. 模型定义:用户可以通过内置的层(如全连接层、卷积层等)快速搭建神经网络。 3. 训练与优化:支持多种优化算法(如SGD、Adam等),并提供自动求导功能。 4. 模型评估与部署:可以对模型进行评估,并通过工具将模型部署到生产环境中。 这些框架各有优势,选择时可以根据具体需求、开发习惯和项目规模来决定。以下是关于大模型搜索引擎和超级计算模板的相关信息: 大模型搜索引擎 1. 博查AI搜索 • 国内首个支持多模型的AI搜索引擎,集成了通义千问、字节云雀、月之暗面Kimi等多个顶尖AI大模型。 • 提供干净、无广告的搜索体验,支持实时信息获取和多模型切换,能够直接生成问题的答案,而非传统搜索引擎的链接列表。 • 其AI智能体深度回答功能(内测中)可提供更丰富、深入的搜索结果。 • 网址:[]()。 2. 秘塔AI搜索 • 能够深入理解用户问题,提供无广告、直达结果的搜索体验。 3. 卡奥斯智能交互引擎 • 专注于工业知识智能搜索和解决方案精准生成,融合智能检索、应用和多模态连续交互功能,以“大连接、大数据、大模型”为基础技术。 4. 360AI搜索 • 结合大模型与搜索技术,注重用户体验,通过多步推理和慢思考模式提高答案质量和准确性。 5. 知乎直答 • 利用知海图AI大模型处理内部文本数据,并整合其他网站文章,生成丰富参考答案。 6. 天工AI搜索 • 搭载天工大模型,提供智能、高效、快速的搜索体验,支持全网信息搜索、智能聚合,并可将结果整理为脑图和大纲。 7. Perplexica • 开源AI驱动搜索引擎,可使用Grok和OpenAI等模型本地运行,适用于学术研究、写作等场景。 8. MindSearch • 基于LLM的多代理框架,通过WebPlanner和WebSearcher模拟人类多步信息寻求和整合过程,能够从大规模网页中并行寻求和整合信息。 超级计算模板 • AI超级计算机 • 专为人工智能应用设计的高性能计算系统,能够处理和分析海量数据,支持复杂的机器学习和深度学习任务。 • 典型应用场景包括语言大模型、视觉大模型和多模态大模型的训练,广泛应用于自动驾驶、智能安防、医学影像等领域。 • 开源AI搜索引擎技术栈 • 一些开源AI搜索引擎(如OpenPerPlex、LangChain-SearXNG等)结合了多种技术,包括语义分块、搜索引擎集成(如SearXNG)、大模型(如Llama 3)和推理引擎(如Groq),为开发者提供了强大的技术框架。 这些工具和平台为大模型的应用和开发提供了丰富的支持,用户可以根据具体需求选择合适的搜索引擎或计算模板。在讨论如何通过编程实现更环保、低排放的生成式AI时,需要从多个方面来考虑“更好”的编程方式。这里的“更好”可以包括更高的效率、更低的能耗、更简洁的代码以及对环境影响的最小化。以下是一些具体的建议和方向: --- 1.选择合适的编程语言 不同的编程语言在性能、开发效率和资源消耗方面各有优劣。对于开发低能耗的AI应用,以下语言可能是较好的选择: Python • 优点: • 丰富的库和框架:Python是深度学习和AI领域的主流语言,拥有大量的开源库(如TensorFlow、PyTorch、Keras等),这些库经过优化,能够高效地利用硬件资源。 • 易读性和开发效率:Python语法简洁,易于理解和维护,适合快速开发和迭代。 • 社区支持:拥有庞大的开发者社区,遇到问题时更容易找到解决方案。 • 优化方向: • 使用高效的Python库(如NumPy、Pandas)进行数据处理。 • 利用JIT编译器(如Numba)加速Python代码的执行。 • 避免不必要的循环和复杂的数据结构,减少内存占用。 C++ • 优点: • 高性能:C++在执行效率上优于Python,尤其是在大规模数据处理和复杂计算任务中。 • 底层控制:能够直接操作硬件资源,适合对性能要求极高的场景。 • 优化方向: • 使用高效的算法和数据结构。 • 利用多线程和并行计算技术充分利用多核CPU。 • 结合CUDA等技术加速GPU计算。 Julia • 优点: • 高性能与易用性:Julia在性能上接近C++,同时语法简洁,类似于Python。 • 内置并行计算支持:Julia原生支持多线程和分布式计算,适合大规模并行任务。 • 优化方向: • 利用Julia的内置并行计算功能,减少计算时间。 • 使用预编译的包和库,避免运行时的性能开销。 --- 2.编程实践中的优化策略 无论选择哪种语言,以下编程实践都能帮助降低能耗和提高效率: 高效的数据处理 • 避免重复计算:缓存中间结果,避免重复执行相同的计算。 • 批量处理:将数据分批处理,减少I/O操作和内存占用。 • 数据压缩:在不影响模型性能的前提下,对数据进行压缩以减少存储和传输成本。 代码优化 • 减少不必要的循环和递归:优化算法复杂度,减少不必要的计算。 • 使用内置函数和库:内置函数通常经过优化,比自定义实现更高效。 • 内存管理:合理管理内存分配和释放,避免内存泄漏。 并行计算 • 多线程和多进程:利用多核CPU的计算能力,将任务分配到多个线程或进程中。 • GPU加速:对于深度学习任务,使用GPU加速可以显著减少计算时间和能耗。 • 分布式计算:对于大规模任务,可以使用分布式计算框架(如Apache Spark)将任务分配到多个节点上。 --- 3.开发环境和工具的选择 • 使用高效的IDE:选择支持代码优化、性能分析和调试的集成开发环境(如PyCharm、Visual Studio Code)。 • 性能分析工具:使用性能分析工具(如Python的cProfile、C++的gprof)来识别代码中的性能瓶颈。 • 代码审查:定期进行代码审查,优化算法和数据结构,减少冗余代码。 --- 4.环境友好型编程的额外建议 • 选择绿色云计算服务:使用采用可再生能源的数据中心,减少碳排放。 • 模型优化:选择更高效的模型架构,避免过度复杂的模型。例如,使用轻量级模型(如MobileNet)代替大型模型。 • 资源管理:合理规划硬件资源,避免过度配置。例如,根据任务需求动态调整GPU资源。 --- 总结 选择“更好”的编程语言和实践需要综合考虑任务需求、开发效率和环境影响。Python是目前AI领域的主流选择,适合快速开发和迭代;C++适合对性能要求极高的场景;Julia则在性能和易用性之间取得了很好的平衡。无论选择哪种语言,通过优化代码、利用并行计算和选择绿色计算资源,都可以显著降低生成式AI的碳排放,实现更环保的编程目标。
03-10
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值