学习 Linux 下使用 caffe 进行模型训练(一)

学习 Linux 下使用 caffe 进行模型训练(二) 前言 距离环境完成环境配置已经过去一个月了,这一个月内从整理数据、模型训练到最后结果分析,完成了一整个 yolo 识别的流程,因此把这个作为一个节点,来记录一下 caffe 模型训练过程,关于结果分析下一篇再细说~。 前期准备 一、网络选择 上一篇 学习 Linux 下使用 caffe 进行模型训练(一) 中,只是说明了对 caffe 源码的编译过程,由于 caffe 的特殊性,需要提前编译好你所... 阅读详情

前言

因为实习的缘故,要在 Linux 服务器上使用 caffe 进行深度学习的网络训练,所以近期开始学习 caffe 的相关内容。
作为一个菜鸟,之前好不容易完成了 Anaconda 的安装,这接下来的坎当然是配环境了嗯……经过两天的删删改改,终于算是配置完成了~第一次篇 Blog 就来记录一下这个坎坷的过程好了。

Linux 下 caffe 环境配置

因为是公司内部服务器(我没有 root 权限),所以即没有图形界面也不能方便的使用 apt-get 这种方便的命令,因此只能是通过 conda 进行安装或者下载源码自己进行编译。同时,由于 conda install 时会出现 “安装 package B 时,将之前安装的 package A 中的部分包的版本进行修改” 的问题,所以最终选择了自行下载源码并进行编译的方法。

一、依赖包源码打包下载

按照组内的文档,依次下载依赖包: ProtoBuffer、Boost、GFLAGS、GLOG、BLAS、HDF5、OpenCV、LMDB、LEVELDB、Snappy 包的源码(zip or tar.gz),然后新建一个文件夹 local_install 用于安装这些依赖包,方便后期用添加环境变量的方式直接调用它们。

二、依赖包源码编译

下面以 ProtoBuffer (protobuf-2.6.1.zip)为例,安装流程如下:

unzip protobuf-2.6.1.zip
cd protobuf-2.6.1
# 以下为 Linux 下的编译三连,这里不多做介绍了,怕理解不到位说错话……
./configure -prefix=/home/my/local_install
make
make install

这时,之间建立的空目录 local_install 下就会出现 bin、include 和 bin 三个目录,之后编译的结果也都会存入这三个目录下。同时 protoBuffer 比较特殊,后续的依赖包会需要它,因此安装后通过 export PATH=/home/my/local_install/bin/:$PATH 将其加入环境变量中。
当不同依赖包的编译有定的差别,下面将列一下(省略了解压缩步骤):

# 对于 Boost,其内部有用于编译的 shell 脚本,因此直接 gcc 编译后,运行生成
# 的 b2,之后将结果 cp 到之前的 local_install 中即可。
./bootstrap.sh --with-libraries=all --with-tooset=gcc
./b2
cp -r boost/ /home/my/local_install/include/
cp stage/lib/* /home/my/local_install/lib/
# GFLAGS 的安装用到了 cmake 来生产 Makefile
mkdir build; cd build/
cmake
ccmake 
# 在配置界面需要把 BUILD_SHARED_LIBS 设为 ON,把 CMAKE_INSTALL_PREFIX 设
# 为 /home/my/local_install/,之后保存并生成 Makefile
make
make install
# BLAS 安装的时 OpenBLAS,其内部已经有 Makefile了,因此 make 成功后将其再
# 安装到 /home/my/local_install 即可。
make
make PREFIX=/home/my/local_install install # 注意最后还有个 install 命令
# OpenCV 的安装 类似于 GFLAGS,但是需要提前查看好需要的版本,比如我所使用的服
# 务器 CUDA 版本为 9.0,只能使用 OpenCV 3。
mkdir build; cd build/
cmake
ccmake # 同理 CMAKE_INSTALL_PREFIX 设 为 /home/my/local_install/
make
make install

而 glog、HDF5 和 Snappy 都是 “./configure + make + make install ” 三连,参考 protoBuffer 的安装;LMDB、leveldb 中都以有 Makefile,make 之后执行 cp 操作即可(注意 .so 文件放入 /home/my/local_install/lib,.h 文件放入 /home/my/local_install/include)。

至此,依赖包的编译安装工作全部完成,通过 export 将其添加至环境变量,方便后续使用。

三、caffe 编译安装

下载并解压 caffe 的源码后,复制 Makefile.config.example 为 Makefile.config,然后对 Makefile.config 进行配置。
通过 vim Makefile.config 进入文件后,按照从上至下的顺序将修改内容列出。

USE_OPENCV := 1
USE_LMDB := 1
USE_HDF5 := 1
OPENCV_VERSION := *.*.*  # 按照自己安装的 OpencCV 版本
CUDA_DIR := /your/cuda/path
BLAS := open  # 因为使用的 OpenBLAS 的缘故,使用其他版本则进行对应修改
# 因为我之后的 python 操作全为 conda 下的虚拟环境,因此我的 Python 以来全部为 conda 下的路径
ANACONDA_HOME := /your/conda/path
PYTHON_INCLUDE := $(ANACONDA_HOME)/envs/py27/include \
				$(ANACONDA_HOME)/envs/py27/include/python2.7 \
				$(ANACONDA_HOME)/envs/py27/include/site-package/numpy/core/include
PYTHON_LIB := $(ANACONDA_HOME)/envs/py27/lib
# 下面的就是把之前 local_install 路径下的依赖包加进来就好了
INCLUDE_DIRS :=  /home/my/local_install/include /usr/local/include
LIBRARY_DIRS = /home/my/local_install/lib /usr/local/lib usr/lib

完成上述配置后,在 caffe 文件夹下执行 make,即可得到新目录 /build,如果 make 没有出错的话,则运行:

./build/tools/caffe

即可得到下图所示的 caffe 的使用说明,至此,caffe 的编译安装完成~
在这里插入图片描述

四、pycaffe 的编译安装

依然在 caffe 路径下,运行 make pycaffe 即可。
make 完成后,启动 python,输入

import caffe

如果报错 " no module named *** ",则通过 conda install 安装即可(或者 pip install),直至 import 后没有任何问题。

至此,caffe 的安装全部完成~★,°:.☆( ̄▽ ̄)/$:.°★ 。

五、后记

整个安装过程其实是很清晰的,但是需要细心,中途出过很多次错,主要原因有以下几点:

  1. 中英文字符出错。(“-” 打为 “-”)看起来完全一样可以说很坑了……
  2. 路径设置出错。因为仅 python 就安装了 4 个(系统内置 py2、3,conda 内置 3,我的虚拟环境中有 2),因此中间安装包、路径配置等出现混乱,后来完全统一为 conda 下的 python 则再没有出现过问题,希望自己以及看到这篇 Blog 的读者以后不要犯这种初级错误……
  3. 不善于阅读信息。以 boost 的安装为例,完成第一部后,屏幕上赫然写着 "Bootstrapping is done. To build, run ./b2 ",然后我一直没有执行这步 ./b2 导致后面频频报错……

希望后续的 caffe 学习可以顺利一些~

使用caffe中的imagenet对自己的图片进行分类训练(超级详细版) 因为自己在网络上查到的资料对于一个新手来说虽然指明了方向,但是在细节上没有给出很好的实例,因此我把自己训练的过程记录下来。 【实验环境】 物理内存:64G Free:7.5G  CPU个数:3,单个CPU物理核数:8 操作系统:Linux 备注:具有GPU运算能力 【实验目标】 使用自己的图片集,以及caffe框架,对imagenet进行训练,得到自己的model。 阅读详情

相关推荐

Caffe学习之训练mnist

此文介绍了Caffe的mnist数据集的训练步骤,希望对各位有用。

Daisy_HJL的博客 1074

服务器上Caffe安装及使用简介

一.caffe安装流程: 1、下载并安装依赖项。 2、将anaconda/cuda等路径加入你自己用户的bash信息: 执行vim ~/.bashrc. 修改如下: # User specific aliases and functions exportPATH=/usr/local/cuda/bin:/usr/bin/anaconda2/bin:$PATH export LD_LI

sinat_36234054的博客 2031

Linux下如何使用qt和anjuta来单步调试caffe的代码

转自 http://blog.youkuaiyun.com/xiaoyezi_1834/article/details/50724875 https://www.zhihu.com/question/27987666 ---------------------qt creator debug --------------------------------------

Focusing on your own Mind :) -> 站在巨人的肩膀上 1万+

conda 安装pycaffe问题解决

conda安装caffe

qq_43222384的博客 833

深度学习入门教程:使用Caffe在Linux上实现

我们通过安装Caffe、准备数据集、构建网络模型以及训练和测试模型的步骤,实现了一个简单的MNIST手写数字识别任务。Caffe是一个流行的深度学习框架,它提供了简单易用的接口和高效的计算速度。Caffe是一个流行的深度学习框架,它提供了简单易用的接口和高效的计算速度。我们通过安装Caffe、准备数据集、构建网络模型以及训练和测试模型的步骤,实现了一个简单的MNIST手写数字识别任务。在本教程中,我们将使用一个经典的数据集MNIST,该数据集包含手写数字的图像。你可以根据自己的需求修改和扩展网络模型。

GvCybersecurity的博客 304

Caffe基础介绍及在Linux上的应用

它是一个基于C++编写的开源项目,旨在提供高效的计算性能和灵活的模型定义。本文介绍了Caffe的基础知识,并提供了在Linux操作系统上安装和使用Caffe的详细步骤。定义模型:使用Caffe,您可以通过编写一个简单的文本文件来定义模型的结构和参数。这篇文章将介绍Caffe的基础知识,并探讨如何在Linux操作系统上使用Caffe。其中,"deploy.prototxt"是用于评估模型的部署文件,"weights.caffemodel"是训练过程中保存的模型参数文件。

IoqDelphi的博客 214

caffe模型训练与使用极简版(windows平台)

本文训练模型是在 windows 系统上完成的,在训练模型之前,需要在自己的设备上编译好 caffe 。windows 下编译 caffe 的教程:https://blog.youkuaiyun.com/apple_54470279/article/details/124993901为了避免不必要的错误,请在桌面上新建一个文件夹【项目文件夹】,用来存放本次训练的所有文件。建议大家把 caffe-windows 安装在 D盘 根目录,这样就不需要频繁更改路径!在项目文件夹中新建一个 文件夹用来保存数据源,准备好相应的图

apple_54470279的博客 1020

MIA文献阅读 —— 深度学习在医学图像分析中的最新进展及临床应用【2024】_再现性;深度学习

coderVAEVAEVAE) (Kingma威林,2014)在概率性的工作方式学习观测数据之间的映射空间x∈Rmx∈R^mx∈Rm 和潜在的空间z∈Rnmnz∈Rn(m>>n)。作为一个潜变量模型,VAEVAEVAE制定这个问题作为观察样品的最大化对数似logpxlog∫px∣zpzdzpx∣zp (x | z)p(x∣z)可以很容易地使用神经网络建模,和pzp (z)

2401_84181704的博客 1242

caffe安装步骤(Anaconda,Windows10环境下)

本文主要讲述了在Windows10环境下,在Anaconda中安装caffe的具体步骤;Anaconda的安装步骤可以查看此篇博客:用Anaconda安装TensorFlow(Windows10) caffe安装步骤 1.打开Anaconda Prompt 2.输入下面的命令,创建一个名称为caffe的python3.7环境 conda create -n caffe python=3.7 3.输入下面的命令,进入该环境: conda activate caffe 4.输入下面的命令,添加anaco

thy0000的博客 1万+

MATLAB小白也能搞定!BCT脑网络分析工具箱安装与入门指南

本文为零基础用户提供了一份详尽的BCT脑网络分析工具箱安装与入门指南。从MATLAB环境配置、BCT工具箱下载与路径添加,到连接矩阵构建、节点度与聚类系数等基础指标计算,手把手带领神经科学研究者跨越编程门槛,快速掌握脑影像数据分析的核心流程。

threejs5artist的博客 1092

通义万相Wan2.1模型Lora训练以及推理

使用DiffSynth-Studio进行通义万象Wan2.1的Lora训练和推理

qq_64858624的博客 4604

Linux下conda安装caffe(超简单),pb转caffe

最近碰到了需要将tf的pb格式转为caffe的prototxt格式的需求,参考了 keras/tensorflow1.x模型转换为caffe推理模型 - 知乎 发现除了安装mmdnn以外,还依赖caffe,因此记录一下caffe的安装 Anaconda的安装就不赘述了,直接开始conda安装: conda create -n caffe-py3.5 python=3.5 -c defaults ...

不啻逍遥然的博客 2490

Gazebo仿真UUV水下机器人:从环境搭建到避障算法实战

本文详细介绍了使用Gazebo仿真平台进行UUV水下机器人开发的全流程,涵盖从环境搭建、uuv_simulator配置、传感器集成到核心避障算法实战。通过搭建水下仿真实验室并实现基于激光雷达数据的反应式避障算法,为水下机器人算法验证与开发提供了高效、低成本的解决方案。

weixin_28840591的博客 263

学习 Linux 下使用 caffe 进行模型训练(三)

前言 不管是训练过程中,查看网络学习的状态,还是训练结束后,使用模型去执行特定任务,都需要一个可被观察的输出呈现在研究者面前,最好是可视化的图形而非冰冷的数字。因此,本次讲的是通过 caffe 自带的工具(scripts)进行日志的可视化分析与目标检测结果的输出。 前期准备 一、日志可视化 首先要保证之前训练时,在最后增加了 tee logDir/logName.log ,这样才能得到可供分析的日...

Lawllit_XH 的博客 565

从零开始学 AUTOSAR:深入浅出 SAE J1939 诊断通信管理器(J1939Dcm)深度完整版

SAE J1939 是美国汽车工程师学会制定的重型车辆 CAN 总线通信标准,覆盖卡车、客车、工程机械、农机、船舶等,是商用车领域的 “通用语言”。基于CAN 2.0B 扩展帧(29 位 ID)(车规主流)PGN(参数组号)+ SPN(可疑参数号)核心标准:J1939-21:数据链路层(CAN 帧格式、地址声明)J1939-71:应用层(普通信号、报文)诊断层(核心!J1939Dcm 依据)J1939-81:网络管理(地址管理、节点检测)

getusushu的博客 116

【光子AI / Photon.AI】manus 通用 Agent 的实现核心技术原理与应用

摘要 Manus是一款由国内团队开发的通用AI Agent,其核心技术原理基于多智能体协作架构、云端全能沙箱、规划-执行-反思循环等系统工程方法。与传统的对话式AI不同,Manus能够在独立的Linux虚拟机环境中自主规划并执行复杂任务,通过编写和运行代码来解决问题,具备强大的纠错能力和工具使用能力。 核心应用场景包括深度行业研究、自动化办公、生活助理、辅助编程和跨平台信息整合等。Manus的工程化落地优势体现在沙箱环境、多智能体调度和容错机制等方面,使其能够完成需要多步骤操作和多种工具调用的复杂任务,将A

AI天才研究院 667

Linux下使用Caffe自己制作数据、并训练手写数字识别模型(python版)

一:训练模型 第一步:下载MNIST数据集 在Linux的终端输入: wget http://deeplearning.net/data/mnist/mnist.pkl.gz 原版mnist数据集下载比较慢,所以使用这个bengio组封装好的数据包。   第二步:处理数据集(显示数据 - 图片) (1)使用python下载数据集并转换成图片 # encoding: utf-...

Pointer的博客 1615

C++幂运算全解析:std::pow()函数详解与实战指南

本文详细介绍了C++标准库中的std::pow()函数,包括其基本用法、数学定义和多种重载形式。重点分析了该函数在科学计算、图形处理等领域的实际应用,并提供了性能优化方案如快速幂算法和预计算表。文章还探讨了精度控制、错误处理等关键问题,最后通过一个完整计算器实现展示了综合应用。std::pow()作为基础数学函数,合理使用能显著提升计算效率和代码可靠性。

专注现代C++实战,从核心语法到高性能编程,助力开发者深入掌握系统级编程精髓。 340

Caffe安装

在Linux操作系统上搭建一个Caffe并运行

需要远程指导仿真实验、代码有问题的,请后台私信或者关注公众号 1092

企业如何开展BI建设--指标体系建设

很多企业的数字化转型工作都是从做BI项目开始的,很多企业认为,BI就是做指标大屏,所以做了很多的驾驶舱,也做了很多指标,有从系统取的,有手工填报的,甚至手工填报的比例占到了70%,最终BI沦为了填报系统,业务认为BI就是把从线下的微信沟通转到了线上录入展示,并没有给业务代来任何提升,久而久之,BI大屏就没人关心,公司高层也认为数据都是填报的,都经过了加工处理,这种数据不可信,不能反映业务开展的实际。其实在BI系统建设之前,我们首先要做的就是要梳理企业的指标,到底我们要展示哪些指标?

263

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

linux跑caffe模型的步骤,Caffe初步实践——使用训练好的模型完成语义分割任务

Caffe刚刚安装配置结束,乘热打铁!(一)环境准备前面我有两篇文章写到caffe的搭建,第一篇cpu only ,第二篇是在服务器上搭建的,其中第二篇因为硬件环境更佳我们的步骤稍显复杂。其实,第二篇也仅仅是caffe的初步搭建完成,还没有编译python接口,那么下面我们一起搞定吧!在这篇博文的结尾,我们再增加编译Python接口,而这部分内容请参考我的博文《 Ubuntu14.04搭建Caff...

weixin_35591736的博客 467

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

caffe+linux平台——跑深度学习的流程

大家好,放假在即,来整理一波在Linux上用caffe跑深度学习的流程,免得开学回来忘记。以下地址均为我自己电脑上的地址,大家要照着跑请自行修改地址哦!1.将训练和测试的图像放入examples-->images.训练图像放入train文件夹中,测试图像放入test文件夹中。2.在自己创建的examples-->mytest中,创建creat_filelist.sh来生成对应标签tra...

Miss_yuki的博客 1939

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Caffe学习笔记1:linux下建立自己的数据库训练和测试caffe中已有网络

本文旨在linux下建立自己的数据库,并在次基础上训练和测试caffe中已有网络。

葭宝的博客 3886

caffe学习笔记:mnist数据集的训练和测试

最近一直在研究linux下的caffe,记录下自己在学习过程的一些步骤。1、准备数据和训练1、准备数据,在caffe的根目录下依次执行以下2个命令:./data/mnist/get_mnist.sh ##获取mnist数据集 ./examples/mnist/create_mnist.sh ##创建lmdb或者而是levedb文件运行上面的2个指令后,在./examples/mnist文件夹下

JoliceYu的技术博客 2007

linux跑caffe模型的步骤,ubuntu下caffe环境搭建和使用流程

什么是Caffe?caffe(ConvolutionalArchitecture for Fast Feature Embedding)是由伯克利视觉和学习中心(BVLC)开发,基于C++/MATLAB/Python实现的卷积神经网络框架,作者贾杨清。它能完成的任务只是卷积神经网络,其他的神经网络RNN等,它是没有能力实现的。另外,caffe是主要用来做计算机视觉方向的。内部提供了一套基本的编程框...

weixin_34070493的博客 624

Darknet2Caffe 大概步骤

文章目录1训练模型2转换模型2.1安装Caffe2.2拓展 upsample 层2.3转换模型 1训练模型 我的模型训练是在 Linux 服务器上进行。因为我的笔记本没有 GPU。 使用 yolov3 训练模型网上有很多教程。大体上就是先标注数据再训练得到模型。 大家查一下就可以看到很多图文并茂的教程了。我就不重复了。 完事之后,你会得到如下2个文件: xxx.cfg xxx.weights 2转换模型 因为相机需要的是 WK 模型,而 WK 模型只能从 Caffe 模型转换得到。 所以我们先把 Dar

壹贰四六玖的博客 2972
上一篇: 关于在 Linux 服务器上配置 Anaconda
下一篇: 学习 Linux 下使用 caffe 进行模型训练(二)
Lawliet_xh
博客等级 码龄11年 2粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值