mobilenet-v2训练关键点检测模型：caffe.cpp:245] Multi-GPU execution not available - rebuild with USE_NCCL

最新推荐文章于 2024-09-12 07:51:01 发布
最新推荐文章于 2024-09-12 07:51:01 发布
阅读量557 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： pose estimation 工程实现 文章标签： 关键点检测 mobilenet-v2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhang_comeon/article/details/100044154

采用mobilenet-v2训练关键点检测模型，数据准备好后：
1.训练level1
sh train.sh
出现问题：
F0514 17:41:13.275457 13942 caffe.cpp:245] Multi-GPU execution not available - rebuild with USE_NCCL
解决方法：
（1）检查cuda和gcc版本（要求：cuda version>6.0，gcc 版本>=gcc 4.8）
cat /usr/local/cuda/version.txt
gcc -v
（2）安装nccl
步骤：
下载nccl:https://developer.nvidia.com/nccl
cd nccl-master
sudo make CUDA_HOME=/usr/local/cuda-8.0/ test #根据自己cuda路径修改CUDA_HOME
sudo make install
sudo ldconfig

2.修改caffe目录下的Makefile.config
把#USE_NCCL:=1 改为USE_NCCL:=1 #把前面的#注释掉

3.重新编译caffe
make all –j24
出现问题：
caffe.pb.h:12:2: error: #error This file was generated by a newer version of protoc which is…
错误原因：
系统内安装的多个版本protobuf选择问题，我的caffe编译时支持protobuf2.6.1版本，而Anaconda安装的protobuf版本为3.6.1，编译时默认选择了3.6.1版本
解决方法：
卸载protobuf3.6.1：conda uninstall libprotobuf
重新安装protobuf2.6.1
具体步骤可查看博客 （https://blog.youkuaiyun.com/zhang_comeon/article/details/100042512）

4.再次重新编译
成功！

计算机视觉人体骨骼点动作识别-1.训练自己的关键点检测模型
大李出奇迹的博客
05-27 7604
人体关键点检测算法 关键点并不特指人体骨骼关键点，还有人脸关键点，物体的关键点。其中人体的关键点，也叫作pose Estimation，是最热门，也是最有难度，应用最广的。 应用可以包括：行为识别，人机交互，智能家居，虚拟现实。 具体细分下来可以分为：单人/多人，2D/3D。 关键点检测算法，总体分为3类 方法1：基于坐标（coordinate） 方法2：基于概率图（heatmap） 方法3：基于heatmap和offset（偏移） 单人2D关键点检测算法 多人2D关键点检测算法 自上
caffe tool分析之----caffe.cpp
浪子荆的博客
08-03 277
#ifdef WITH_PYTHON_LAYER #include "boost/python.hpp" namespace bp = boost::python; #endif #include <gflags/gflags.h> #include <glog/logging.h> #include <cstring> #include <map&g...
【Caffe实践】基于Caffe的人脸关键点检测实现
热门推荐
1983的专栏
11-09 4万+
引言如果关注Kaggle 机器学习项目的同学，一定很熟悉人脸关键点检测这个任务，在2013 年的时候，ICML举办一个的challgene，现在放在kaggle 上作为 一种最常规kaggle入门任务而存在。本文的主要目的在于验证深度学习模型在人脸点检测效果，踩踩里面的坑。任务介绍人脸关键点检测，也称之为人脸点检测，是在一张已经被人脸检测器检测到的人脸图像中，再进一步检测出五官等关键点的二维坐标信息
mobilenetv2训练时，设置多gpu报错：multi-gpu execution not available - rebuild with USE_NCCL
山中有石为玉
03-04 601
mobilenetv2训练时，设置多gpu报错： 解决方法：https://blog.csdn.net/fengzhongluoleidehua/article/details/80797660 https://github.com/yonghenglh6/DepthwiseConvolution
【Caffe实践】基于Caffe的人脸检测实现
Leo的博客
01-07 7298
转载自： 【Caffe实践】基于Caffe的人脸检测实现 - 1983的专栏 - 博客频道 - 优快云.NET http://blog.csdn.net/chenriwei2/article/details/50321085 0. 引言 深度学习可以说是在人脸分析相关领域遍地开花，近年来在人脸识别，深度学习在人脸检测，人脸关键点检测中有很广泛的应用，这篇文章中，初步实
MobileNet 在caffe训练加速方法：多GPU：解决Multi-GPU execution not available - rebuild with USE_NCCL
山中有石为玉
03-07 1529
1、直接在如下训练指令后加：--gpu all或者 --gpu 0,1报错 ./build/tools/caffe train --solver=examples/myExample/0227_gpu/solver_2acc.prototxt 报错内容：Multi-GPU execution not available - rebuild with USE_NCCL 2、解决...
caffe函数入口caffe.cpp详解
xxmhnu的博客
05-13 1604
概览这篇博客解析caffe函数入口caffe.cpp，主要内容为caffe启动框架，基本不涉及深度学习的具体内容，内容十分基础，适合新手阅读。下面所有的代码解析都以训练lenet手写数字体识别为例，其运行参数为：caffe train --solver=examples/mnist/lenet_solver.prototxt $@main函数先把main函数贴上来int main(int argc...
caffe缺少NCCL库导致不能多GPU训练问题(改makefile版)
wudi_X的博客
04-19 3138
最近用caffe多GPU联调时遇到问题，如果正常用caffe的多gpu训练而不加初始化模型，末尾加--gpu=0,1，不会有问题；然而当用pretrained模型finetune网络时，如--weights=xxx.caffemodel，则会报如下错误： Multi-GPU execution not available - rebuild with USE_NCCL 提示nccl没有安装，于...
docker--cuda10.1-ubuntu18.04-opencv4.0-caffe
weixin_38665284的博客
03-26 3057
文章目录1 cuda镜像2 ubuntu18.04基础环境3 安装pythonPython3.64 opencv4.05 caffe 1 cuda镜像 # 查找docker源中的cuda镜像 docker search nvida/cuda # 此镜像默认是cuda10.0，os是ubuntu16.04 # 查询docker hub网站链接到https://gitlab.com/nvidia/c...
Caffe实践C++源码解读（1）：如何跑demo
aitazhixin的专栏
11-16 796
学习caffe第一步：如何使用caffe的demo训练或者预测
caffe_人脸关键点(5点)_src_vs2013
08-23
本源码是github上的一个开源的caffe人脸关键点定位，我按照作者的编译方法编译。然后整个打包，所以大家可以直接编译。环境必须是vs2013
使用NCCL进行多GPU训练(MULTI-GPU TRAINING WITH NCCL)
06-06
使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。 Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, targeting 10,000s in the near future. Aims at covering all communication needs for multi-GPU computing. Only relies on CUDA. No dependency on MPI or any parallel environment.
MobileNet-v2-caffe：用于caffe的MobileNet-v2实验网络描述
02-02
MobileNet-v2-caffe：用于caffe的MobileNet-v2实验网络描述
kaggle-面部关键点检测(二):模型训练及预测
Cleansely的博客
05-26 1051
目录前言训练代码预测代码 前言 上一环节预览并处理了数据,得到了训练要用的数据输入X,输出y,这里就利用一个简单的cnn网络进行训练及预测 训练 在这里尝试了用’ffill’填充和dropna两种的数据,利用这个小网络训练了120次,其结果均在2.4左右 代码 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3,
级联 MobileNet-V2 实现人脸关键点检测（附训练源码）
weixin_NineDays66
08-20 6627
  MobileNet-V2 是一个性能极佳的轻量化模型，可以采用较少的参数获得较好的性能；同时，级联的操作可达到从粗到精的关键点定位。 摘要：为了能在移动端进行实时的人脸关键点检测，本实验采用最新的轻量化模型——MobileNet-V2 作为基础模型，在 CelebA 数据上，进行两级的级联 MobileNet-V2 实现人脸关键点检测。首先，将 CelebA 数据作为第一级 MobileN...
探索视觉智能的新边界 —— 自定义关键点检测模型训练工具（基于PyTorch）
gitblog_00450的博客
09-12 519
探索视觉智能的新边界 —— 自定义关键点检测模型训练工具（基于PyTorch） 在机器视觉的浩瀚星空中，关键点检测犹如导航灯，指引着图像理解和交互技术的前行。今天，我们有幸向大家推介一款专为开发者打造的开源神器——自定义关键点检测模型训练工具，它基于强大的PyTorch框架，为您的AI之旅添上翅膀。 项目介绍 在这个项目中，开发者可以深入学习如何利用PyTorch这一灵活的深度学习平台来定制自己的...
DL-Practise / OpenSitUp 训练自己的数据集（关键点检测）
白马
06-06 1025
源码 一、下载code 建立虚拟环境：conda create -n AI python = 3.8.5 激活虚拟环境：activate AI 切换路径： e: cd E:\xxxxxxx\OpenSitUp-main\OpenSitUp-main\Trainer 修改train.py： 运行 ：python train.py 二、准备自己的数据集 切换到：E:\xxxxxxxx\OpenSitUp-main\OpenSitUp-main\LabelTool 安装一些库 pip install PyQt5
【待看】级联MobileNet-V2实现CelebA人脸关键点检测（附训练源码）
nyist_yangguang的博客
01-20 616
文章目录 一 、引言 1.1为什么是级联？ 1.2为什么是MobileNet-V2？ 二、 级联MobileNet-V2之人脸关键点检测 2.0 修改caffe 2.1 整体框架及思路 2.2 原始数据处理 0_raw_data 2.3 level_1训练 2.4 level_2训练 2.5 级联展示[ 3_demo ] 此博客详细介绍级联MobileNet-V2实现人脸关键点检测。 模型：MobileNet-V2 数据：CelebA( http://mmlab.ie.cuhk.edu.hk/pr...
基于 Tensorflow 2.x 从零训练 15 点人脸关键点检测模型
小毕超博客
01-08 2076
标签 ，是表示着图像上真实关键点的坐标，直接让模型回归真实点的话，浮动会有点大，因此这里将真实点转为相对于图像的比例点，也就是直接除于图像的大小，得到一个相对点的位置，相对点的位置都在。年中国科学院深圳研究院提出的用于人脸检测任务的多任务神经网络模型，该模型采用了三个级联的网络，还采用候选框加分类器的思想，进行快速高效的人脸检测。上面提到实际训练的数据集并不多，因此有必要通过数据增强扩充数据，数据增强这里就做一个随机对比度的改变，这样不会影响关键点的位置，增强部分放在模型的。
安装gpu-brun报错gpu_burn-drv.cpp:63:10: fatal error: cublas_v2.h: No such file or dtrectary
最新发布
07-25
<think>我们正在帮助用户解决安装gpu-burn时遇到的编译错误，错误提示是找不到cublas_v2.h文件。这个文件是CUDA开发工具包的一部分，因此问题通常与CUDA的安装或配置有关。根据引用内容，我们可以总结出几种可能的解决方法： 1. **确保已安装CUDA Toolkit**：cublas_v2.h是CUDA Toolkit的一部分，因此首先需要确认系统上已经正确安装了CUDA Toolkit。可以通过运行`nvcc --version`来检查CUDA是否安装以及版本信息。 2. **检查CUDA头文件路径**：如果CUDA已经安装，但编译器仍然找不到头文件，可能是因为CUDA的头文件路径没有包含在编译器的搜索路径中。通常，CUDA的头文件位于`/usr/local/cuda/include`。在编译gpu-burn时，可以通过设置`CPATH`环境变量或使用编译选项`-I`来指定头文件路径。例如，在Makefile中添加： ``` CFLAGS += -I/usr/local/cuda/include ``` 3. **安装特定版本的libcurand-dev**：引用[2]中提到安装`libcurand-dev-11-0`（根据CUDA版本选择合适的版本）。这个库是CUDA的随机数库，但同时也可能包含其他必要的头文件和库。因此，可以尝试安装对应版本的开发包： ```bash sudo apt-get install libcurand-dev-11-0 ``` 注意：这里的版本号（11.0）需要根据你的CUDA版本进行调整。例如，CUDA 11.0对应11-0，CUDA 10.1对应10-1等。 4. **检查CPU_ONLY模式**：引用[1]中提到，在编译Caffe时，如果虚拟机无法使用CUDA，可以通过启用CPU_ONLY模式来避免使用CUDA相关功能。但是，对于gpu-burn，它是一个GPU压力测试工具，显然需要GPU支持，因此不能使用CPU_ONLY模式。所以，我们需要确保CUDA配置正确，而不是禁用GPU支持。 5. **检查cuDNN安装**：引用[3]中提到了cuDNN的安装，但gpu-burn可能并不直接依赖cuDNN。不过，如果cuDNN安装不正确，有时也会影响其他CUDA程序的编译。确保cuDNN正确安装，并且其头文件路径（通常在`/usr/local/cuda/include`）已经被包含。 6. **修改Makefile**：参考引用[4]中的方法，虽然它是针对Caffe的，但思路类似。我们可以检查gpu-burn的Makefile，确保其中正确设置了CUDA的库路径和头文件路径。可能需要手动修改Makefile，添加类似以下内容： ``` INCPATH += -I/usr/local/cuda/include LIBPATH += -L/usr/local/cuda/lib64 ``` 并确保链接时包含了cublas库，例如： ``` LIBS = -lcublas -lcudart ``` 7. **环境变量设置**：确保`LD_LIBRARY_PATH`环境变量包含了CUDA库的路径，例如： ```bash export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH ``` 并在编译前设置好。 **具体解决步骤建议：** 1. **确认CUDA安装**： ```bash nvcc --version ``` 如果未安装，需要先安装与显卡驱动兼容的CUDA版本。 2. **安装libcurand-dev**（根据CUDA版本）： ```bash # 以CUDA 11.0为例 sudo apt-get install libcurand-dev-11-0 ``` 3. **修改gpu-burn的Makefile**： 打开gpu-burn目录下的Makefile，在编译选项中加入CUDA头文件路径和库路径。例如： ```makefile CFLAGS = -O3 -I/usr/local/cuda/include LDFLAGS = -L/usr/local/cuda/lib64 -lcudart -lcublas ``` 注意：根据系统架构（64位或32位），库路径可能是`/usr/local/cuda/lib64`或`/usr/local/cuda/lib`。 4. **尝试编译**： ```bash make ``` 5. **如果仍然失败**，检查具体的错误信息，并确保没有其他依赖缺失。 **注意**：如果是在虚拟机中，由于虚拟机通常无法直接访问物理GPU（除非使用PCI直通等），可能无法使用CUDA。这种情况下，安装gpu-burn没有意义，因为无法使用GPU。 如果用户是在物理机上安装，请确保已经正确安装了NVIDIA驱动和CUDA Toolkit。 根据引用内容，我们提供了以上解决方案。请用户根据实际情况选择合适的方法。</think>### 解决 gpu-burn 编译错误：`fatal error: cublas_v2.h: No such file or directory` 此错误表明编译时找不到 CUDA 的核心头文件，以下是系统化的解决方案： --- #### 1. **确认 CUDA Toolkit 安装状态** ```bash # 检查 CUDA 版本 nvcc --version ``` - 若未安装：[下载 CUDA Toolkit](https://developer.nvidia.com/cuda-toolkit-archive) 并选择与驱动兼容的版本 - 若已安装：验证头文件路径是否存在 ```bash ls /usr/local/cuda/include/cublas_v2.h ``` --- #### 2. **安装缺失的 CUDA 开发库**（关键步骤） 根据 CUDA 版本安装对应开发包： ```bash # 示例：CUDA 11.0 sudo apt-get install cuda-toolkit-11-0 libcublas-dev-11-0 ``` > 📌 注意：版本号（如 `11-0`）必须与 `nvcc --version` 输出完全匹配[^2] --- #### 3. **配置编译器包含路径** 在 gpu-burn 的 Makefile 中添加 CUDA 头文件路径： ```makefile # 在 CFLAGS 行添加包含路径 CFLAGS = ... -I/usr/local/cuda/include ``` ```bash # 验证路径有效性 echo "/usr/local/cuda/include" | xargs ls -d ``` --- #### 4. **链接 CUDA 运行时库** 在 Makefile 中确保链接 CUDA 库： ```makefile # 在 LDFLAGS 行添加库路径和依赖 LDFLAGS = ... -L/usr/local/cuda/lib64 -lcudart -lcublas ``` --- #### 5. **环境变量配置** ```bash # 临时生效（推荐测试用） export CPATH=/usr/local/cuda/include:$CPATH export LIBRARY_PATH=/usr/local/cuda/lib64:$LIBRARY_PATH # 永久生效（写入 ~/.bashrc） echo 'export CPATH=/usr/local/cuda/include:$CPATH' >> ~/.bashrc echo 'export LIBRARY_PATH=/usr/local/cuda/lib64:$LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc ``` --- #### 6. **虚拟机特殊处理** 若在虚拟机中运行： - 确认已启用 GPU 直通（PCI Passthrough） - 或强制使用 CPU 模式（不推荐，丧失 GPU 测试功能）： ```bash # 修改 Makefile 添加宏定义 CFLAGS += -DCPU_ONLY ``` --- ### 验证修复 重新编译并检查： ```bash cd gpu-burn make clean && make ./gpu_burn 60 # 测试运行60秒 ``` > ⚠️ **常见陷阱** > - CUDA 版本与 NVIDIA 驱动不兼容：使用 `nvidia-smi` 检查驱动支持的最高 CUDA 版本 > - 多版本 CUDA 冲突：通过 `/usr/local/cuda` 软链接切换版本 > - 文件权限问题：`sudo chmod -R a+r /usr/local/cuda/include` --- ### 故障排除流程图 ```mermaid graph TD A[编译报错 cublas_v2.h] --> B{检查CUDA安装} B -->|未安装| C[安装匹配版本的CUDA Toolkit] B -->|已安装| D{检查头文件路径} D -->|路径缺失| E[修复环境变量 CPATH/LIBRARY_PATH] D -->|路径存在| F[检查Makefile包含路径] F --> G[添加 -I/usr/local/cuda/include] G --> H[添加 -L/usr/local/cuda/lib64] H --> I[重新编译] I --> J{成功？} J -->|否| K[检查CUDA与驱动兼容性] K --> L[更新NVIDIA驱动] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值