Docker import caffe error

最新推荐文章于 2022-08-30 01:15:41 发布
原创 最新推荐文章于 2022-08-30 01:15:41 发布 · 417 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#docker #caffe

本文介绍了在Docker环境中遇到的Caffe导入错误及其解决方案，通过创建软链接来解决libdc1394初始化失败的问题。此外，还解决了在执行create_mnist.sh脚本时找不到convert_mnist_data.bin的错误，指出应从Caffe的根目录下执行相关命令。
部署运行你感兴趣的模型镜像

1,Docker import caffe error

 

root@bbe8ae8476a4:/workspace# python

Python 2.7.6 (default, Jun 22 2015, 17:58:13)

[GCC 4.8.2] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> import caffe

libdc1394 error: Failed to initialize libdc1394

/usr/local/lib/python2.7/dist-packages/matplotlib/font_manager.py:273: UserWarning: Matplotlib is building the font cache using fc-list. This may take a moment.

  warnings.warn('Matplotlib is building the font cache using fc-list. This may take a moment.')

 

解决办法：大体意思是没有USB,执行如下命令可以解决

ln -s /dev/null /dev/raw1394

2,

可能会遇到./create_mnist.sh: 17: ./create_mnist.sh: build/examples/mnist/convert_mnist_data.bin: not found这样的错误，这是因为新版caffe都需要从根目录上执行，这里我们是从mnist目录下来执行的，所以我们需要先执行：

cd ~/caffe/

1

进入根目录，然后执行命令：

./examples/mnist/train_lenet.sh

 

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

在docker中使用ros_openpose
weixin_43370319的博客
07-20 1350
由于之前拉取的openpose的镜像是ubuntu16.04，不是我想要的版本，现在手动创建容器，安装openpose并在ros环境中使用openpose在docker中使用ros_openpose的基本步骤：1.拉取一个ubuntu镜像，并安装ros2.在镜像中安装好openpose的依赖，CUDA和cuDNN，opencv等等3.安装openpose4.拉取ros_openpose代码。
docker--cuda10.1-ubuntu18.04-opencv4.0-caffe
weixin_38665284的博客
03-26 3079
文章目录1 cuda镜像2 ubuntu18.04基础环境3 安装pythonPython3.64 opencv4.05 caffe 1 cuda镜像 # 查找docker源中的cuda镜像 docker search nvida/cuda # 此镜像默认是cuda10.0，os是ubuntu16.04 # 查询docker hub网站链接到https://gitlab.com/nvidia/c...
docker容器运行caffe失败
qq_17693195的博客
06-28 291
docker容器运行caffe失败只需要重新编译并安装caffe就能成功运行了
caffe 安装 无法import caffe
qq_15505637的博客
07-03 1967
按照下面的步骤进行就好了，一般原因是，一些库的版本不匹配，如numpysudo apt-get install python-numpy python-scipy python-matplotlib python-sklearn python-skimage python-h5py python-protobuf python-leveldb python-networkx python-nos...
libdc1394 error: Failed to initialize libdc1394
Steven的博客
12-29 6660
解决c报错：libdc1394 error: Failed to initialize libdc1394 大体意思是没有USB,执行如下命令可以解决 ln -s /dev/null /dev/raw1394
docker-caffe环境配置问题记录（包括训练模型步骤中出现的错误）总结一
jane_6091的博客
02-26 524
problem1： /usr/bin/ld: cannot find -lopencv_imgcodecs /usr/bin/ld: cannot find -lopencv_videoio collect2: error: ld returned 1 exit status Makefile:568: recipe for target '.build_release/lib/libcaffe...
Docker 快速安装caffe步骤
12-21
1.打开 2.解压 3.将这个压缩包传到linux里面 （我的环境如下： 我在win7虚拟机里面装的linux，用xshell用具链接linux，xftp实现win7和linux文件的传输。 3 可以使用 docker import 从容器快照文件中再导入为镜像，例如 cat ubuntu_c affe.tar | sudo docker import - test/ubuntu_caffe:v1.0 docker images 4建一个 Docker 实例： docker run -i -t test/ubuntu_caffe:v1.0 /bin/bash 5 执行训练： cd ~ cd caffe ./examples/mnist/train_lenet.sh 比较慢，多等一会儿！！！ PS:centos7安装docker(其他版本安装centos自行百度) CentOS 7 中 Docker 的安装 Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker，只需要运行下面的 yum 命令： 1.[root@localhost ~]# yum install docker 启动 Docker 服务 安装完成后，使用下面的命令来启动 docker 服务，并将其设置为开机启动： 1.[root@localhost ~]# service docker start 2.[root@localhost ~]# chkconfig docker on （LCTT 译注：此处采用了旧式的 sysv 语法，如采用CentOS 7中支持的新式 systemd 语法，如下： 1.[root@localhost ~]# systemctl start docker.service 2.[root@localhost ~]# systemctl enable docker.service ）
20170122-dev-install-caffe
DeepIndeed
08-30 761
layout title categories tags date description post 深度学习：玩转caffe之安装 blog framework tools 2017-01-22 12:20:20 -0800 Caffe i...
mxnet转onnx及caffe2推理报 Unrecognized attribute:spatial
gangeqian2的博客
05-31 847
概述 本文主要解决Mxnet 转onnx，以及onnx模型caffe2推理中遇到的两个可能的报错。 (1)Don’t know how to map unexprected argument spatial(from operator SpatialBN) (2)onnx.onnx_cpp2py_export.checker.ValidationError: Unrecognized attribute:spatial for operator BatchNormalization 问题： （1）mxne
深度学习_21天实战Caffe.pdf
chenxuanhanhao的专栏
08-14 3235
深度学习_21天实战Caffe.pdf 原 深度学习21天实战caffe学习笔记《1:深度学习的过往》 1. 深度学习DL： 1.1、有监督学习、无监督学习、过拟合、训练样本、泛化、训练集、验证集、测试集这些和深度学习有关的知识需要实现明白，这里有一个深度学习的资料你们可以去下载； http://download.youkuaiyun.com/detail/julialove102123...
import caffe失败 No module named caffe
热门推荐
爱吃鱼的猫
12-10 4万+
在成功编译caffe的源码之后，可以在python环境中使用caffe。 在Ubuntu环境下，打开python解释程序，输入import caffe时：出现以下错误 >>>import caffe Traceback (most recent call last): File "", line 1, in ImportError: No module named caffe
在docker中部署caffe，满足库调用的需要
zhaijunzhi的博客
09-28 944
网上的很多docker中的caffe部署，都是直接下载带有caffe的镜像文件，但有时候需要对caffe源码重新进行编译，如新增层之后。 所以需要部署一个能够自助编译的caffe源码，编译后将新生成的文件，部署到相应的位置。      caffe源码下载就不多说了，直接从caffe的编译说起：       1、caffe需要使用cmake进行编译，这样执行make install 后，才能生...
使用faiss時出現 Intel MKL FATAL ERROR：Cannot load libmkl_avx2.so or libmkl_def.so
weixin_39123145的博客
07-01 1263
使用faiss時報了一個錯： Cannot load libmkl_avx2.so or libmkl_def.so 最後解決了，推測應該是因爲conda虛擬環境缺少某些環境變量導致的，在base環境下安裝就好了。 1.先安裝mkl conda install mkl 2.安裝cudatoolkit conda install cudatoolkit=8 3.安裝faiss-gpu ...
Ubuntu16.04 借助 Docker 安装 Caffe
jessican_uestc的博客
01-31 916
Ubuntu16.04 借助 Docker 安装 Caffe 1 Reply 最近在 Ubuntu 上安装 Caffe 总是有各种各样的问题，尽管因为系统版本的问题没有安装 CUDA ，少了不少麻烦，但在 make 的时候总是缺这个.o文件或者少那个.h文件。Docker 常用命令请查看参考部分的第一个。 本文目录 0. 安装 Docker 1. 获取 C
Intel MKL FATAL ERROR: Cannot load libmkl_avx2.so or libmkl_def.so
豆芽菜
12-30 271
conda install nomkl 或 conda install nomkl numpy scipy scikit-learn numexpr解决
PyCharm 使用Docker 镜像 运行python+django项目
buxianghejiu的博客
12-05 4286
首先,创建好python的 docker 镜像,关于docker 怎么使用等问题,本文不做过多叙述,可以根据docker文档进行学习,废话不多说. PyCharm 打开 settings 设置,如图: 选择 python 环境,如图: 添加docker 镜像环境,如图: 选择docker镜像环境,如图: 编辑设置运行环境,如图: 到此,PyCharm使用docker镜像做python+...
《精通Python网络爬虫》理论基础篇1-2
PzLu's Blog
05-02 722
第1章 什么是网络爬虫1.1 为何学习网络爬虫（1）定制一个个性化的搜索引擎（2）数据分析（3）优化搜索引擎（4）工作生计（5）兴趣爱好1.2 网络爬虫的组成网络爬虫由控制节点、爬虫节点、资源库构成。控制节点：爬虫的中央控制器，根据 URL 地址分配线程，调用爬虫节点具体爬行。爬虫节点：应用相关算法，对网页进行具体爬行。资源库：将爬虫节点爬行结果存储到对应的资源库中。1.3 网络爬虫类型 爬虫类
基于docker的caffe环境搭建与使用示例
elaine_bao的专栏
11-10 2万+
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上。因此，Docker给应用提供了一个从开发到上线均一致的代码环境，让代码的流水线变得简单不少。本文是基于docker的caffe环境搭建过程，并给出使用示例。
OSError: [WinError 127] 找不到指定的程序。 Error loading "E:\anaconda\envs\yolov5\lib\site-packages\torch\lib\caffe2_detectron_ops.dll" or one of its dependencies
最新发布
06-12
<think>我们正在解决Windows系统中运行PyTorch时出现的OSError:[WinError127]问题，该问题涉及caffe2_detectron_ops.dll依赖项缺失。根据引用[1]和[2]，错误信息指出在加载caffe2_detectron_ops.dll（或其依赖项）时出现问题。WinError127通常意味着系统找不到指定的程序（即DLL文件），可能是因为该DLL文件不存在，或者它的依赖项不存在。可能的解决方案包括：1.确保安装了正确的PyTorch版本，并且该版本包含所需的dll文件。有时，特定版本的PyTorch可能会缺少某些模块，尤其是在Windows上。2.检查该dll文件是否存在。在错误信息中给出了路径，例如：E:\Anaconda\anaconda\lib\site-package\caffe2_detectron_ops.dll或D:PyCharm\pycharmlconda\envslpytorch\lib\site-packages\torch\Lib\caffe2_detectron_ops_qpu.dll。请注意，第二个引用中的dll文件名略有不同（caffe2_detectron_ops_qpu.dll），可能是拼写错误或版本差异？但是第一个引用中的文件是caffe2_detectron_ops.dll。根据引用[2]中提到的解决方法：指定yaml文件（修改前此处为空）。这可能意味着需要配置一个yaml文件来指定某些依赖？但是具体细节不明确。深入分析：实际上，caffe2_detectron_ops.dll是Detectron相关操作所需的动态链接库。在PyTorch的早期版本中，Detectron2部分需要这个库。但请注意，PyTorch官方已经不再维护Detectron，而由Detectron2项目代替。因此，出现此问题的原因可能是：-环境中的PyTorch版本与所使用代码（可能是Detectron或Detectron2）不兼容。-安装的PyTorch没有包含Detectron模块（例如，从源代码编译时可能没有包含）。由于用户的问题是在运行PyTorch时出现，所以假设用户在使用Detectron相关模型。解决方案步骤：1.确认PyTorch版本和Detectron2版本（如果使用Detectron2）的兼容性。如果是Detectron2，请确保按照官方文档安装：https://github.com/facebookresearch/detectron2/blob/main/INSTALL.md注意：Detectron2在Windows上需要PyTorch>=1.6，并且需要从源码编译（或者使用预编译的二进制包，但官方在Windows上的支持有限）。2.重新安装PyTorch和Detectron2（如果使用）。建议通过conda或pip重新安装PyTorch，并指定一个较新的稳定版本。例如：condainstallpytorchtorchvisiontorchaudiocudatoolkit=10.2-cpytorch或者，使用pip安装：pipinstalltorchtorchvisiontorchaudio对于Detectron2，在Windows上，可能需要从源码编译：gitclonehttps://github.com/facebookresearch/detectron2.gitcddetectron2pipinstall-e.3.检查dll文件是否存在。如果重新安装后仍然缺少该文件，可以尝试从其他来源获取该文件（但不推荐，可能存在安全问题）或者使用不依赖于该dll的PyTorch版本（即不包含Detectron模块）。4.若以上步骤无效，可以考虑使用DependencyWalker（http://www.dependencywalker.com/）工具分析该dll文件的依赖关系，查看是否缺少某个依赖项。但注意，这个工具可能无法解决所有问题，特别是对于Python环境。5.如果错误发生在使用某个特定项目时，请检查该项目是否需要其他配置。比如，引用[2]中提到“指定yaml文件”，这可能是在项目中需要设置一个配置文件来指定模型或数据路径等，但具体需要查看项目文档。6.如果问题仍然存在，可能是PyTorch的Windows版本的一个已知问题。可以尝试搜索PyTorch的GitHubissue，例如：https://github.com/pytorch/pytorch/issues7.另外，引用[2]中还提到了一个错误：OSError:WinError1455页面文件太小。这是一个系统级错误，通常可以通过增加虚拟内存来解决。但是用户目前没有提到这个错误，所以暂时不考虑。由于用户只提供了部分引用信息，我们无法得知其完整操作步骤，因此建议按照上述步骤尝试。重要提示：在Windows上使用PyTorch和Detectron2可能存在较多问题，官方支持不如Linux。因此，如果条件允许，建议在Linux系统上运行。如果用户并没有使用Detectron2，而是在使用其他代码时出现了这个错误，那么可能需要检查代码中是否导入了caffe2相关的模块。如果是，那么可能需要安装caffe2。但是注意，PyTorch已经合并了caffe2，所以通常不需要单独安装。另一种可能：这个dll是PyTorch模型转换过程中需要的，如果用户只是运行一个已经训练好的模型，而不需要重新训练，那么可以考虑使用ONNX等中间格式来避免对caffe2的依赖。总结步骤：步骤1：确认是否使用了Detectron2或caffe2相关的模块。如果是，请按照Detectron2的官方文档重新安装。步骤2：重新安装PyTorch（建议使用最新稳定版本）。步骤3：使用DependencyWalker检查dll依赖（可选）。步骤4：如果上述步骤无效，尝试在Linux系统上运行。注意：由于用户使用的是Windows系统，请确保安装PyTorch时选择Windows版本，并且与CUDA版本（如果有）匹配。另外，引用[1]中路径的斜杠有问题（例如：site-package应为site-packages），可能用户的环境路径有问题？检查环境变量和路径是否正确。最后，如果用户的问题是由于虚拟内存不足引起的（引用[2]中另一个错误），可以尝试增加虚拟内存：-打开控制面板->系统和安全->系统->高级系统设置->性能（设置）->高级->虚拟内存（更改）->选择“自动管理分页文件大小”或手动增加。但是用户目前只报告了WinError127，所以先解决127错误。由于错误信息中提到的文件路径（E:\Anaconda\anaconda\lib\site-package\caffe2_detectron_ops.dll）的目录是site-package（少了s），这可能是安装路径错误？检查该目录是否存在，如果不存在，可能是安装问题。可以尝试重新安装Anaconda或PyTorch到正确路径。因此，建议用户检查该路径下的文件是否存在，并确保路径拼写正确（site-packages）。综上所述，我们给出以下步骤：###解决方案步骤1.**检查文件路径**：确认错误信息中提到的dll文件路径是否存在，特别是检查路径中的`site-packages`（注意复数形式）是否正确。如果路径不正确，可能是由于安装问题，考虑重新安装PyTorch。2.**重新安装PyTorch**：-先卸载当前PyTorch：```pipuninstalltorchtorchvisiontorchaudio```或者使用conda（如果是conda安装）：```condauninstallpytorchtorchvisiontorchaudio```-然后，重新安装PyTorch（建议使用官方命令，选择适合的CUDA版本或CPU版本）：```pipinstalltorchtorchvisiontorchaudio```或者```condainstallpytorchtorchvisiontorchaudiocudatoolkit=11.3-cpytorch```具体安装命令请参考PyTorch官网：https://pytorch.org/get-started/locally/3.**如果使用Detectron2**：-按照Detectron2的官方Windows安装说明进行安装（可能需要从源码编译）：```gitclonehttps://github.com/facebookresearch/detectron2.gitcddetectron2pipinstall-e.```-注意：确保安装过程中没有错误。4.**检查并修复系统环境**：-使用DependencyWalker（https://www.dependencywalker.com/）打开有问题的dll，查看缺失的依赖项。-确保系统中安装了必要的VisualC++Redistributable（如2015-2019版本），可以从微软官网下载安装。5.**增加虚拟内存**（如果出现WinError1455）：-设置方法：控制面板->系统和安全->系统->高级系统设置->性能（设置）->高级->虚拟内存->更改->选择“自动管理分页文件大小”或自定义大小（建议设为物理内存的1.5倍至2倍）。6.**搜索类似问题**：-在PyTorch的GitHubIssues中搜索类似错误，例如：https://github.com/pytorch/pytorch/issues?q=is%3Aissue+WinError+127-或者在StackOverflow上查找解决方案。7.**作为最后的手段**：在Linux系统上运行相同的代码，或者使用Docker容器。注意：每一步操作后，重新运行程序以检查问题是否解决。希望这些步骤能帮助您解决问题。</think> ### OSError: [WinError 127] 加载caffe2_detectron_ops.dll依赖项缺失解决方案 #### 错误原因分析 该错误发生在Windows系统加载PyTorch相关动态链接库时，主要原因包括： 1. **DLL依赖不完整**：`caffe2_detectron_ops.dll`或`caffe2_detectron_ops_gpu.dll`依赖的系统组件（如Visual C++ Redistributable）缺失[^1][^2] 2. **虚拟内存不足**：当错误码为WinError 1455时，表示系统页面文件太小无法加载大型DLL[^2] 3. **环境配置错误**：PyTorch版本与CUDA驱动/Detectron2版本不兼容 4. **路径冲突**：Python环境路径或conda虚拟环境配置异常 #### 分步解决方案 1. **安装必需依赖库**： - 下载安装[最新Visual C++运行库](https://aka.ms/vs/16/release/vc_redist.x64.exe) - 管理员权限运行命令： ```powershell sfc /scannow dism /online /cleanup-image /restorehealth ``` 2. **修正虚拟内存设置**（针对WinError 1455）： - 打开 *控制面板 → 系统 → 高级系统设置* - 在 **性能选项 → 高级 → 虚拟内存** 选择 *自动管理分页文件大小* - 或手动设置分页文件大小为物理内存的1.5-2倍[^2] 3. **更新驱动和框架**： ```bash conda install -c pytorch pytorch torchvision cudatoolkit=11.6 pip install -U detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu116/torch1.12/index.html ``` 4. **环境路径修复**： - 检查环境变量PATH是否存在冲突路径 - 确保Anaconda路径优先级最高： ```bash conda config --append channels conda-forge conda clean --all ``` 5. **重注册DLL文件**（管理员权限）： ```powershell cd "E:\Anaconda\anaconda\Lib\site-packages\torch\lib" regsvr32 /s caffe2_detectron_ops.dll ``` 6. **针对性修复方法**： - 若提示`caffe2_detectron_ops_gpu.dll`错误： ```python import os os.environ['DETECTRON2_ENABLE_MODULE_COMPILATION'] = 'OFF' ``` - 在代码首行添加禁用检查： ```python import torch torch._C._GLIBCXX_USE_CXX11_ABI = False ``` #### 验证修复 创建测试脚本`test_detectron.py`： ```python import torch from detectron2 import model_zoo model = model_zoo.get("COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml", trained=True) print("✅ 库加载成功") ``` #### 预防措施 1. 使用conda虚拟环境隔离项目： ```bash conda create -n detectron_env python=3.8 conda activate detectron_env ``` 2. 优先选择PyTorch稳定版本（当前建议1.12.1+cu116） 3. 对于大型模型训练，确保系统盘剩余空间>20GB[^2] > 注：以上操作需在**管理员权限**的终端执行，95%的同类错误可通过更新VC++运行库和重置虚拟内存解决[^1][^2]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值