Caffe重装

最新推荐文章于 2024-10-07 16:36:30 发布
最新推荐文章于 2024-10-07 16:36:30 发布
阅读量187 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： CV 文章标签： Caffe 深度CV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/tomjackinpot/article/details/103330949

近日, 由于需要, 又重新安装了CAFFE一遍(并非想折腾, 但事后证明痛苦带来了长进), 这一次重装的原因是: 在启动caffe程序进行训练初始化网络层时, 报错, “Unknown layer type: ImageData”. 当然, 这个错误提示并没有说让你直接重装, 但实在找不到出错的原因(同是Layer, “Input”类型就没有报错), 怀疑ImageData有问题, 只好寄希望于重装能把”ImageData”这个问题解决掉. (之前第一遍安装已经是披荆斩棘, 这一次安装前已经做好了壮志未酬的心理准备了)

一开始并不解是什么原因导致的, 但后来才知道是引用的OpenCV的版本不对: 在Caffe发布的时候, OpenCV应该还是版本3, 但现在OpenCV有了最新的版本4, 导致用brew命令在安装的时候, 直接安装了最新的版本, 除非: “brew install opencv@3”, 而我将”Makefile.config”文本文件的”OPENCV_VERSION”项改成了”:= 4”(原先是3).

这么改回来之后, 是比较保险的方式了, 因为抱牢CAFFE官方的大腿了, 而安装版本4的OpenCV一定不行吗? 倒也不是一定不行, 只不过在Makefile文件中, CAFFE官方没有关于版本4的编译规则. 所以, 如果在Makefile.config中将”OPENCV_VERSION”设置成4之后, 在官方原始的Makefile中是不会有OPENCV的编译规则的, 而这会导致"LIBRARIES"变量不添加"opencv_imgcodecs"库依赖.

ifeq ($(USE_OPENCV), 1)				# Caffe源码中的Makefile原文件第200行;
	LIBRARIES += opencv_core opencv_highgui opencv_imgproc

	ifeq ($(OPENCV_VERSION), 3)
		LIBRARIES += opencv_imgcodecs
	endif

endif

此外, 编译过程中的"USE_OPENCV"变量也要赋予值"1", 而不是仅取消注释("# USE_OPENCV := 0"), 看上述编译规则的代码, 就可以知道为什么了: USE_OPENCV的值不为1的话都无法添加各种Opencv的库依赖(最外围的"ifeq ... endif"之间的代码, 包括OPENCV_VERSION=3时进入执行的语句块).

总结一下, 不能使用"ImageData"的原因是第一次编译时确实没有编译进OPENCV相关的依赖库(当时的设置: USE_OPENCV:=0, OPENCV_VERSION:=4), 而这个设置错误(算是逻辑错误), 在语法上并没有错误, 导致顺利编译了CAFFE(没有报错), 但却在使用时报错了.

Caffe,protobuf 编译安装
Tosonw的博客
06-11 1755
一、简介 Caffe，全称Convolutional Architecture for Fast Feature Embedding。 Caffe是一个深刻的学习框架，以表达，速度和模块化为基础，主要应用在视频、图像处理方面的应用上。 查看项目网站了解所有详细信息：http://caffe.berkeleyvision.org/ 用Caffe进行DIY深度学习 教程文档 BAIR参考模型和社区模...
双系统下ubuntu20.04安装caffe（个人尝试）+踩坑记录
WINNERWH的博客
01-24 1280
【代码】双系统下ubuntu20.04安装caffe（个人尝试）+踩坑记录。
Caffe详细安装教程
10-31
使用ubuntu16.04配置caffe，包含‘安装步骤’，‘Makefile’，‘Makefile.config’，三个文件，安装过程非常详细。 Caffe，全称Convolutional Architecture for Fast Feature Embedding。是一种常用的深度学习框架，主要应用在视频、图像处理方面的应用上。
Ubuntu caffe编译踩坑记录
a3345468的博客
09-03 211
在ununtu编译CPU版本caffe和caffepython。 先贴最后的config文件，再贴踩坑。 2019-09-03 10:33:39 ## Refer to http://caffe.berkeleyvision.org/installation.html # Contributions simplifying and improving our build sy...
重新安装caffe遇到的一些错误
weixin_33923148的博客
12-09 148
error 1 TypeError: __init__() got an unexpected keyword argument 'syntax' conda install -c conda-forge protobuf 参考here error 2 /usr/lib/x86_64-linux-gnu/libopencv_highgui.so.2.4.9: undefined refe...
解决python3在anaconda下安装caffe失败的问题
09-21
重装后，用户发现能够成功导入Caffe。然而，当使用`conda install opencv`命令安装了OpenCV之后，问题再次出现。这里的原因可能是conda安装的OpenCV版本（2.4.10）与系统中已存在的OpenCV版本（2.4.9.1）不一致，...
cudnn8编译caffe过程（保姆级图文全过程，涵盖各种报错及解决办法）
shikaiaixuexi的博客
10-07 1316
这块是python接口问题，如果不需要使用python接口，对于这个错误最简单的做法是找到caffe目录下的 CMakeLists.txt 中以下语句将其中的 ON 改为 OFF，此时删掉build文件夹，重新按照上面链接中的文章一路执行下来，最后会成功的，但是这意味着我们没有编译python接口，不能在python中使用caffe最终，make all成功了完成cuda11.4+cudnn8.2.4编译caffe了，耗时一下午。
Caffe+Matlab配置
qq_31382031的博客
10-14 8248
一、caffe与matlab接口 首先是安装matlab，然后是进行caffe与matlab的接口； 1 安装好matlab——按照正常步骤进行安装即可 2 修改Makecaffe.config——编译matcaffe之前需要将Makefile.config，由于我的MATLAB的路径是/home/xaver/local/matlab（这个路径指的是包含/bin这个文件
caffe 实战系列：如何写自己的数据层（以Deep Spatial Net为例）
一亩半分地
03-24 1万+
caffe中如何添加新的层
关于caffe里面image_data_layer的使用
kuaitoukid的专栏
05-05 1万+
刚入门caffe的肯定是用demo里面的leveldb格式的数据库，说实话这数据库用起来太麻烦了，所以推荐大家入门到精通都用image_data_layer.cpp 使用方法如下所示 layer { name: "demo" type: "ImageData" top: "data" top: "label" include { phase: TRAIN }
Caffe运行自带Demo出现Unknown layer type错误解决
For record
10-27 8580
错误描述： 参见：https://github.com/BVLC/caffe/issues/1986 运行sh ./example/mnist/train_lenet.sh时出现错误：layer_factory.hpp:77] Check failed: registry.count(type) == 1 (0 vs. 1) Unknown layer type: Data (known ty
caffe深度学习【十五】配置senet，caffe添加Axpy层：解决 Unknown layer type: Axpy 问题
volcano_Lin 的博客
08-31 5813
背景： 最近做一个场景分类的问题，想用 senet 跑一下，看看效果 论文入口： https://arxiv.org/abs/1709.01507  代码入口： https://github.com/hujie-frank/SENet     问题： 从github上下下来的代码，如果直接拿来就跑，就会出现如下问题： 把文字也弄出来，方便遇到同样问题的同学查询到： C...
【深夜福利】Caffe 增加自定义 Layer 及其 ProtoBuffer 参数
卜居
10-02 1万+
在飞驰的列车上，无法入眠。外面阴雨绵绵，思绪被拉扯到天边。翻看之前聊天，想起还欠一个读者一篇博客。于是花了点时间整理一下之前学习 Caffe 时增加自定义 Layer 及自定义 ProtoBuffer 参数的简单例程，希望对初学者有借鉴意义。博客内容基于新书《深度学习：21 天实战 Caffe》，书中课后习题答案欢迎读者留言讨论。以下进入正文。在使用 Caffe 过程中经常会有这样的需求：已有 L
caffe训练时候的 unknow solver type /unknown layer type错误
xiakj的专栏
12-30 996
改进办法承接上一篇博文。这里主要记录一下解决的思路。 问题原因：好像是一些层的注册问题。 解决办法： 1. 写一个头文件，名称为caffe_reg.h，内容如下： #pragma once #ifndef CAFFE_REG_H #define CAFFE_REG_H //layer #include<caffe/layers/conv_layer.hpp> #inclu...
caffe 改动后的重新编译以及 pycaffe 安装过程中 warnings 解决
黄飞的博客专栏
10-31 6385
原生的 caffe 包含了一些基本的运算操作，如果要进行一些自定义操作，比如双线性插值放缩操作、L2 正则化等就需要把相应的实现添加进 caffe 源码，由于 caffe 源码由 C++ 编写，修改源码后需要重新编译。下面对具体的编译过程进行总结： 1. 编译 caffe.proto 文件 添加层时，需要在 /src/caffe/proto/caffe.proto 文件中注册，因为修改过 caff...
呕心沥血一个月之caffe安装与配置
热门推荐
little豪斯
06-21 1万+
一切从0开始，入坑caffe框架,从最开始的基本硬件知识都欠缺到后来的愈挫愈勇，不是一把辛酸泪能说的清，今天有时间写下来我的安装过程，希望大家以后少走弯路。纯小白，轻喷     首先说下我的配置：台式  CPU intel酷睿i7 6700k, 独显 gerforce 1080    接下来步入正题，主要参考欧新宇大神的博客还有其它大神，在此表示万分的感谢，就不一一po链接了，总之走了很多弯路
Caffe学习系列(9)：运行caffe自带的两个简单例子
weixin_34007020的博客
12-25 771
为了程序的简洁，在caffe中是不带练习数据的，因此需要自己去下载。但在caffe根目录下的data文件夹里，作者已经为我们编写好了下载数据的脚本文件，我们只需要联网，运行这些脚本文件就行了。 注意：在caffe中运行所有程序，都必须在根目录下进行，否则会出错 1、mnist实例 mnist是一个手写数字库，由DL大牛Yan LeCun进行维护。mnist最初用于支票上的手写数字识别, 现在...
ile "D:\anaconda3\envs\yolo_v5\lib\site-packages\torch\__init__.py", line 123, in <module> raise errOSError : raise errOSError[WinError 1455] 页面文件太小，无法完成操作。 Error loading "D:\anaconda3\envs\yolo_v5\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll" or one of its dependencies. : OSError[WinError 1455] 页面文件太小，无法完成操作。 Error loading "D:\anaconda3\envs\yolo_v5\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll" or one of its dependencies.: [WinError 1455] 页面文件太小，无法完成操作。 Error loading "D:\anaconda3\envs\yolo_v5\lib\site-packages\torch\lib\caffe2_detectron_ops_gpu.dll" or one of its dependencies. Traceback (most recent call last):这个报错是因为什么
最新发布
03-28
<think>好的，用户遇到了一个Windows下的错误，具体是OSError [WinError 1455] 页面文件太小，无法完成操作。这个问题发生在加载PyTorch的某个DLL文件时。我需要先理解这个错误的根本原因，然后给出解决方案。 首先，错误信息指出页面文件太小。页面文件是Windows的虚拟内存，当物理内存不足时，系统会使用页面文件来扩展可用内存。如果这个文件太小，当程序需要更多内存时就会出错。尤其是在使用深度学习框架如PyTorch时，加载大型模型或数据集可能会消耗大量内存，导致这个问题。 接下来，用户的环境是Anaconda的虚拟环境yolo_v5，这可能意味着他们在使用YOLOv5进行目标检测。YOLOv5依赖PyTorch，而PyTorch在启动时会加载一些动态链接库（DLL），比如caffe2_detectron_ops_gpu.dll。加载这些库需要足够的内存，包括虚拟内存。 可能的原因有几个：系统虚拟内存设置不足、GPU相关的问题、PyTorch安装问题、或系统资源不足。需要逐一分析。 首先，虚拟内存设置。Windows默认是自动管理页面文件大小，但有时自动管理可能不够，尤其是当物理内存较大时，系统可能不会设置足够大的页面文件。用户可能需要手动调整虚拟内存的大小，特别是系统盘（通常是C盘）的页面文件设置。 其次，GPU的问题。错误提到的DLL是GPU相关的，说明用户可能在尝试使用GPU版本的PyTorch。需要确认CUDA和cuDNN是否正确安装，并且PyTorch版本与CUDA版本兼容。如果GPU驱动有问题，或者PyTorch没有正确安装GPU支持，可能导致加载DLL失败。 第三，PyTorch安装可能损坏。用户可能通过pip或conda安装了PyTorch，但安装过程中出现错误，导致某些文件缺失或损坏。这种情况下，重新安装PyTorch可能解决问题。 另外，系统资源不足也可能导致问题。例如，同时运行多个占用内存的应用程序，导致虚拟内存不足。关闭不必要的程序可能有助于缓解问题。 解决方案方面，首先建议用户调整虚拟内存，增加页面文件的大小，特别是系统盘。其次，检查CUDA和PyTorch的版本兼容性，重新安装PyTorch。如果问题依然存在，可以尝试使用CPU版本的PyTorch暂时绕过GPU的问题，但会影响性能。此外，确保系统更新和驱动更新也是必要的。 还需要考虑用户的具体情况。用户可能在训练模型时遇到这个问题，尤其是在加载模型或数据时。建议用户检查代码中是否有内存泄漏，或者数据加载是否过于占用内存。使用更小的批次大小或优化数据管道可能也有帮助。 最后，如果上述方法都无效，可能需要进一步检查系统日志或使用工具如Process Monitor来查看文件加载过程中的具体问题，或者寻求社区和官方支持。</think>以下是 **`OSError: [WinError 1455] 页面文件太小`** 问题的详细分析与解决方案： --- ### **错误原因** 此错误是由于 **Windows 虚拟内存（页面文件）不足**，导致 PyTorch 在加载 GPU 相关动态链接库（如 `caffe2_detectron_ops_gpu.dll`）时失败。常见场景： 1. **物理内存不足**，系统尝试使用虚拟内存时失败。 2. **虚拟内存设置过小**，无法满足程序需求（尤其是深度学习框架需要大量内存）。 3. **PyTorch 版本与 CUDA 驱动不兼容**，导致加载 GPU 库时占用异常内存。 --- ### **解决方案** #### **方法 1：扩大 Windows 虚拟内存** 1. **打开虚拟内存设置** - 按下 `Win + S`，搜索 **`调整虚拟内存`**，选择 **“更改虚拟内存”**。 - 取消勾选 **“自动管理所有驱动器的分页文件大小”**。 2. **手动设置虚拟内存大小** - 选择系统盘（通常是 `C:`），点击 **“自定义大小”**。 - 初始大小设为 **物理内存的 1.5 倍**（例如 16GB 内存设为 `24576 MB`）。 - 最大值设为 **物理内存的 3 倍**（例如 16GB 内存设为 `49152 MB`）。 - 点击 **“设置”** 并重启电脑生效。 --- #### **方法 2：修复 PyTorch 安装** 1. **卸载并重装 PyTorch** 在 Anaconda 环境中执行以下命令： ```bash pip uninstall torch torchvision torchaudio # 选择与 CUDA 版本匹配的 PyTorch 安装命令（例如 CUDA 11.8） pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 ``` 2. **验证 CUDA 是否可用** 运行 Python 并检查 CUDA 状态： ```python import torch print(torch.__version__) # 输出版本 print(torch.cuda.is_available()) # 应返回 True ``` --- #### **方法 3：临时切换为 CPU 模式** 如果急需运行代码，可强制 PyTorch 使用 CPU（性能下降，仅限临时测试）： ```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '-1' # 禁用 GPU import torch device = torch.device('cpu') ``` --- #### **方法 4：释放系统资源** 1. **关闭占用内存的进程** - 通过任务管理器结束不必要的程序（如浏览器、视频软件）。 2. **减少数据加载的批次大小（Batch Size）** 在训练代码中降低 `batch_size` 值，例如： ```python dataloader = DataLoader(dataset, batch_size=8) # 原为 16 或更大 ``` --- ### **附加建议** 1. **更新显卡驱动** 前往 [NVIDIA 官网](https://www.nvidia.com/Download/index.aspx) 下载最新驱动，确保 CUDA 版本与 PyTorch 匹配。 2. **检查磁盘空间** 确保系统盘（C 盘）有至少 20GB 剩余空间。 3. **使用轻量级数据加载方式** 启用 `num_workers=0` 或使用 `pin_memory=False` 减少内存占用： ```python dataloader = DataLoader(dataset, num_workers=0, pin_memory=False) ``` --- ### **总结** - **优先级操作**：扩大虚拟内存 → 重装 PyTorch → 释放资源。 - 若问题持续，可能是硬件资源不足（如内存过小），建议升级物理内存或使用云服务器（如 Google Colab）。 通过上述步骤应能解决页面文件不足导致的 PyTorch 加载错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值