解决pytorch服务打包docker镜像过大问题,使用torch的cpu版本

Pyinstaller打包深度学习框架torch(torchvision)问题解决 使用pyinstaller打包程序的时候经常会出现各种各样的问题,根据本人花费了两天的时间解决问题的实际经验来看,要认真分析问题,理解Pyinstaller的打包机制才能从根本上解决问题。 打包pytorch遇见的问题 出现failed to execute script 问题解析 如果你想打包的程序包含torchvision, 且版本>=0.3.0则常规的打包方法到最后是行不通的,程序是... 阅读详情
AI摘要

文章讲述了如何在Linux机器上通过仅安装PyTorch的CPU版本来降低镜像大小,避免了默认安装CUDA带来的过大体积。作者提到将`torch`版本设置为2.1.0+cpu,并从特定链接下载相关库,如`torch_geometric`,以实现更高效的空间利用。

使用torch的cpu版本即可,修改pip的下载依赖,在linux机器上不要默认下载

整个服务只使用了pytorch关于gcn相关的代码,但是要安装pytorch包,这是很大的。尤其如果你在linux上安装torch,会默认安装cuda版本,这会导致大小激增。我默认安装后,镜像大小8个多G,这很显然是不合理的。
后来我为了减少体积,我只安装了torch的cpu版本,即修改了requirement.txt文件

-f https://download.pytorch.org/whl/cpu/torch_stable.html
torch==2.1.0+cpu
-f https://pytorch-geometric.com/whl/torch-2.1.0+cpu.html
torch_geometric

只安装cpu版本,大小只有1.6G.

PyTorch环境搭建全攻略:从CUDA原理到GPU/CPU版本安装与排错 深度学习开发环境的搭建是模型训练与应用部署的首要步骤,其核心在于理解底层计算框架与硬件驱动的协同原理。以PyTorch为例,其高效运行依赖于CUDA、cuDNN等计算库与显卡驱动的精确匹配,这构成了GPU加速的基石。掌握环境配置不仅能确保算力资源的充分利用,更是实现模型训练、大模型微调及复杂渲染等工程实践的前提。本文聚焦于**PyTorch安装**这一关键环节,深入解析CUDA版本兼容性、Anaconda虚拟环境管理等核心概念,并提供从CPU到GPU版本、从基础安装到**疑难排错**的完整实操指南,旨在帮助 阅读详情

相关推荐

PyTorch Docker镜像中模型加密保护:从原理到工程实践

在AI模型部署与交付过程中,模型保护是保障知识产权和核心资产安全的关键环节。其核心原理在于通过加密算法对模型文件进行混淆或加密,防止未授权访问和逆向工程。从技术价值看,这不仅保护了训练数据特征和算法逻辑,也为商业化模型交付、SaaS服务提供了安全基础。常见的应用场景包括跨团队模型共享、对外商业交付以及云环境下的模型部署。针对PyTorch框架,结合Docker容器化部署,实现模型加密通常涉及镜像构建流程优化、运行时密钥注入以及性能平衡等工程实践。本文聚焦于**运行时动态解密**和**TorchScript混

weixin_34109408的博客 385

Pyinstaller打包torch程序终极保姆级历程-预防解决若干问题以及防止打包文件过大

用Pyinstaller打包程序三天的经验 用pyinstaller打包程序,三天的问题,经验,总结,别问,跟着做就完事了。 一、创建新环境 首先,创建一个新的环境。   1.因为如果原来的环境有Anaconda啥的,他会很多绑定的不需要的库也打包进去,导    致最终打包出来的文件很大。   2.说一下 我的python是3.6版本,torch是1.2.0   3.这里我们用pipenv来管理这个环境,很干净,下面跟我做 // 进入程序所在目录 (base) C:\Users\>d

mabuqinuo_的博客 1万+

从TM1到TM9:手把手教你用Wireshark抓包分析LTE下行调度与传输模式切换

本文详细解析了如何使用Wireshark抓包分析LTE下行调度中的传输模式切换,从TM1到TM9的动态调整过程。通过实战案例,包括小区边缘移动、高速场景和多用户调度,揭示eNodeB如何基于信道质量指标(如RSRP、SINR)动态切换传输模式,并提供关键信令解析和优化建议,助力网络工程师提升LTE网络性能。

weixin_42651748的博客 315

从头搭建pytorch Docker镜像

此文不需要前言,请从正文开始开始搭建。

stone_tigerLI的博客 4779

Clion编译stm32cube初始化工程时non constant or forward reference address expression for section .ARM.extab报错

相信应该有同学在看了稚晖君关于clion开发stm32的文章之后也想在自己PC上实现“优雅の嵌入式开发”遇到和我类似的问题。他的文章是22年写的,我个人猜测应当是版本更新导致的不适配。意思就是说 READONLY 只能在gcc11以后的版本中使用,gcc10及以前的版本将无法正确识别,也就有如下错误。或者就可以将gcc升级至最新的版本。记得在clion工具链中修改c,cpp编译器的位置。可以将文本括号中的 READONLY 全部删除。当时由于没有注意到这行注释导致在这里卡了好久。

2301_77256849的博客 2512

基于BQ24610的24V电池充电板

转自我的博客 本文的主要目的在于传播基本的阅读datasheet的能力,以及PCB设计需要注意的基本问题。 本次需要设计的是24V动力锂电池充电电路。 原理图设计 参考官方参考电路 为了快速设计电路,自然是参考官方参考电路,选择Typical Application。 做细微的参数调整 由于我们的需求是给24V的电池充电,所以需要稍微修改一下原理图,接下来需...

greedyhao的博客 1万+

再次安装torch踩过的坑

我用conda 从新创建了一个项目环境,安装了一些基础的库。然后当我下载安装torch的时候,报错说安装的空间不足,我看了一下,torch确实比较大,一个多G,但是之前也没有出现过这个问题。一开始以为是docker的问题,但是想了一下,不应该啊,这个服务器磁盘空间那么大,怎么一个torch就不行。后来看了一下磁盘空间具体情况,如下:看得出来很多目录都没有用。最后得出的原因是,我安装anaconda 以及其他环境都是在root下。因为我连接服务器就在了root下,就直接安装在这儿了。

erdaidai的博客 2240

逆向分析-SeparationPreview.aip-分色预览-结构分析(一)-x64dbg条件日志打印-命令表达式-PS脚本

从功能上分析,仅显示使用的专色这个功能,并没有触发插件接口。使用X64dbg加载illustrator进程,切换到句柄窗口,在窗口过程中,右键刷新获取界面。在x64dbg中,在UI中可以输入一些条件表达式,能够计算出对应的值,并打印在日志中。常用的,如果非暂停,输出第一个参数。参数二是utf16的指针,utf16@字符串地址,这里的字符串地址为[[ebp-108]]参数一是utf8的,utf8@字符串地址,这里的字符串地址为[ebp-28]从界面上分析,一个颜色列表,及仅显示专色的多选框组成。

插件开发 645

解决pyinstaller打包程序太大的问题

项目场景 我在github上fork了一个使用python编写的flappybird游戏,然后想着打包一下。 下载地址 https://github.com/XavierJiezou/FlapPyBird 游戏截图 项目打包 先安装pyinstaller库: pip install pyinstaller 然后运行打包命令: pyinstaller -F -w -i flappy.ico flappy.py 遇到的坑 问题1 开始我是在vscode终端powershell中运行打包命令,打包过程提

XavierJ的博客 2225

PyTorch深度学习实战(1)——神经网络与模型训练过程详解

在本节中,我们将了解传统机器学习与人工神经网络间的差异,并了解如何在实现前向传播之前连接网络的各个层,以计算与网络当前权重对应的损失值;实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降,从零开始构建并训练了一个简单的神经网络。

盼小辉丶的博客 9万+

7.18 GART 与 GPUVM 对比:一颗 GPU 上两套页表的分工

本文横向对比AMD GPU上并存的GART与GPUVM两套页表。GART为内核专用,全局单一,线性单层结构,CPU同步直写;GPUVM为每进程48位地址空间,四级页表,含并发状态机,支持隔离与迁移。二者通过VMID区分,共享GMC硬件与PTE编码,分工互补。

图形/计算GPU的驱动与虚拟化技术分享园地 388

PyTorch-CUDA-v2.9镜像支持的Python和Torch版本一览

深入剖析PyTorch-CUDA-v2.9容器镜像的核心组成与工作原理,涵盖Python、Torch及CUDA版本兼容性问题,揭示如何通过预构建镜像解决深度学习环境配置难题。结合实际应用场景,提供从镜像使用、资源管理到安全优化的完整实践指南,帮助开发者高效部署AI模型训练环境。

weixin_35370061的博客 957

学Simulink——基于电能质量治理的场景实例:静止无功发生器(SVG)与并网逆变器的结合

本文详细介绍了基于Simulink的SVG与光伏并网逆变器联合仿真建模方法。系统包含光伏单元、SVG主电路、控制策略(无功检测+双闭环控制)等模块,通过ip-iq法实现动态无功补偿。仿真结果表明,SVG能快速响应负载变化,将功率因数提升至0.98以上,有效稳定母线电压。该方案为新能源并网系统提供了有功/无功协同控制解决方案,具有10ms级响应速度和±5kvar补偿能力。文章提供了完整的建模流程、控制算法实现和结果分析,可作为电力电子与电能质量治理领域的实践指导。

amy_mhd的博客 167

解决PyTorch安装失败问题:使用官方v2.8稳定版本镜像

手动安装PyTorch常因CUDA、驱动和依赖版本不匹配导致失败。使用官方PyTorch v2.8容器镜像可一键搭建稳定环境,集成CUDA与cuDNN,避免配置冲突。结合Docker运行命令,支持GPU加速、Jupyter交互与SSH访问,实现开发环境的可复现与共享,显著提升AI开发效率。

weixin_35754962的博客 878

深度解析与实战:长短时记忆网络(LSTM)在股票走势预测中的应用(基于Python + PyTorch)

本文全面探讨了LSTM在股票价格预测中的应用,从理论基础到实践操作。文章首先强调了股票市场预测的重要性,并介绍了LSTM网络结构及其在处理时间序列数据中的优势。接着,详细说明了数据预处理的关键步骤,包括数据收集、清洗、特征选择和归一化。文章还讨论了LSTM模型的构建、训练和评估,并提供了Python及PyTorch的实操案例。最后,总结了LSTM在股票预测的成果,并提出了未来研究的方向,如模型优化和特征工程,旨在帮助读者掌握LSTM在股票价格预测中的应用,并探索提升模型性能的方法。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 2102

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

使用Dockerfile定制专属PyTorch-CUDA镜像版本

通过Dockerfile构建PyTorch 2.9与CUDA 11.8的定制镜像,解决深度学习环境配置难题。涵盖版本匹配、Jupyter与SSH集成、容器运行及团队协作实践,实现开发环境标准化与可复现性,为MLOps落地打下基础。

weixin_33812391的博客 835

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

使用DockerFile进行docker镜像打包

结论:直接跳过 apt 安装层。对于从零构建镜像的机器,可以将 FROM 行替换为 DaoCloud 公共代理前缀:FROM docker.m.daocloud.io/library/python:3.11-slim-bullseye,两者指向同一枚官方镜像,只是通过国内镜像加速器拉取,速度更快。策略③(国内镜像源优先级):主选上海交大 pytorch-wheels 镜像,备选南京大学镜像,PyPI 通用源用阿里云,最终兜底为 PyTorch 官方 CPU 轮子(443 端口实测可达)。

wangqiaowq的博客 421

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

使用Docker部署PyTorch-CUDA镜像,轻松调用GPU算力

通过Docker容器化技术,轻松部署集成PyTorch与CUDA的GPU开发环境,解决版本冲突与依赖难题。预构建镜像支持JupyterLab和SSH,实现跨平台快速启动与团队协作,显著提升AI开发效率与环境一致性。

weixin_36304957的博客 839

别只怪CPU!PyTorch模型在ARM服务器上跑得慢,可能是Docker镜像和编译优化没做对

本文详细解析了PyTorch模型在ARM服务器上性能下降的原因及优化方案。通过选择正确的Docker镜像、编译优化关键组件、调整内存分配策略和系统级调优,可显著提升模型推理速度。实测显示,优化后的ARM服务器性能可达同代x86实例的90%,是深度学习部署的高效选择。

weixin_30387423的博客 401

Docker build构建自定义PyTorch镜像

通过Docker封装PyTorch与CUDA环境,解决依赖冲突与GPU配置难题,实现深度学习开发环境的一致性与可迁移。利用官方基础镜像快速搭建,结合Dockerfile定制化扩展,支持团队协作、本地调试与云端部署无缝衔接,提升AI项目工程化水平。

weixin_33670640的博客 579

如何将pytorch检测模型通过docker部署到服务器

向AI转型的程序员都关注了这个号????????????人工智能大数据与深度学习 公众号:datayx本文记录下如何使用docker部署pytorch文本检测模型到服务器,。镜像文件也...

datayx的文章 1994

PyTorch安装指南:解决CUDA版本匹配问题,实现GPU加速

在深度学习开发中,GPU加速是提升模型训练效率的关键技术。其核心原理是通过CUDA平台利用NVIDIA GPU的并行计算能力,将计算密集型任务从CPU卸载到GPU,从而大幅缩短训练时间。这项技术的价值在于使复杂神经网络模型的训练从数周缩短到数天甚至数小时,推动了计算机视觉、自然语言处理等领域的快速发展。在实际应用场景中,无论是学术研究还是工业部署,正确配置CUDA环境都是使用PyTorch等主流框架的前提。本文聚焦于PyTorch安装过程中的CUDA版本匹配问题,针对常见的`torch.cuda.is_av

weixin_30388677的博客 314

Server - 使用 Docker 配置 PyTorch 研发环境

建议使用 Docker 配置 PyTorch 研发环境,原因是部分机器配置差异较大,而且环境各不相同,导致安装到最后仍然无法启动训练任务,浪费大量时间。建议直接使用 Docker + Conda(Mamba) 环境构建虚拟环境,即可支持多数任务。

AGI 1251

PyTorch-CUDA镜像中如何升级PyTorch到最新版本

在保留原有CUDA环境的前提下,通过pip直接升级PyTorch版本,无需重建镜像。掌握如何查看CUDA版本、安装兼容的torch包并验证GPU可用性,还能按需切换稳定版或nightly版本,提升AI开发效率。

weixin_35414260的博客 662

ESPnet 官方 Docker 镜像实战指南:推理、开发与 SpeechLM 服务三合一

本指南以 [docker/README.md](https://link.gitcode.com/i/85bb66afaf5be566a0e1587f4f55d19c) 为核心,系统讲解 ESPnet(End-to-End Speech Processing Toolkit)官方维护的 Docker 镜像体系:何时选用 `inference-*` 镜像一条命令跑通已发布模型、何时选用 `cpu/g

gitblog_00805的博客 624

PyTorch 2.8镜像镜像免配置:避免pip install torch版本错配的经典方案

本文介绍了如何在星图GPU平台上自动化部署PyTorch 2.8深度学习镜像,实现开箱即用的深度学习环境配置。该镜像预装了完整的PyTorch生态工具链,特别适用于大模型推理、视频生成等场景,显著提升开发效率并避免版本错配问题。

weixin_33205138的博客 212
上一篇: linux启动docker镜像成功,而win启动该镜像mysql报错
下一篇: 基于gocq的qqbot搭建
空气力学先驱
博客等级 码龄6年 154粉丝 30原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值