（原创，随手记）记录windows操作系统在本地使用fengshen模型时遇到的坑：

已于 2024-04-16 14:53:57 修改
阅读量1k 收藏 25
点赞数 33
文章标签： windows python pytorch pip 深度学习 神经网络
于 2024-04-16 14:49:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/link_in_csdn/article/details/137822135
版权
本文详细记录了作者在安装Fengshen库过程中遇到的PyTorch、Deepspeed库安装难题，包括版本兼容性、手动编译和次生问题的解决方法，为有经验的开发者提供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

此贴记录本人在跟随各类教程试图安装Fengshen库时遇到的问题，主要是关于pytorch、deepspeed这两个库的具体安装问题

模型官网：封神榜（封神榜大模型）

Hugging Face:https://huggingface.co/IDEA-CCNL

本帖亮点Highlights

  • 安装Fengshen前，先自行安装Pytorch系列库和Deepspeed库
  • pytorch-lightning==1.8.0 torch ==1.12.1 torchmetrics==0.7.0 torchvision==0.13.1 这个版本组合测试成功
  • windows环境下安装Deepspeed不能直接使用pip install，要手动编译后在本地pip install轮子
  • 编译Deepspeed推荐安装VS2022 生成工具

pytorch与python环境坑

Fengshen对pytorch的内部import

Fengshen模型使用了pytorch，且使用了pytroch2.0以前

最低0.47元/天 解锁文章
link_in_csdn
关注
chinese-stable-diffusion中文场景文生图prompt测评集合
liguandong
11-05 1804
DALL-E 3 是 OpenAI 的又一大作，相比于此前的 DALL-E 3 是一个重磅提升。借助于 Transformer 模型优秀的自然语言能力，它可以精准地理解你的设计需求，并近乎如实地反映在画面上。GitHub - leeguandong/Awesome-Chinese-Stable-Diffusion: 中文文生图stable diffsion模型集合。腾讯混元的文生图在人像真实感、场景真实感上有比较明显的优势，同时，在中国风景、动漫游戏等场景等生成上有较好的表现。
基于libaio的aio，aio的简单使用
幻菱科技的博客
01-11 1013
#define _GNU_SOURCE #include <libaio.h> #include <stdio.h> #include <sys/socket.h> #include <netinet/in.h> #include <sys/epoll.h> #include <unistd.h> #include <...
windows平台上出现LINK : fatal error LNK1181: 无法打开输入文件“aio.lib”的解决办法（安装deepspeed的时候出问题）
dalaomanzou的博客
03-31 5350
当然，也可以直接在当前CMD窗口输入诸如set DS_BUILD_AIO=0来临时设置（需要4个都这么填，也就是set XXX=0，其中XXX就是那四个变量名，还是挺麻烦的），但是这种方式只作用于当前CMD窗口，一旦关了，这个设置就不生效了。不管是在电脑的环境变量设置里面自己新增环境变量，还是临时在cmd命令窗口输入set xxx=0，效果都是一样的，区别只是后者只是临时生效，不会在电脑里保留对应的环境变量，如果新建环境变量后，嫌它们碍眼，能跑起来之后再删掉即可。设置4个环境变量的值为0。
error LINK:1181 无法打开lib文件
believe___you的博客
07-01 7672
VS2013中调用opencv链接库 无法打开Lib文件肯定是链接库没有加载成功，网上的可能原因： 1、opencv环境没有配置 2、包含目录，库目录，附加依赖项不对 3、输入路径的文件夹中没有该lib文件，文件名可能有出入 But我检查了无数遍以上三个原因都不是，而且我之前在另一个项目中也成功调用过opencv，最后在发现是附加依赖项debug复制lib文件***少了“enter”/分号***，加了"enter"分行后就成功编译了。之前在网上没有查到还有这种原因，写出来给大家参考一下。疑惑的是，我之前的项
Win11系统下安装Deepspeed报错处理
热门推荐
vah101的专栏
05-18 2万+
OSError: [WinError 1314] 客户端没有所需的特权。: '..\\..\\csrc' -> '.\\deepspeed\\ops\\csrc'原因是没有权限执行创建软连接的操作，需要“以管理员身份运行”cmd或者powershell命令行程序。这个是由于cuda版本比较新，与pytorch的版本不兼容导致，需要卸载掉pytorch重新安装。LINK : fatal error LNK1181: 无法打开输入文件“aio.lib”
aio,epoll,libevent,boost::asio解决的问题
t225com
12-29 210
这几天一直在做linux大批量数据的解决方案，不断的深入了解了一下aio,epoll,libevent,boost::asio。以前只知道他们都是做异步/非阻塞的，但是具体解决的问题的关键点是什么，通过这几天的深入了解，把他们总结一下： aio是linux2.6以后内核实现的异步IO，或者说他才是真正意义上的异步IO。 <style type="text/css"> <!-...
Fengshenbang-LM(封神榜大模型)是中文AIGC和认知智能的基础设施
02-07
封神榜大模型采用先进的算法和架构，使其在理解和生成中文文本时具有更高的准确性和流畅性。 此外，封神榜大模型对于认知智能的贡献也不容忽视。认知智能是指机器模拟人类的认知过程，包括理解、推理、学习和创新。...
ModuleNotFoundError: No module named 'fengshen'
11-09
NotFoundError: No module named 'fengshen'是Python中的一个错误提示，意思是Python无法找到名为'fengshen'的模块。这通常是因为你尝试导入一个不存在的模块或者你需要安装该模块。你可以通过检查拼写错误或者使用...
java: 程序包com.fengshen.core.util不存在
06-02
可以在 pom.xml 文件中添加相应的依赖信息，或者在 IDEA 中手动添加依赖库。 3. 如果已经添加了依赖库，那么检查一下包路径是否正确，可能是因为包路径写错了或者包名发生了变化，导致找不到该包。 4. 如果以上...
deepspeed 安装 Windows
jacke121的专栏
01-14 2320
deepspeed 安装 Windows
chatgpt赋能python：Python如何装包：最详细的教程
a1sssssb的博客
06-07 131
Python包是用于组织,分解和复用Python代码的逻辑结构。它们包含一个或多个Python模块，并且可能包括数据文件，配置文件和其他资源。module1.pymodule2.py...其中是一个特殊的文件，用于标识Python包并初始化该包。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。
torch相关版本对应依赖（23年最新）
weixin_44627282的博客
02-18 7335
torch、torch-scatter、torch-sparse版本依赖问题解决办法
Windows 11 DeepSpeed若干报错问题解决
2401_82799238的博客
04-06 4178
用github上下载的deepspeed包进行安装的，是由于离线安装和在线的pip install安装方法在加载该包时方法不一样，因此会报如上错误。到离线包的位置找到accelerator，将该包拷贝到相应位置即可。安装完成以后没有该报错了。
Python｜Windows 安装 DeepSpeed 安装方法及报错 Unable to pre-compile async_io 处理
长行
06-19 1万+
下时，发现路径已存在。查看这 3 个文件，发现其中 Linux 中使用的重定向文件。但是，这里的用法时错误的，无法覆盖文件，且路径也是错误的。PowerShell 可以通过 Win + r 搜索 powershell 启动。安装，会触发如下报错信息。出现后，需使用如下方法完成安装。脚本编译，其中在配置环境变量后，也是通过。不会实现覆盖，所以需要手动删除掉。观察报错信息，可以看到是。可以看到，这三行尝试将。
DeepSpeed、vLLM 和 torchrun
最新发布
a533855的博客
10-22 2057
DeepSpeedvLLM和torchrun都是与和相关的工具或框架，但它们关注的领域和功能有所不同。
亲测解决unable to import torch, please install it if you want to pre-compile any deepspeed ops.
狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs
01-04 1945
这个问题是小虎在win上下载deepspeed导致。原因是windows不支持deepspeed。
封神榜系列模型基础环境(fengshenbang-LM-main),包括（deepspeed、jieba_fast）
shuaidan19920412的专栏
11-12 551
主要还是涉及到各类c相关的环境；尤其针对里面的 deepspeed，jieba_fast比较难安装的包进行记录。成功之后，在成功的目录 dist 下面执行. pip install deepxxx-any.whl。1. 需要安装torch、cuda（或者无）相关的环境，并验证（这块可以查一下资料）3. 编译选择 cmd，不要选择power shell，管理员权限打开。2. 安装 C相关编译环境。建议直接安装 visual studio。建议先看requirement中需要安装py包，一个一个安装。
import torch error
weixin_44894461的博客
05-28 1141
import torch error
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值