- 博客(5)
- 资源 (9)
- 收藏
- 关注
原创 小白部署Baichuan2-7B-Chat-4bits和部署Baichuan2-7B-Chat-4bits和Baichuan2-13B-Chat手册
最近部署运行baichuan2,走了一些弯路,记录下来供参考。主要是遇到的问题及解决方式CUDA 11.8、python3.10、torch-2.0.1+cu118-cp310-cp310-linux_x86_64.whl、xformers-0.0.22.post3-py310_cu11.8.0_pyt2.0.1.tar.bz2、transformers 4.33.1、bitsandbytes(需支持cuda118版)
2023-10-26 15:22:35
2836
原创 baichuan2部署中,各种属性不存在的报错
现在用:/home/ubuntu/anaconda3/envs/baichuan2/bin/streamlit run web_ui2.py 可正常启动,正常回答。还能避免命令行启动输入中文删除后报字符转码错误。升级cuda到11.8后,更新对应的torch xformers。Bitsandbytes , 问题都解决了。Torch需要升级到2.0.1.对应的。
2023-10-26 14:56:54
1381
Notes7操作手册
2011-12-06
java源文件打包成exe教程and工具
2011-05-11
fatjar+如何把java工程打成可执行的jar步骤
2009-10-31
在一个bundle中获得一个服务的不同对象
2009-06-22
怎样在eclipse查看.class文件.jar
2009-05-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人