- 博客(3)
- 收藏
- 关注
RSS订阅原创 解决DeepSpeed Zero-3 is not compatible with `low_cpu_mem_usage=True` or with passing a `device_map`.
accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=2 /home/(路径)/train.py。首先尝试了在AutoModelForCausalLM.from_pretrained中加入device_map=“auto”而不是用python命令或者pycharm运行。具体如何在pycharm里运行还不清楚。训练时在自己用的服务器终端输入。微调大模型不知道怎么多卡并行。
2023-07-26 14:35:06
3322
2
原创 解决wandb login输入key后报错permission denied
这时需要参考https://blog.youkuaiyun.com/weixin_43835996/article/details/126955917的方法。这时需要借鉴https://blog.youkuaiyun.com/Kai_sunshine/article/details/128511521的方法。本人在服务器上用wandb，输完从官网复制的key后提示需要在没有权限的地方/temp/创建文件。改完再运行程序，到wandb官网上就可以看到训练进程啦。之后再运行程序，输完key后还会报错。其中name和config不变。
2023-07-15 21:44:42
3441
8
原创 解决AttributeError: module ‘bitsandbytes.nn‘ has no attribute ‘Linear8bitLt‘
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：撤销：Ctrl/Command + Z重做：Ctrl/Command + Y加粗：Ctrl/Command + B斜体：Ctrl/Command + I标题：Ctrl/Command + S
2023-07-14 16:47:24
3402
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人