自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

Garfield2005的专栏

Garfield2005 优快云认证博客专家优快云认证企业博客

码龄13年

40: 原创

24万+: 周排名

1万+: 总排名

45万+: 访问

: 等级

3291: 积分

148: 粉丝

325: 获赞

24: 评论

482: 收藏

私信

关注

热门文章

分类专栏

git 1篇
GPU 4篇
NVIDIA 4篇
部署 1篇
pytorch 5篇
python开发 2篇
通用代码 1篇
错误bug流水账 7篇
随笔 3篇
算法 23篇
程序语言 22篇
嵌入式
数据库
版本控制 2篇
Linux 1篇

最新评论

ImportError: /usr/local/lib/python3.8/dist-packages/flash_attn_2_cuda.cpython-38-x86_64-linux-gnu.so
chuangzhidian: [rank0]: UnboundLocalError: local variable 'out' referenced before assignment
ImportError: /usr/local/lib/python3.8/dist-packages/flash_attn_2_cuda.cpython-38-x86_64-linux-gnu.so
chuangzhidian: [rank0]: File "/usr/local/lib/python3.10/dist-packages/transformers/models/qwen2/modeling_qwen2.py", line 443, in forward [rank0]: attn_output = _flash_attention_forward( [rank0]: File "/usr/local/lib/python3.10/dist-packages/transformers/modeling_flash_attention_utils.py", line 297, in _flash_attention_forward [rank0]: attn_output = flash_attn_func( [rank0]: File "/usr/local/lib/python3.10/dist-packages/flash_attn-2.7.2.post1-py3.10-linux-x86_64.egg/flash_attn/flash_attn_interface.py", line 1189, in flash_attn_func [rank0]: return FlashAttnFunc.apply( [rank0]: File "/usr/local/lib/python3.10/dist-packages/torch/autograd/function.py", line 575, in apply [rank0]: return super().apply(*args, **kwargs) # type: ignore[misc] [rank0]: File "/usr/local/lib/python3.10/dist-packages/flash_attn-2.7.2.post1-py3.10-linux-x86_64.egg/flash_attn/flash_attn_interface.py", line 853, in forward [rank0]: return out if not return_softmax else (out, softmax_lse, S_dmask) [ran
ImportError: /usr/local/lib/python3.8/dist-packages/flash_attn_2_cuda.cpython-38-x86_64-linux-gnu.so
chuangzhidian: 源码安装，但还是会遇到和flash_attn相关的问题 [rank0]: Traceback (most recent call last): [rank0]: File "/usr/lib/python3.10/runpy.py", line 196, in _run_module_as_main [rank0]: return _run_code(code, main_globals, None, [rank0]: File "/usr/lib/python3.10/runpy.py", line 86, in _run_code [rank0]: exec(code, run_globals) [rank0]: File "/workspace/OpenRLHF/openrlhf/cli/train_sft.py", line 249, in <module> [rank0]: train(args) [rank0]: File "/workspace/OpenRLHF/openrlhf/cli/train_sft.py", line 132, in train [rank0]: trainer.fit(args, consumed_samples, num_update_steps_per_epoch) [rank0]: File "/workspace/OpenRLHF/openrlhf/trainer/sft_trainer.py", line 141, in fit [rank0]: output = self.model(inputs, attention_mask=attention_mask, return_output=True) [rank0]: File "/usr/local/lib/python3.10/dist-packages/torch/nn/modules/module.py", line 1736, in _wrapped_call_impl [rank0]: return self._call_impl(*args, **kwargs) [rank0]: File "/usr/local/lib/python3.10/dist-packages/t
Pegasus平台Pytorch源码编译
优快云-Ada助手: 不知道 Python入门技能树是否可以帮到你：https://edu.youkuaiyun.com/skill/python?utm_source=AI_act_python
在vs code中基于shell脚本的python代码调试
i_am_x919: 太感谢了！！！你和作者都是我的神

随笔

关注

关注数：文章数：3 文章阅读量：34050 文章收藏量：10

作者: Garfield2005

这个作者很懒，什么都没留下…

展开