autodl运行模型报错

部署运行你感兴趣的模型镜像

autodl V100 运行HuaTuo-o1,报错

File ~/miniconda3/lib/python3.10/site-packages/transformers/models/qwen2/modeling_qwen2.py:191, in Qwen2Attention.forward(self, hidden_states, position_embeddings, attention_mask, past_key_value, cache_position, **kwargs)
    188     else:
    189         attention_interface = ALL_ATTENTION_FUNCTIONS[self.config._attn_implementation]
--> 191 attn_output, attn_weights = attention_interface(
    192     self,
    193     query_states,
    194     key_states,
    195     value_states,
    196     attention_mask,
    197     dropout=0.0 if not self.training else self.attention_dropout,
    198     scaling=self.scaling,
    199     sliding_window=sliding_window,  # main diff with Llama
    200     **kwargs,
    201 )
    203 attn_output = attn_output.reshape(*input_shape, -1).contiguous()
    204 attn_output = self.o_proj(attn_output)

File ~/miniconda3/lib/python3.10/site-packages/transformers/integrations/sdpa_attention.py:48, in sdpa_attention_forward(module, query, key, value, attention_mask, dropout, scaling, is_causal, **kwargs)
     45 if is_causal is None:
     46     is_causal = causal_mask is None and query.shape[2] > 1
---> 48 attn_output = torch.nn.functional.scaled_dot_product_attention(
     49     query,
     50     key,
     51     value,
     52     attn_mask=causal_mask,
     53     dropout_p=dropout,
     54     scale=scaling,
     55     is_causal=is_causal,
     56 )
     57 attn_output = attn_output.transpose(1, 2).contiguous()
     59 return attn_output, None

RuntimeError: cutlassF: no kernel found to launch! 

报错了,是因为gpu资源,改用半精度就解决了

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.15

TensorFlow-v2.15

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值