单节点8xA800跑起来HuggingFace DeepSeek V2踩坑_a800单节点通信-优快云博客

本文链接：https://blog.youkuaiyun.com/just_sort/article/details/138616302

0x0. 背景

尝试跑起来HuggingFace上release的DeepSeek V2，踩了几个坑，这里给出解决的方法。HuggingFace提供的开源DeepSeek V2 repo链接为：https://huggingface.co/deepseek-ai/DeepSeek-V2

0x1. 报错1: KeyError: ‘sdpa’

这个问题社区也有人反馈了。https://huggingface.co/deepseek-ai/DeepSeek-V2/discussions/3

在这里插入图片描述

解决方法很简单，在工程里面的config.json最后加一句"_attn_implementation": "flash_attention_2"即可：

在这里插入图片描述

0x2. 报错2: 初始化阶段卡死

已经给accelerate提了一个pr解决这个问题。https://github.com/huggingface/accelerate/pull/2756

背景

当我尝试使用 transformers 库进行 deepseek-v2 模型推理时:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` should be set based on your devices
max_memory = {
   i: "75GB" for i in range(