sglang 快速入门跑 deepseek

模型下载：

下载 deepseek3 模型和前两层权重（1of163）：

https://huggingface.co/deepseek-ai/DeepSeek-V3/tree/main

注意要更改 congfig.json 设置：

"num_hidden_layers": 2,

安装 sglang :

可以使用 pip 直接安装

python3 -m pip install sglang

也可以 clone 库手动安装

https://github.com/sgl-project/sglang

安装依赖：

python3 -m pip install \  
    sglang \  
    pybase64 \  
    pydantic \  
    orjson \  
    uvicorn \  
    uvloop \  
    fastapi \  
    torch \  
    zmq \  
    transformers \  
    sgl-kernel \  
    dill \  
    compressed_tensors \  
    einops \  
    msgspec \  
    partial_json_parser \  
    python-multipart \  
    torchao \  
    xgrammar  

启动 sglang 服务

python3 -m sglang.launch_server --model ../deepseekv3/weight --tp 2 --trust-remote-code --port 48264

启动成功后可以使用网页访问模型信息

http://127.0.0.1:48264/get_model_info

和模型对话，可以使用如下 python 脚本，text: 即模型输入:

import requests

url = "http://127.0.0.1:48264/generate"
data = {
    "text": "你好。",
    "parameters": {
        "max_new_tokens": 50,
        "temperature": 0.7,
        "top_p": 0.9
    }
}

response = requests.post(url, json=data)
print(response.json())