【新手指南】pyqt可视化远程部署deepseek7B蒸馏版模型

原创

已于 2025-03-13 00:11:38 修改 · 955 阅读

15 ·

CC 4.0 BY-SA版权

文章标签：

#pyqt

于 2025-03-09 20:12:47 首次发布

本地效果：（如果想做这个的本科毕设，建议美化界面。）

总结：MobaXterm远程连接autodl服务器，在MobaXterm上利用X11转发使pyqt可视化页面在自己的电脑上展现出来。

1. 官网下载MobaXterm

MobaXterm free Xserver and tabbed SSH client for Windows，我认为这个比pycharm专业版连接autodl服务器更加好用。pycharm需要考虑同步，MobaXterm不需要点那么多同步设置。在MobaXterm上操作也比autodl上的jupyterlab好操作。

2. 在autodl上租服务器

一般一个小时1.6-2r。这里注意显存大小能否支撑起模型的参数量（关于这个具体是怎么判断的，我还不会，会了再补充）我租的是4090D，建议起个早租卡，现在是晚上八点，我刚才创建新的实例租卡租不了，但是早上八点我看有富余。

镜像可以选择社区镜像，我用的是V3版本，它自带了1.5B的模型。deepseek-ai/DeepSeek-R1/DeepSeek-R1: 【一键聊天，多维研究】 DeepSeek-R1，目前位居全球大模型竞技榜前三，性能对标OpenAIo1正式版。深度求索（DeepSeek）公司在2025年1月20日发布的最新模型！ - CG

3. MobaXterm连接autodl服务器

【MobaXterm】登录与连接服务器教程_mobaxterm怎么连接服务器-优快云博客

4. 我下载了7B的模型，注意下面下载到autodl-tmp目录中。

conda activate torch_env
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-7B --local-dir /root/autodl-tmp/DeepSeek-R1-Distill-Qwen-7B --resume-download

7B模型运行相比1.5那个应该只改了模型路径，运行后可以在终端与模型对话，输入exit退出：

文件名：deepseek_multichat-7B.py

终端运行输入：python deepseek_multichat-7B.py

import os
import json
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import unicodedata
from typing import List

@torch.inference_mode()
def generate(
    model: AutoModelForCausalLM,
    input_ids: torch.Tensor,
    attention_mask: torch.Tensor,
    max_new_tokens: int,
    temperature: float = 1.0
) -> List[int]:
    """
    Generate response from the model with attention_mask provided.
    """
    outputs = model.generate(
        input_ids=input_ids,
        attention_mask=attention_mask,  # 提供显式 attention mask
        max_new_tokens=max_new_tokens,
        temperature=temperature,
        eos_token_id=model.config.eos_token_id,
        pad_token_id=model.config.eos_token_id,
        do_sample