百川大模型（LLM）配置流程，零基础入门到精通，收藏这篇就够了

关注

原创最新推荐文章于 2026-07-21 21:24:43 发布 734 阅读 AI 写同款· GEO 优化 ›

【大模型】部署lora微调后的LLM（以百川为例）首先，大模型是补全模型，也就是说，我们输入一句话，模型接着这句话往下续写，补全后文。我们需要一个特殊的prompt，使得模型可以意识到，它续写的时候需要按照对话这种情境来续写。不同的模型有不同的prompt，真正的问题是需要包裹在prompt里面的。当我们需要使用其他加速框架部署大模型时，需要自己完成这一步：要么在传入问题时直接传prompt格式的问题，或者框架有模板接口可以按照自定义模板在后台自动化完成这种格式转化。如果想要多人同时使用大模型，那么需要使用专门的大模型推理加速框架，比如vllm，tgi。阅读详情

一、服务器配置

服务器
1	CPU	8C
2	内存	16G
3	硬盘	100G
4	显卡	显存8G以上（NVIDIA）
5	系统	Linux（Ubuntu20.04）

二、模型配置流程

1、NVIDIA显卡驱动安装

# 查看显卡硬件型号``sudo ubuntu-drivers list   #查询推荐显卡驱动版本``sudo apt-get install nvidia-driver-535 ## 535是驱动版本，根据显示的版本进行选择，建议选择最新版本``sudo apt-get update``# 重启服务器``sudo reboot``# 查看显卡驱动是否安装成功``nvidia-smi``# 如果显示类似以下内容证明驱动安装完成``Wed Sep 27 13:06:45 2023`       `+---------------------------------------------------------------------------------------+``| NVIDIA-SMI 535.86.05              Driver Version: 535.86.05    CUDA Version: 12.2     |``|-----------------------------------------+----------------------+----------------------+``| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |``| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |``|                                         |                      |               MIG M. |``|=========================================+======================+======================|``|   0  NVIDIA GeForce RTX 3080        Off | 00000000:01:00.0 Off |                  N/A |``| 51%   64C    P2             104W / 320W |   8485MiB / 10240MiB |      5%      Default |``|                                         |                      |                  N/A |``+-----------------------------------------+----------------------+----------------------+`                                                                                         `+---------------------------------------------------------------------------------------+``| Processes:                                                                            |``|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |``|        ID   ID                                                             Usage      |``|=======================================================================================|``|    0   N/A  N/A       947      G   /usr/lib/xorg/Xorg                            9MiB |``|    0   N/A  N/A      1461      G   /usr/bin/gnome-shell                          4MiB |``+---------------------------------------------------------------------------------------+

2、docker安装

# 安装docker``sudo apt-get install docker.io``# docker命令免root权限执行``# 创建docker用户组，若已有docker组会报错，没关系可忽略` `sudo groupadd docker``# 将当前用户加入docker组``sudo gpasswd -a ${USER} docker``# 重启docker服务``sudo service docker restart``# 切换当前会话到新group或重新登录重启会话``newgrp docker

3、镜像下载

# wget http://请飞书联系常瑞明.发你

4、镜像加载

# 进入镜像存放的目录，执行下面命令将镜像加载到服务器``# CPU版本``cat dl_7b_chat_cpu_v1.0.tar | docker load``cat dl_13b_chat_cpu_v1.0.tar | docker load``   ``# GPU版本``cat dl_7b_chat_gpu_v1.0.tar | docker load``cat dl_7b_chat_4bits_gpu_v1.0.tar | docker load``cat dl_13b_chat_gpu_v1.0.tar | docker load``cat dl_13b_chat_4bits_gpu_v1.0.tar | docker load

5、镜像容器生成

# 通过进行生成容器``# CPU版本：7B占用内存15G左右，13B占用内存60G左右``docker run -it --privileged=true -p 7333:7333 --name=dl_7b_chat_gpu_v1 e310d8d975f5 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run -it --privileged=true -p 7333:7333 --name=dl_13b_chat_gpu_v1 2fe7dd3f4f9e gunicorn api:app -c conf.py --bind=0.0.0.0:7333``   ``# GPU版本：7B显存占用16G左右，7B-4Bits显存占用8G左右，13B显存占用34G左右，13B-4Bits显存占用16G左右``# --gpus all命令是将全部显卡与容器进行连接，指定特定显卡：--gpus '"device=0"'（0代表第一张显卡，通过nvidia-smi可以查看显卡编号）``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_7b_chat_gpu_v1 4ba88965ca92 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_7b_chat_4bits_gpu_v1 66bf63aa7eff gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_13b_chat_gpu_v1 39c426074bc0 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_13b_chat_4bits_gpu_v1 5377a65506e8 gunicorn api:app -c conf.py --bind=0.0.0.0:7333

6、测试接口

# -*- coding: utf-8 -*-``"""``@author  ：chang``@date    ：2024年01月30日 15:37:14``@file    ：chat_client.py``@IDE     ：PyCharm` `@content ：百川大模型接口调用``"""``import requests``import json``   ``   ``if __name__ == '__main__':`    `request_url = 'http://ip:port/inference/'`    `params = {"content": "你叫什么"}`    `headers = {'content-type': 'application/x-www-form-urlencoded'}`    `result = requests.post(request_url, data=params, headers=headers)`    `if result.status_code == 200:`        `json_obj = json.loads(result.content.decode('utf-8'))`        `print(json_obj)`    `else:`        `print(f"Request failed with status code: {result}")