Ubuntu 22.04 配置LLM大语言模型环境

最新推荐文章于 2025-07-10 09:58:41 发布
最新推荐文章于 2025-07-10 09:58:41 发布
阅读量3.6k 收藏 28
点赞数 19
CC 4.0 BY-SA版权
文章标签： ubuntu linux LLM 大语言模型 gpt chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/flymyd/article/details/135158504

本文介绍了清洁安装的Ubuntu Server 22.04 LTS安装NVIDIA显卡驱动、CUDA 12.1、cuDNN的方法及ChatGLM3、百川2、FastChat等大语言模型的部署使用方法。

安装NVIDIA驱动

禁用nouveau

sudo vi /etc/modprobe.d/blacklist.conf

尾部追加一行

blacklist nouveau

执行并重启系统

sudo update-initramfs -u
reboot

检查nouveau是否关闭成功，应当无输出

lsmod | grep nouveau

安装535驱动

sudo apt update
sudo apt install nvidia-driver-535 -y

当然，也可以查询推荐驱动，选择recommended的版本安装：

ubuntu-drivers devices

装完后执行nvidia-smi验证，应该有正确的输出。

安装CUDA12.1

下载并执行：

wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run
chmod +x cuda_12.1.0_530.30.02_linux.run
sh cuda_12.1.0_530.30.02_linux.run

执行后要等一会加载，然后进入交互式界面，按如下步骤操作：

  • 提示已经存在驱动…选择continue
  • 阅读并接受协议，输入accept回车
  • 上下光标选中- [X] Driver列，按空格以取消勾选驱动，再选择Install回车
  • 等待安装完成

编辑环境变量：

vi ~/.bashrc
尾部追加：
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH
执行：
source ~/.bashrc

验证：

nvcc --version
systemctl status nvidia-persistenced

均应输出有效信息。

安装NVIDIA-Docker（可选）

官网文档链接：https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

  • 添加源并安装：
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit nvidia-container-runtime
  • 在安装好Docker后，执行如下操作以配置Docker：
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
  • 执行以下命令验证
docker run --gpus all -it --name nvtest nvidia/cuda:12.3.1-base-ubuntu22.04 /bin/sh
nvidia-smi

附：

  • 使用所有GPU

    docker run --gpus all nvidia/cuda:12.3.1-base-ubuntu22.04 nvidia-smi

  • 使用两个GPU

    docker run --gpus 2 nvidia/cuda:12.3.1-base-ubuntu22.04 nvidia-smi

  • 指定GPU运行

    docker run --gpus '"device=1,2"' nvidia/cuda:12.3.1-base-ubuntu22.04 nvidia-smi

    docker run --gpus '"device=UUID-ABCDEF,1"' nvidia/cuda:12.3.1-base-ubuntu22.04 nvidia-smi

安装cuDNN（可选）

官网文档链接：https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html#installlinux-deb

记得安装zlib：

sudo apt-get install zlib1g

安装Miniconda

  • 下载并安装miniconda：
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh
source ~/.bashrc
  • conda和pip换源
conda config --set show_channel_urls yes
vi ~/.condarc

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
ssl_verify: false

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

使用ModelScope下载模型到本地

  • 新建一个下载模型的脚本download_model.py
import sys
from modelscope import snapshot_download

if len(sys.argv) < 2:
    print("Usage: python download_model.py <model_name>")
    sys.exit(1)

model_name = sys.argv[1]
model_dir = snapshot_download(model_name, revision="master")
print(model_dir)
  • 再新建一个shell脚本dl_model.sh用于拉起模型下载脚本
#!/bin/bash

if [ "$#" -ne 1 ]; then
    echo "Usage: <model_name>"
    exit 1
fi

python download_model.py "$1"

设置代理脚本（加速github等）

  • 设置代理setproxy
#!/bin/sh

# for terminal
export proxyserveraddr=192.168.114.114
export proxyserverport=7890
export HTTP_PROXY="http://$proxyserveraddr:$proxyserverport/"
export HTTPS_PROXY="https://$proxyserveraddr:$proxyserverport/"
export FTP_PROXY="ftp://$proxyserveraddr:$proxyserverport/"
export SOCKS_PROXY="socks://$proxyserveraddr:$proxyserverport/"
export NO_PROXY="localhost,127.0.0.1,localaddress,.localdomain.com,可以新增你想过滤的ip段;"
export http_proxy="http://$proxyserveraddr:$proxyserverport/"
export https_proxy="https://$proxyserveraddr:$proxyserverport/"
export ftp_proxy="ftp://$proxyserveraddr:$proxyserverport/"
export socks_proxy="socks://$proxyserveraddr:$proxyserverport/"
export no_proxy="localhost,127.0.0.1,localaddress,.localdomain.com,可以新增你想过滤的ip段;"

# for apt-get
cat <<-EOF| sudo tee /etc/apt/apt.conf
Acquire::http::proxy "http://$proxyserveraddr:$proxyserverport/";
Acquire::https::proxy "https://$proxyserveraddr:$proxyserverport/";
Acquire::ftp::proxy "ftp://$proxyserveraddr:$proxyserverport/";
Acquire::socks::proxy "socks://$proxyserveraddr:$proxyserverport/";
EOF
  • 取消代理unsetproxy
#!/bin/sh
unset proxyserveraddr
unset proxyserverport
unset HTTP_PROXY
unset HTTPS_PROXY
unset FTP_PROXY
unset SOCKS_PROXY
unset NO_PROXY
unset http_proxy
unset https_proxy
unset ftp_proxy
unset socks_proxy
unset no_proxy
gsettings reset org.gnome.system.proxy ignore-hosts
echo -n ""|sudo tee /etc/apt/apt.conf
  • 使用方法：
source setproxy
source unsetproxy

部署ChatGLM3

  1. 创建虚拟环境
conda create -n chatglm python=3.11
  1. 激活，开搞
conda activate chatglm
git clone https://github.com/THUDM/ChatGLM3.git
pip install modelscope
pip install -r requirements.txt
  1. 安装pytorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia
  1. 下载模型
dl_model.sh ZhipuAI/chatglm3-6b

下载的模型路径为/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b

  1. 编写composite_demo启动脚本（openai_api_demo等同理）
cd /root/ChatGLM3/composite_demo
vi start.sh

以下是start.sh的内容

export MODEL_PATH=/root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b
streamlit run main.py

如果要使用composite_demo的code interpreter，首次启动前记得执行：

ipython kernel install --name chatglm3 --user

部署百川2

前面的虚拟环境准备、代码库拉取、模型下载等第1~4节和ChatGLM3差不多。

百川2的git仓库地址是https://github.com/baichuan-inc/Baichuan2.git

魔搭的模型名是baichuan-inc/Baichuan2-7B-Chat（或13B）

配置：修改启动脚本的init_model函数

vi Baichuan2/web_demo.py

web_demo.py的修改后函数如下：

@st.cache_resource
def init_model():
    model = AutoModelForCausalLM.from_pretrained(
        "/root/.cache/modelscope/hub/baichuan-inc/Baichuan2-7B-Chat",
        torch_dtype=torch.float16,
        device_map="auto",
        trust_remote_code=True
    )
    model.generation_config = GenerationConfig.from_pretrained(
        "/root/.cache/modelscope/hub/baichuan-inc/Baichuan2-7B-Chat"
    )
    tokenizer = AutoTokenizer.from_pretrained(
        "/root/.cache/modelscope/hub/baichuan-inc/Baichuan2-7B-Chat",
        use_fast=False,
        trust_remote_code=True
    )
    return model, tokenizer

如果要以int8量化模式运行，在torch_dtype=torch.float16,后添加一行load_in_8bit=True,即可。

执行：streamlit run web_demo.py

搭建FastChat服务

  • 搭建FastChat环境
conda create -n fastchat python=3.11
conda activate fastchat
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip
pip3 install -e ".[model_worker,webui]"

  • 写一组FastChat启动脚本：

    fastchat.sh（使用anaconda就把miniconda3换成anaconda3）

#!/bin/bash 
source ~/miniconda3/etc/profile.d/conda.sh
conda activate fastchat
if [ $? -ne 0 ]; then
    echo "Failed to activate Anaconda environment 'fastchat'."
    exit 1
fi
/root/fastchat-process/main.sh "$@"
  • 创建相关文件和文件夹
mkdir ~/fastchat-process
touch /root/fastchat-process/controller.log
touch /root/fastchat-process/gradio_web_server.log
touch /root/fastchat-process/model_worker.log
touch /root/fastchat-process/openai_api_server.log
  • 创建fastchat-process/main.sh
#!/bin/bash

source ~/anaconda3/etc/profile.d/conda.sh
conda activate fastchat

wait_for_startup() {
    while ! grep -q "Application startup complete" <(tail -n 10 -f "$1"); do
        sleep 1
    done
}

python3 -m fastchat.serve.controller &> "/root/fastchat-process/controller.log" &
echo "Controller is starting..."
wait_for_startup /root/fastchat-process/controller.log

python3 -m fastchat.serve.model_worker --model-path "$1" &> "/root/fastchat-process/model_worker.log" &
echo "Model worker is starting with model path $1..."
wait_for_startup /root/fastchat-process/model_worker.log

python3 -m fastchat.serve.openai_api_server --host localhost --port "$2" &> "/root/fastchat-process/openai_api_server.log" &
echo "OpenAI API server is starting on localhost:$2..."
wait_for_startup /root/fastchat-process/openai_api_server.log

python3 -m fastchat.serve.gradio_web_server &> "/root/fastchat-process/gradio_web_server.log" &
echo "Gradio web server is starting..."
wait_for_startup /root/fastchat-process/gradio_web_server.log

echo "All services have been started and are ready."

用法：./fastchat.sh /root/Yi-6B-Chat 8000

这将启动一个OPENAI_API端口为8000的服务和一个gradio web服务。具体日志可以在对应log中找到。

flymyd
关注
Nvidia 系列 之 在 Ubuntu 22.04 中为 LLM 设置 Nvidia GPU
iCloudEnd的博客
08-01 475
在开始安装之前，我们先来了解一下要安装的内容：Nvidia 驱动程序 — 这是 Nvidia 的硬件驱动程序。安装前请先了解您的显卡型号。CUDA 工具包 — CUDA 工具包由 Nvidia 提供。它包含 GPU 加速环境中的库、编译器、开发工具和示例、CUDA 运行时等。cuDNN — Nvidia cuDNN 以 CUDA 深度神经网络为基础。它是一个针对 DNN 计算的高度优化的 GPU 加速库。
Ubuntu22.04本地部署qwen模型、jupyterlab开发环境、LoRA微调全流程
weixin_42118737的博客
05-18 3534
这段时间在自己的Win11系统上部署了chatGLM以及Qwen模型，进行对话、推理以及工具调用都没有问题，但是在尝试进行微调的时候发现好像并不能成功，因此花费了很大的力气，又分别在ubuntu桌面版、windows子系统WSL2 Ubuntu上部署了Qwen模型，并尝试进行LoRA的微调实践。由于过程比较多，步骤较为繁琐，我可能会分几个部分进行叙述。首先介绍一下我的两个环境（平民玩家，勿喷）：一台笔记本安装的Ubuntu22.04桌面版：显卡是1070M 8G。
Ubuntu下python3.12安装, 分布式 LLM 推理 exo 安装调试过程, 运行自己的 AI 集群
weixin_43688085的博客
08-03 3244
分布式LLM推理,AI集群安装教程,ubuntu22.04不编译安装python3.12,安装pip3.12,ubuntu安装分布式推理AI集群exo.本地运行分布式LLM推理离线运行exo,安装调试分布式LLM推理AI集群exo,离线运行AI集群,安装调试AI集群exo;Nomodulenamed'apt_pkg'报错的解决方法
在 Ubuntu 22 部署 vLLM + Qwen3 32B 模型
最新发布
分享关于Java编程、数据库管理和信息安全方面的最佳实践
07-10 880
本文详细介绍了在Ubuntu 22系统上部署vLLM和Qwen3 32B大语言模型的完整流程。主要内容包括：1) 系统环境准备，包括安装Python、CUDA等基础依赖；2) 安装和配置vLLM推理引擎；3) 下载Qwen3 32B模型权重；4) 启动vLLM API服务并加载模型；5) 参数优化建议，如GPU加速设置、显存管理和并行推理配置；6) 通过API调用进行文本生成的示例；7) 常见问题解决方案，如GPU识别、模型加载和内存溢出等问题。该指南适用于需要高性能部署大规模语言模型的开发者，提供了从环境
大模型开发入门指南：基础知识及环境搭建详细解析，助你轻松开启AI开发之旅！
2401_85343303的博客
06-13 934
本文介绍了大模型开发的基础知识和环境配置方法，帮助读者快速入门AI开发。文章首先讲解了机器学习、深度学习、神经网络等核心概念，并区分了NLP、CV等AI分支领域。重点介绍了Python虚拟环境搭建、GPU版PyTorch安装、Transformers库配置等关键开发环境部署步骤。此外，还提供了大模型学习路线和资源获取方式，涵盖系统设计、提示词工程、平台开发、知识库应用等7个阶段的完整学习路径。文章旨在降低大模型开发门槛，为AI初学者提供实用的技术指导。
桌面显卡RTX4070安装Ubuntu系统部署vLLM环境
衡水铁头哥的博客
03-17 1774
虽然显存够大，但是架构版本是6.1的Pascal架构，不支持FP16，需要到7.0版本的Volta架构才支持，也就是到Tesla V100这一代；开始操作之前，先介绍一下软件版本信息：vLLM的当前最高版本为0.7.4，能支持的PyTorch最高版本为2.5.1，对应的CUDA版本最高为12.4，对应的操作系统为Ubuntu 22.04 LTS，显卡驱动为550.144.03。好了，到这里，vLLM环境就准备好了，后面，我们就能下载DeepSeek模型文件来进行测试了。
在Ubuntu系统下部署大语言模型
2401_85378759的博客
06-20 1041
在Ubuntu系统下部署大语言模型，可以使用Hugging Face的Transformers库来加载和使用预训练的模型。
大模型部署手记（22）Ubuntu+TensorRT-LLM+通义千问
张小白
10-31 1647
Ubuntu+TensorRT-LLM+通义千问
ubuntu22.04部署语音助手
brain1234的博客
09-02 1001
ubuntu22.04安装语音小助手。
5 -《本地部署开源大模型》在Ubuntu 22.04系统下ChatGLM3-6B高效微调实战
u010442263的博客
10-15 1712
在Ubuntu 22.04系统下ChatGLM3-6B高效微调实战
在ubuntu22.04上部署RagFlow一个深度文档理解的开源 RAG
BBM的博客
08-23 6928
RAGFlow 是一个基于深度文档理解的开源 RAG（Retrieval-Augmented Generation）引擎。它为任何规模的企业提供简化的 RAG 工作流程，结合 LLM（大型语言模型）以提供真实的问答功能，并由来自各种复杂格式数据的有根据的引用提供支持。
Ubuntu使用 NVIDIA GPU 和 CUDA 设置 LLM 的训练、微调和推理
知来者逆的博客
06-22 1573
近年来，人工智能领域取得了令人瞩目的进步，其核心是图形处理单元（GPU）和并行计算平台的强大组合。大模型如 GPT、BER能够理解和生成具有前所未有的流畅性和连贯性的类人文本。然而，训练这些模型需要大量的数据和计算资源，因此 GPU 和 CUDA 是这一努力中不可或缺的工具。这个博客演示了在 Ubuntu 上设置 NVIDIA GPU 的过程，涵盖 NVIDIA 驱动程序、CUDA 工具包、cuDNN、PyTorch 等基本软件组件的安装。
在Ubuntu22.04下使用Docker和FastChat部署大模型LLM
weixin_43589205的博客
04-12 2055
在Ubuntu22.04下使用Docker和FastChat部署大模型LLM
【AI】Ubuntu 22.04 4060Ti 16G vllm-api部署Qwen3-8B-FP8
hknaruto的专栏
05-06 738
【代码】【AI】Ubuntu 22.04 4060Ti 16G vllm-api部署Qwen3-8B-FP8。
Ubuntu安装大模型LLama，实操步骤
05-20 1281
步骤很详细，需要科学上网。
【总结篇】LLM推理环境安装部署全指南
flymyd的博客
02-25 6023
本文介绍了安装WSL2、Ubuntu、NVIDIA显卡驱动、CUDA 12.4.1、cuDNN的方法及Xinference、vLLM、SGLang等推理框架的部署使用方法。本文适用于NVIDIA显卡用户，建议GPU架构为Turing或更新（对应RTX 20系或以上）。
大模型部署手记（14）Chinese-LLaMA-Alpaca-2+Ubuntu+vLLM
张小白
10-17 1369
组织机构：Meta（Facebook）模型：chinese-alpaca-2-7b-hf下载：使用百度网盘下载硬件环境：暗影精灵7PlusUbuntu版本：18.04内存 32GGPU显卡：Nvidia GTX 3080 Laptop （16G）
Ubuntu22.04部署VLLM+DeepSeek-R1-0528-Qwen3-8B、Qwen3-Embedding-8B、Qwen3-Reranker-8B并接入Dify
qq_22130553的博客
07-09 260
Ubuntu22.4部署VLLM+DeepSeek-R1-0528-Qwen3-8B、Qwen3-Embedding-8B并接入Dify
安装vllm
m0_52111823的博客
04-11 607
uv创建基于Python 3.11的虚拟环境，参考。查看版本对应关系，下载12.1对应的whl包，包，因为vllm项目默认为没有该包。开始安装whl包，然后安装。
ubuntu22.04 大模型微调DEEPSEEK
03-27
<think>好的，用户想在Ubuntu 22.04上对DeepSeek大模型进行微调。我需要先理解他们的需求。DeepSeek的模型可能像其他大型语言模型一样，需要特定的环境和工具来进行微调。首先，我应该考虑硬件需求，比如是否有足够的GPU资源，因为大模型训练通常需要高性能的GPU和足够的内存。 然后，用户可能已经安装了Ubuntu 22.04，但需要确认系统依赖项。常见的依赖包括Python环境、CUDA、cuDNN等。可能需要指导他们安装这些依赖，或者检查现有版本是否符合要求。 接下来，用户可能需要获取DeepSeek模型的代码和预训练权重。可能需要从GitHub克隆仓库，或者通过其他渠道下载。这里需要注意权限问题，是否有公开的代码库可用。例如，引用[3]提到使用docker-compose来启动服务，可能用户已经有部分环境配置，但微调可能需要不同的设置。 微调通常涉及准备数据集，用户需要知道数据格式的要求，比如是否使用特定格式如JSON、CSV等。数据预处理步骤可能包括清洗、分词等，可能需要使用Hugging Face的库，如datasets，或者自定义脚本。 然后，配置微调参数是关键。学习率、批次大小、训练轮数等参数需要根据具体任务调整。这里可能需要引用DeepSeek的文档，如果有的话，或者推荐通用的大模型微调实践。 训练过程中，监控资源使用和模型表现是必要的。用户可能需要使用如TensorBoard或logging工具来跟踪训练进度。此外，检查点保存和恢复功能也是重要的，以防训练中断。 验证和测试阶段，用户需要评估模型在测试集上的表现，可能涉及BLEU、ROUGE等指标，或者特定领域的评估方法。最后的应用部署可能需要将模型导出为可用格式，并集成到现有系统中。 用户可能遇到的问题包括环境配置错误、依赖冲突、显存不足等。需要提供一些常见问题的解决方法，比如调整批次大小，使用混合精度训练，或者梯度累积。 另外，引用[1]提到DeepSeek与华为昇腾芯片的优化，如果用户有相关硬件，可能需要特定的配置步骤。不过大多数情况下，可能假设用户使用NVIDIA GPU，所以需要明确说明。 最后，生成相关问题时要考虑用户可能的后续需求，比如性能优化、部署、数据处理工具的选择等。需要确保回答结构清晰，步骤详细，并且参考了提供的引用内容，比如引用[3]中的docker-compose示例，可能需要结合到环境配置部分。</think>在Ubuntu 22.04上对DeepSeek大型语言模型进行微调需要遵循以下步骤： ### 一、环境准备 1. **硬件要求** - 推荐使用NVIDIA GPU（至少24GB显存） - 系统内存建议64GB以上 - 存储空间需要500GB SSD（用于存放模型和数据集） 2. **系统依赖安装** ```bash sudo apt update && sudo apt install -y python3.10 python3-pip docker.io nvidia-container-toolkit ``` ### 二、软件环境配置 1. **Python虚拟环境** ```bash python3 -m venv deepseek-env source deepseek-env/bin/activate ``` 2. **安装PyTorch（适配CUDA版本）** ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 ``` 3. **安装模型训练库** ```bash pip install transformers==4.35.0 datasets==2.14.5 accelerate==0.24.1 ``` ### 三、模型获取与准备 1. **获取DeepSeek模型权重** ```bash git clone https://github.com/deepseek-ai/DeepSeek-LLM.git cd DeepSeek-LLM && mkdir checkpoints ``` （需申请官方模型权重许可后获取预训练模型） 2. **Docker环境配置（参考引用[3]）** ```bash echo "DEEPKEEP_MODEL=/path/to/checkpoints" >> .env docker-compose -f docker-compose.yml up -d ``` ### 四、微调流程 1. **数据准备** - 格式要求：JSONL文件格式 ```json {"prompt": "问题文本", "response": "参考答案"} ``` 2. **配置微调参数** ```python from transformers import TrainingArguments training_args = TrainingArguments( output_dir="./results", num_train_epochs=3, per_device_train_batch_size=4, gradient_accumulation_steps=2, learning_rate=2e-5, fp16=True ) ``` 3. **启动微调** ```python from transformers import Trainer trainer = Trainer( model=model, args=training_args, train_dataset=dataset, ) trainer.train() ``` ### 五、验证与部署 1. **模型验证** ```python input_text = "用户输入样例" inputs = tokenizer(input_text, return_tensors="pt") outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0])) ``` 2. **性能优化（参考引用[1]）** - 使用华为昇腾910B芯片加速： ```bash export HCCL_OP_BASE_FFTS_MODE=ENV ``` ### 常见问题解决 1. **显存不足**：减小`per_device_train_batch_size`值 2. **依赖冲突**：使用Docker隔离环境（参考引用[3]） 3. **训练不稳定**：尝试添加`--gradient_checkpointing`参数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值