CentOS 7 下通过 Anaconda3 运行llm大模型、deepseek大模型的完整指南

A1 CentOS 7 下通过 Anaconda3 运行大模型的完整指南

综合最佳实践和关键注意事项：

---

一、环境准备

1. 安装 Anaconda3

   • 推荐从清华镜像源下载最新版（如 Anaconda3-2024.10-Linux-x86_64.sh），避免官网下载速度慢的问题。
   • 安装时选择自定义路径（如 /opt/anaconda3），避免系统盘空间不足。

2. 验证安装

   conda --version  # 确认版本
   nvidia-smi       # 检查GPU驱动和CUDA版本（需≥11.8）
   

---

二、创建专用环境

1. 新建 Python 环境

   conda create --name llm_env python=3.10 -y  # 推荐Python 3.10兼容性最佳
   conda activate llm_env
   

2. 安装依赖库

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # 匹配CUDA 11.8
   pip install transformers accelerate vllm  # 基础大模型库
   

---

三、模型部署与运行

1. 下载模型权重

   • 从Hugging Face或ModelScope获取模型（如 deepseek-ai/DeepSeek-V3）：

     git lfs install
     git clone https://h