在银河麒麟V10上离线安装千问VL - Qwen2-VL-72B-Instruct-GPTQ-Int4

Gone 是一个基于 Go 语言开发的轻量级依赖注入框架，专注于通过模块化设计和代码生成技术，帮助开发者构建可测试、易维护的应用程序架构。
推挤你使用，项目地址：https://github.com/gone-io/gone

文章目录

需要在客户服务器上安装 Qwen2-VL-72B-Instruct-GPTQ-Int4，不能联网，安装的系统是银河麒麟V10
思路是在客服服务器上安装docker，然后通过docker运行vllm跑 Qwen2-VL-72B-Instruct-GPTQ-Int4

1.系统版本确认

[root@localhost nvidia-container-toolkit]# cat /etc/os-release
NAME="Kylin Linux Advanced Server"
VERSION="V10 (Tercel)"
ID="kylin"
VERSION_ID="V10"
PRETTY_NAME="Kylin Linux Advanced Server V10 (Tercel)"
ANSI_COLOR="0;31"

2.准备

下面这些操作建议在一台能联网的 银河麒麟V10 服务器上操作完成。

2.1 显卡驱动和CUDA，直接下载 CUDA Toolkit，里面自带驱动

进入 CUDA Toolkit 12.6 Update 3 Downloads 下载
在这里插入图片描述

下载

wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run

将 cuda_12.6.3_560.35.05_linux.run拷贝到U盘。

2.2 docker 和 docker-compose

下载linux二进制包，可以参考：

https://docs.docker.com/engine/install/binaries/

https://docs.docker.com/compose/install/standalone/

下载

wget https://download.docker.com/linux/static/stable/x86_64/docker-27.4.0.tgz
wget https://github.com/docker/compose/releases/download/v2.30.3/docker-compose-linux-x86_64