容器搭建vivo蓝心大模型

本文详细介绍了如何在容器环境下搭建和使用VIVO的BlueLM-7B-Chat-4bit模型,涉及硬件需求、CUDA容器镜像的使用、Anaconda安装、依赖软件配置以及模型的部署和测试过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        本文将详述在容器环境中搭建VIVO的BlueLM-7B-Chat-4bit模型的过程,与各位朋友分享我在实践中的心得与体验。希望能为热衷于大模型的朋友们提供一条便捷之路,同时也欢迎各位对我的搭建方法提出宝贵意见,共同进步。

1 硬件需求

        该模型对硬件有一定要求,主要依赖于GPU进行推理,而在CPU和NPU上推理较为困难。经过测试,4bits量化模型大约需要7G的显存。为了满足这一需求,我选择了一台配备Tesla T4显卡的GPU服务器,其显存大小为16G。

        首先在GPU服务器上查看显卡使用情况:执行nvidia-smi,可以选择一块内存使用率不高的显卡,如下图的4号显卡。

        由于GPU资源的稀缺,目前多人共用一台GPU服务器甚至一张显卡,在这个条件下采用容器化部署模式更高效;而若采用虚机方式部署虽然可以独占显卡,但需要开启GPU直通,需要重启主机以在BIOS中开启这个选项,过程较为繁琐。

2 下载cuda容器镜像

        为了省略容器内安装CUDA驱动的环节,可以直接使用nvidia/cuda的官方容器镜像,这里使用cuda-11.7.1版本,原因是该模型依赖该版本,而其他版本如cuda-12.1则不被支持,需要注意的是:GPU服务器上安装的CUDA版本为12.1,GPU服务器上运行的的docker容器内部署的CUDA版本为11.7,在容器内执行nvidia-smi依然显示为宿主机的CUDA版本12.1,而不是11.7,但该现象并不影响后续的安装,此外镜像需下载devel开发版,后续编译过程则无需安装其他编译工具。

docker pull nvidia/cuda:11.7.1-devel-ubuntu22.04

3 创建和运行cuda容器

        使用如下命令启动容器,注意若选择多块显卡,"device=n,m"需要使用单引号括起来;此外,由于GPU服务器安装的docker版本较低(19.03.9),存在一些BUG,会造成一些系统调用无法正确执行,这里添加的选项--security-opt seccomp:unconfined将禁用seccomp限制,使容器中的进程能够访问所有系统调用。

        docker run -idt --gpus '"device=4,5"' --network=host --security-opt seccomp:unconfined --name cuda-11.7.1 nvidia/cuda:11.7.1-devel-ubuntu22.04

        注意:后续全部操作均在容器内进行:

        docker exec -it cuda-11.7.1 bash

4 安装Anaconda

        安装Anaconda3:本人在安装到最后时出现无法添加环境变量的问题,需要手工添加配置到~/.bashrc:

# >>> conda initialize >>>

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值