k8s单机多卡运行mindie-service

构建mindie的镜像

下载mindie基础镜像mindie:1.0.RC3-T3.B062-800I-A2-arm64

我使用的最新的rc3 b062

docker load -i image.tar

后使用镜像构建容器测试

docker run --privileged --net=host -itd -u root --name=yyh_test \
-v /home/yyh:/home/yyh \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /etc/ascend_install.info:/etc/ascend_install.info:ro \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi:ro \
mindie:1.0.RC3-T3.B062-800I-A2-arm64 \
bash

如果有docker runtime可以简化启动

docker run -e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 --net=host -itd -u root --name=yyh_test2 \
-v /home/yyh:/home/yyh \
ubuntu-infer:v1 \
bash

ascend docker runtime使用

-e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 指定设备

runtime会自动挂载驱动目录

我这里使用的Meta-Llama-3-8B

权重下载

• Llama3-8B

修改/usr/local/Ascend/mindie/latest/mindie-servic/conf/config.json

主要将httpsEnabled修改为false

ModelConfig中的"modelName" : "Meta-Llama-3-8B"和"modelWeightPath" : "/home/yyh/model/Meta-Llama-3-8B"修改自己模型的路径和名字

然后执行

#!/bin/bash
set -e
cd /usr/local/Ascend/mindie/latest/mindie-service/
./bin/mindieservice_daemon

发现Daemon start success!说明mindie-service启动成功，镜像完成测试可以使用。

我为了简化配置使用Dockerfile对镜像中的配置文件做了修改，也可以使用启动脚本对config.json进行修改

FROM mindie:1.0.RC3-T3.B062-800I-A2-arm64
# 设置工作目录
WORKDIR /usr/local/Ascend/mindie/latest/mindie-service/conf/

# 备份原始的 config.json
RUN cp config.json config.json.bak

# 使用sed修改httpsEnabled、modelName和modelWeightPath
RUN sed -i 's/"httpsEnabled" : true/"httpsEnabled" : false/' config.json && \
    sed -i 's/"modelName" :