purplePassionwu的博客

原创 昇腾镜像mis-tei运行embedding/reranker模型

设置环境变量：export ASCEND_VISIBLE_DEVICES_BGE=2。查环境变量：echo $ASCEND_VISIBLE_DEVICES。BAAI/bge-reranker-v2-m3：为模型名称。主要是添加参数--privileged=true。bge-reranker-v2-m3端口8090。e2510136c88c：为mis-tei镜像。查看设备信息：npu-smi info。bge-m3端口8091。