纯cpu部署vllm运行大模型并对接openwebui
将宿主机的 /home/aimodels/目录挂载到容器内的 /home/llm_deploy 目录。允许容器访问宿主机的共享内存,这对于 PyTorch 等框架在多进程推理时共享数据非常重要。将容器内部的 8000 端口映射到宿主机的 8888 端口,方便从宿主机访问容器内的服务。1、在github上拉取vllm的信息,有dockerfile文件 可以直接打包镜像。别的具体信息可以查看open-webui的github的README文件。3、拉取大模型,可以进入魔塔社区拉取需要的镜像。
原创
2025-03-03 09:41:44 ·
1660 阅读 ·
4 评论