EdenLix的博客

原创 llama.cpp 多机部署总结

当前使用了7个 rpc-server，因 GGML 默认设置为 16（远程 GPU 7 + 本地 GPU 8 + 本地 CPU 1）。若本地 CUDA 环境为 11.x，服务器为 12.x，需手动复制 .so 库文件到构建目录。说明：当前官方 Docker 镜像不支持多机 rpc-server 模式，需要自行构建镜像。，会自动检测并启动多个端口（约需6分钟）。