通过以下命令检查ollama容器存储卷挂载点,我的ollama容器就是ollma,如果你自定义了其他名字,请改为你自己ollama容器的容器名
sudo docker inspect ollama --format='{{json .Mounts}}'
将模型 gguf和Modelfile 传输到宿主机的挂载点,Modelfile文件内容如下:
FROM ./test.gguf
test.gguf 为你自己需要挂载的模型名称
传输成功后,宿主机上的文件会自动透传到docker容器内的相应存储点,容器内的存储地址通过 第一条命令获得查看
使用以下命令进入容器内部的命令行
sudo docker exec -it ollama /bin/bash
xxx为你容器内和宿主机存储卷对应的容器存储地址,执行以下命令跳转到容器内的存储地址:
cd ./root/xxx
执行以下命名,挂载gguf模型文件到ollama,等待挂载成功就可以通过ollama访问对应的AI模型了
ollama create test -f ./Modelfile