Ollama Docker 容器向容器内传输AI模型并挂载模型

通过以下命令检查ollama容器存储卷挂载点,我的ollama容器就是ollma,如果你自定义了其他名字,请改为你自己ollama容器的容器名

sudo docker inspect ollama --format='{{json .Mounts}}'

将模型 gguf和Modelfile 传输到宿主机的挂载点,Modelfile文件内容如下:
 

FROM ./test.gguf

 test.gguf 为你自己需要挂载的模型名称

传输成功后,宿主机上的文件会自动透传到docker容器内的相应存储点,容器内的存储地址通过 第一条命令获得查看

使用以下命令进入容器内部的命令行

sudo docker exec -it ollama /bin/bash

 xxx为你容器内和宿主机存储卷对应的容器存储地址,执行以下命令跳转到容器内的存储地址:

cd ./root/xxx

 执行以下命名,挂载gguf模型文件到ollama,等待挂载成功就可以通过ollama访问对应的AI模型了

ollama create test -f ./Modelfile

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值