【docker部署ollama】

进入容器

docker exec -it 1Panel-ollama-qiB7 /bin/bash

拉取模型

# 官网
https://ollama.com/library
# 拉取模型
ollama run gemma:2b
# 查看已下载的模型
ollama list

尝试api调用

curl -X POST http://localhost:11434/api/generate \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ollama-chat",
        "prompt": "Hello, how are you?"
    }'
### 使用Docker部署Ollama教程 #### 准备工作 为了确保能够顺利使用Docker部署Ollama,在Ubuntu系统上需先安装好Docker以及NVIDIA容器工具包(如果打算利用GPU加速)。对于配置Docker以支持NVIDIA GPU的操作,可以通过执行`sudo nvidia-ctk runtime configure --runtime=docker`和`sudo systemctl restart docker`这两条指令完成设置[^2]。 #### 获取镜像 获取最新的Ollama Docker镜像是启动服务前的重要一步。这可通过运行命令`sudo docker pull ollama/ollama:latest`实现,该操作会从远程仓库下载指定版本的镜像文件到本地环境中以便后续调用[^3]。 #### 启动容器 当一切准备就绪之后,就可以创建并启动包含Ollama应用的服务实例了。这里提供了两种不同的方式来满足不同场景下的需求: -v $HOME/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama`[^4]。 - **带有GPU支持**:针对那些期望发挥硬件潜力从而获得更好性能表现的应用场合而言,则推荐选用此方案——即加入`--gpus=all`选项用于开启全部可用图形处理器设备共享给容器内部程序使用的权限;同时建议增加`--restart always`标记确保即使遇到意外情况也能自动重启维持正常运作状态。完整的命令形式为:`docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama`[^5]。 以上就是基于Docker平台快速搭建起一套功能完备的Ollama系统的具体流程介绍。在整个过程中,请务必按照实际情况灵活调整各项参数设定,并参照官方文档或社区论坛寻求更多帮助和支持信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值