MaxKb/open-webui+Ollama运行模型

  1. 准备:虚拟机:centos7

  2. 安装Docker:首先,需要安装Docker,因为Ollama和MaxKB都建议基于Docker容器运行。使用以下命令安装Docker:

sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker
docker -v
  1. 配置镜像源
vi /etc/docker/daemon.json

建议镜像源:

{
    "registry-mirrors" : [
    "https://docker.m.daocloud.io",
    "https://dockerproxy.com",
    "https://mirror.ccs.tencentyun.com"
  ]
}
  1. 安装Ollama:Ollama用于在本地运行和部署大型语言模型(LLMs)的工具。使用以下命令安装Ollama:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollam
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值