服务搭建 ollama + Deepseek + Open WebUI + 硅基流动API


I know, i know
地球另一端有你陪我




一、ollama

功能类似 docker,用于大数据模型的管理与应用,能够加载并执行大数据模型。
此处以 CentOS 7 为例
# 更新系统
sudo yum update -y

# 安装必要的依赖
sudo yum install -y curl

ollama 安装

ollama linux版 官方地址
就是下面这句,可直接复制使用

curl -fsSL https://ollama.com/install.sh | sh

ollama 配置

确认安装完成。应能看到具体版本

ollama -v

启动服务

sudo systemctl start ollama

设置开机自启

sudo systemctl enable ollama


二、 Deepseek 模型下载

以 ollama提供的 deepseek-r1 为例 官方地址
拉取模型(同 docker 用法一致)

ollama pull deepseek-r1:7b
此处 7b 代表 7 billion ,即包含七十亿的训练模型参数,
通常参数越大模型效果越好,但会受到内存+显存的限制
满血的 Deepseek 有 671b 大小参数

展示本地模型

ollama list

运行模型

ollama run deepseek-r1:7b

在这里插入图片描述

/bye 退出


三、 Open WebUI

一个为大语言模型提供可视化界面的工具。为避免一些插件版本问题,尽量使用 docker 安装

1、安装 Docker

闭眼跑就完事了

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
sudo yum install docker-ce
sudo systemctl start docker
sudo systemctl enable docker
docker --version

2、安装 WebUI 镜像

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
这里的 3000 是外部端口号,可以自由修改成其他非冲突的端口,3001、3002等

3、确认镜像安装成功

正常盯着跑完就没问题的,可以看一眼 docker 容器

docker ps

在这里插入图片描述

4、客户端访问

服务器IP加上端口访问即可,如果无法访问可以看一下端口是否被禁
http://localhost:3000
http://XX.XX.XX.XX:3000

5、平台使用

第一步是注册,填写邮箱和用户名密码即可,之后可能会进入白屏,等待即可
在这里插入图片描述
正常本地安装完,这里可以正常看到 ollama 中存在的模型
在这里插入图片描述

5、外部服务器

如果是在外部服务器,这里需要多加一步
修改配置文件

vim /etc/systemd/system/ollama.servic

添加一句

Environment="OLLAMA_HOST=0.0.0.0:11434"

此时文件内容变成

...
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
...

重启 ollama

systemctl daemon-reload
systemctl restart ollama

此时刷新外部界面,应该可以看到正常的模型

6、外部接入硅基流动API

注册登录硅基流动官网
注册 API
在这里插入图片描述
ollama 界面中添加模型
URL 固定是 https://api.siliconflow.cn/v1
密钥中填写 API 内容
模型 ID 添加需要的模型(如:deepseek-ai/DeepSeek-R1)记得点 +
在这里插入图片描述
之后可以正常看到模型选择
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值