手把手教你在linux服务器部署deepseek,打造专属自己的数据库知识库

欢迎关注我的公众号「DevOps和k8s全栈技术」,进公众号【服务】栏,可以看到技术群,点击即可加入学习交流群。↓↓↓

正文开始

4d9d99a000cb2717d6b71581a69380f1.png

第一步:安装Ollama

打开官方网址:https://ollama.com/download/linux
下载Ollama linux版本
7f5caf4ce65f2940cbcb669aa8cb9874.png
复制命令到linux操作系统执行
[root@postgresql ~]# curl -fsSL https://ollama.com/install.sh | sh
23dc89347f34c40e3b1a613776f2be99.png

在Service中增加下面两行

[root@localhost ~]# vi /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
ffff10f54c0772777d639011db72eb78.png

然后重启ollama服务

[root@localhost ~]#systemctl daemon-reload
[root@localhost ~]#systemctl restart ollama

验证服务是否开启,11434是核心端口,必须开启。

[root@localhost ~]# ss -anlp|grep 11434
039dd40e8176d64af69502308ac8503b.png 登录验证
浏览器直接访问192.168.47.136:11434
fa8149da3ae69624fcddda5225a6e5b5.png
出现Ollama is running,即正常。

第二步:部署Deepseek R1模型

还是在ollama官网上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化,只需要复制命令即可,我这里选择7b。
09c7fbbab8a68c6bc73425fd0959b6cb.png
10b96aead7cae5dcc15ec9ccd3b27150.png
[root@postgresql ~]#ollama run deepseek-r1:7b
84d0dc50963b41ab70eb9c93ae1eb2e6.png
[root@localhost ~]# ollama list
d337cae16225f922b1afd4beb200f685.png

交互式聊天模式:

[root@localhost ~]#ollama run deepseek-r1
d454d58d5a6cadc22d719fe10bc6f8e4.png

第三步:配置可视化界面

安装docker

[root@localhost yum.repos.d]#wget http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
 [root@localhostyum.repos.d]#yum install docker-ce-20.10.9-3.el7 docker-ce-cli-20.10.9-3.el7 containerd.io
[root@localhost yum.repos.d]#systemctl start docker
[root@localhost yum.repos.d]#systemctl status docker
[root@localhost yum.repos.d]# docker --version
[root@localhost yum.repos.d]#docker info
[root@postgresql yum.repos.d]# docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://192.168.47.136:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
6d03110dc45c552e99973bd79a7dbd69.png

访问控制台:

http://192.168.47.136:3000
f845219174ec2180603b351fc7fbb116.png
edbd59b2bb82ccb715ed0caa3b40f3f4.png
30779dc8703ca5a7c0751d666b92e936.png
866be852ae04ae2e2c86eaca5b9d8d17.png
1e0a99dcab596951572e8b225db57bf6.png
可以进行专属知识库的建立
ca7cbbc8b4bdfcf9dfb355e66e3717ef.png拖动上传文件至该区域即可,大家根据自己的需要进行文件的上传。
70f2b06fcb0eab05b4efe3b6ce874b45.png

到这里,我们就完成的在linux服务器部署deepseek,并使用webui界面友好的展示。

欢迎关注我的公众号「DevOps和k8s全栈技术」,进公众号【服务】栏,可以看到技术群,点击即可加入到学习交流群。↓↓↓

END

➤  往期精彩回顾

图片

图片

欢迎关注我的公众号「DevOps和k8s全栈技术」,进公众号【服务】栏,可以看到技术群,点击即可加入到学习交流群。↓↓↓

### 安装和配置DeepSeek #### 准备环境 为了成功在GPU服务器上安装和配置DeepSeek,确保服务器满足最低硬件需求。对于大多数情况而言,即使是相对简单的GPU设备也能够支持基本版本的DeepSeek运行[^1]。 #### 获取DeepSeek 前往官方渠道下载适合当前系统的DeepSeek版本。考虑到不同版本可能存在差异,在选择具体版本时应参照官方文档推荐,特别是针对特定硬件优化过的变种如`DeepSeek-R1-Zero`或`R1-32b`等[^2]。 #### 部署过程 一旦获取了合适的软件包,则按照如下指南操作: ##### 创建虚拟环境(建议) 创建一个新的Python虚拟环境用于隔离依赖关系,这有助于避免潜在冲突并简化后续维护工作。 ```bash python3 -m venv deepseek-env source deepseek-env/bin/activate ``` ##### 安装依赖项 根据项目README文件指示安装必要的库和支持组件。通常会涉及到CUDA Toolkit及相关驱动程序以充分利用GPU加速功能。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117/ pip install -r requirements.txt ``` ##### 初始化数据库和服务 执行初始化脚本完成初次设置,并启动核心服务进程。 ```bash python manage.py migrate python manage.py runserver 0.0.0.0:8000 & ``` #### 网络配置 为了让外部网络能访问到部署好的应用程序,需要调整防火墙规则开放相应端口;如果使用的是云服务商提供的实例,则还需确认安全组策略允许入站流量到达指定端口[^4]。 #### 测试连接 最后一步是在浏览器中尝试通过公网IP地址加上映射后的端口号来验证是否可以正常加载Web界面[^3]。
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值