centos7部署DeepSeek
当下Deepseek非常火,本文将带大家在自己的服务器搭建deepseek使用。
关闭防火墙与selinux
[root@bogon ~]# systemctl stop firewalld && systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@bogon ~]# setenforce 0
替换阿里yum源
[root@bogon ~]# cd /etc/yum.repos.d/
[root@bogon yum.repos.d]# ls
CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repo
CentOS-CR.repo CentOS-fasttrack.repo CentOS-Sources.repo CentOS-x86_64-kernel.repo
[root@bogon yum.repos.d]# rm -rf *
[root@bogon yum.repos.d]# curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 2523 100 2523 0 0 8636 0 --:--:-- --:--:-- --:--:-- 8670
安装必要的使用工具
[root@bogon yum.repos.d]# yum install -y vim wget net-tools
获取Ollama,部署DeepSeek要用到 Ollama,它支持多种大模型
https://ollama.com/download/linux
下载安装Ollama,macOS、Linux 和 Windows都可以下载安装,我这里选用linux系统。
[root@bogon ~]# curl -fsSL https://ollama.com/install.sh | sh
在Service中增加下面两行
[root@bogon ~]# vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
然后重启ollama服务
[root@bogon ~]# systemctl daemon-reload
[root@bogon ~]# systemctl restart ollama
[root@bogon ~]# netstat -lntp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1082/sshd
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1259/master
tcp6 0 0 :::11434 :::* LISTEN 9101/ollama
tcp6 0 0 :::22 :::* LISTEN 1082/sshd
tcp6 0 0 ::1:25 :::* LISTEN 1259/master
11434为ollama的端口
测试访问
第二步:部署Deepseek R1模型
还是在ollama官网上,点击Models,选择deepseek-r1,不同版本对应的体积大小不同,体积越大模型越精细化,只需要复制命令即可,我这里选择8b。
[root@bogon ~]# ollama run deepseek-r1:8b
注:这里等待的时间比较长,需要多等一会,一直到最后出现success为止
成功之后可以在cli命令行模式下进行简单的聊天
[root@bogon ~]# ollama run deepseek-r1:8b
>>> 你好
<think>
</think>
你好!很高兴见到你,有什么我可以帮忙的吗?
ctrl+d 退出聊天
第三步 安装open-webui 界面化访问
安装docker
[root@bogon ~]# yum install -y yum-utils device-mapper-persistent-data lvm2
[root@bogon~]# yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
[root@bogon ~]# yum install -y docker-ce
[root@bogon ~]# systemctl start docker && systemctl enable docker
运行open-webui容器
[root@bogon ~]# docker run -d -p 8081:8080 -e OLLAMA_BASE_URL=http://10.9.44.232:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
浏览器访问:
http://10.9.44.232:8081/auth
按提示创建管理员账号,创建完成之后需要多等待一会,弹出登陆页面。整个过程需要等待时间过长,有可能是因为博主的机器配置与网络有关
好了现在可以开始使用了,给deepseek发送你想问的问题吧