DeepSeek-快速搭建Linux版本

我们上一小节介绍了Win的搭建方法,但是如果要作为长期使用,使用Linux搭建会是一个更好的办法,这也是作为一个Linux运维的觉悟,并且还可以供局域网小伙伴一起用(暂时不考虑性能等问题)。

1.下载ollma

Ollama 是一个开源的大型语言模型(LLM)本地化部署框架,旨在简化用户在本地运行和管理大模型的流程。

https://ollama.com/download/linux

图片

但是这个有一个弊端就是下载很慢,而且如果中途失败只能重新来,所以这里还可以直接去github下载,或者从Win下载上传到Linux服务器里面。

mkdir ollama wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz#也可以本地电脑下载,然后上传到服务器里面

2.解压文件

tar xvf  ollama-linux-amd64.tgz

3.启动ollama

这个是操作启动会占用当前ssh窗口,因为他是前台启动。​​​​​​​

#添加环境变量,如果不添加则监听在127.0.0.1export OLLAMA_HOST=0.0.0.0./bin/ollama serve

图片

4.下载模型

我们这里还是以最小化的模型,运行成功以后,在控制台其实就可以进行对话。

./bin/ollama run deepseek-r1:1.5b

图片

5.运行对话

图片

6.添加到第三方对话

这里和操作win方法是一样的,只是这里要填写对应的ip地址,这里要注意防火墙配置确保这个端口是可达的,这样我们局域网内的小伙伴都是链接使用。

图片

7.自动化脚本

这里就实现了通过脚本自动启动,给多人使用。如果在考虑开机自启动则更好,真实环境注意路径匹配问题。​​​​​​​

#!/bin/bash
# 定义模型名称和版本
MODEL_NAME="deepseek-r1:1.5b"
OLLAMA_PATH="/data/ollama/bin/ollama"
# 设置环境变量以指定监听地址
export OLLAMA_HOST=0.0.0.0
# 启动ollama服务,默认端口
echo "Starting ollama serve on $OLLAMA_HOST with default port..."
$OLLAMA_PATH serve &
SERVE_PID=$!
# 等待几秒钟以确保ollama服务已完全启动
echo "Waiting for ollama serve to start..."
sleep 5
# 检查ollama服务是否已经启动成功(假设默认端口为11434,可以根据实际情况调整)
DEFAULT_PORT=11434
if ! nc -zv 127.0.0.1 $DEFAULT_PORT; then
    echo "Failed to start ollama serve."
    exit 1
fi
echo "ollama serve started successfully."
# 启动模型
echo "Starting model $MODEL_NAME..."
$OLLAMA_PATH run $MODEL_NAME &
MODEL_PID=$!
# 输出启动信息
echo "Model service started with PID $MODEL_PID, listening on $OLLAMA_HOST:$DEFAULT_PORT"

运维小路

一个不会开发的运维!一个要学开发的运维!一个学不会开发的运维!欢迎大家骚扰的运维!

关注微信公众号《运维小路》获取更多内容。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值