AI大模型之旅--本地Ollama部署

Ollama 是一个本地推理框架,允许开发人员轻松地在本地部署和运行 LLM
例如 Llama 3、Mistral 和 Gemma
Ollama 提供了一种简单的方法来部署 LLM 到本地环境。您可以使用 Ollama 的命令行界面或图形界面来完成此操作。

安装部署:

1.下载并且安装
官网下载地址 :https://ollama.com/download/linux

curl -fsSL https://ollama.com/install.sh | sh

2.# sudo vim 打开编辑器

sudo vim /etc/systemd/system/ollama.service
Environment之后
### 如何在Linux系统上部署Deepseek-Chat模型 #### 准备工作 为了顺利部署Deepseek-Chat模型,需先确认环境已准备好Python 3.x版本以及pip工具。确保这些基础组件已经安装完毕[^1]。 #### 安装依赖项 通过命令行执行如下指令来设置必要的开发环境: ```bash sudo apt-get update && sudo apt-get install -y python3-pip git ``` 此过程会更新包列表并安装所需的软件包,包括Git用于克隆仓库和Pip作为Python的包管理器。 #### 获取源码库 接着获取`DeepSeek-V2-Chat`项目的最新副本到本地机器上: ```bash git clone https://gitcode.com/mirrors/deepseek-ai/DeepSeek-V2-Chat.git cd DeepSeek-V2-Chat/ ``` 上述命令将复制远程存储库至当前目录下,并进入该文件夹准备进一步配置。 #### 配置虚拟环境(可选) 建议创建一个新的虚拟环境来进行隔离化的项目管理和依赖控制: ```bash python3 -m venv env source env/bin/activate pip install --upgrade pip setuptools wheel ``` 激活后的虚拟环境中可以安全地测试不同版本的应用程序而不会影响全局安装的基础设施。 #### 下载预训练模型 利用ModelScope平台提供的接口下载指定名称为`deepseek-r1-distil`的预训练模型: ```bash pip install modelscope modelscope download --model deepseek-ai/DeepSeek-R1-Distil ``` 这条语句不仅完成了所需AI模型资源的拉取动作,同时也简化了后续加载流程中的复杂度[^3]。 #### 启动服务端口监听 最后一步是启动聊天机器人服务器实例,使之能够响应来自客户端的消息请求: ```bash ollama serve & ``` 这里使用后台运行的方式让应用程序持续在线等待连接建立;注意前面提到过的`ollama`命令代表了一个特定于该项目的服务控制器[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值