Ollama部署deepseek-r1蒸馏模型

该文章已生成可运行项目,

1、Ollama简介

        Ollama 是一款开源的大型语言模型(LLM)服务工具,旨在简化大语言模型的本地部署和使用流程。它支持在 Windows、Linux 和 macOS 上运行,能够快速部署包括 Llama、Falcon、Qwen 等在内的 1700+ 大语言模型,满足不同用户的需求。Ollama 提供了丰富的功能,包括本地运行、多模型支持、自定义模型配置、多 GPU 并行推理以及兼容 OpenAI 接口等。用户可以通过简单的命令行操作或图形界面进行模型的下载、启动和管理,同时还可以利用其 API 接口将模型集成到各种应用程序中。

2、Ollama安装

(1)下载

通过Ollama官网下载链接选择自己的需要的系统进行下载

(2)安装

在安装的时候,默认是会下载系统目录上,

(可选择步骤)如果想把Ollama下载到别的盘上,打开cmd(Win键+R键),

先进到你下载的OllamaSetup.exe的目录上(这里例子是:C:\Users\Administrator\Downloads,根据你的实际需要更改)

cd C:\Users\Administrator\Downloads
OllamaSetup.exe /DIR="d:\ollama"

之后跳出来安装页面,点击Install,等待一段时间后就安装好啦

同时要更改你下载模型的位置,要记得编辑一下系统环境变量(文档里好像是说可以用账户,但是没做过,待大佬解答)

记得要确定保存一下

如果 Ollama 已经在运行,请退出系统托盘中的应用程序,然后从开始菜单或在保存环境变量后启动的新终端中重新启动它。

(3)验证安装

安装完成后,打开命令提示符(cmd)并输入ollama来验证Ollama是否安装成功。如果安装成功,你将看到Ollama的启动界面。

3、导入模型

Ollama 支持在Ollama模型库上提供的模型列表。(下面表格是从中文文档上截图的)

本文采用的是deepseek-r1模型,读者也可以选择其他的模型进行下载

再次打开cmd,粘贴上去

ollama run deepseek-r1:1.5b

等待下面导入好

就可以开始对话啦

4、python库导入

(1)安装python库

打开你的终端输入下面的代码,进行安装

pip install ollama

安装好了以后,下面是简单的示例代码

1)示例代码

from ollama import chat
from ollama import ChatResponse

#model是可更改的,根据你的实际需要进行修改
response: ChatResponse = chat(model='deepseek-r1:1.5b', messages=[
  {
    'role': 'user',
    'content': '人工智能是什么', #你的问题
  },
])
print(response['message']['content'])
# or access fields directly from the response object
#print(response.message.content)

输出的结果如下图所示

查看属性还有一些其他的参数,如模型、产生时间、是否完成等等,但是最主要的还是回应的内容

2)流式回应

个人认为流式回应就是一个字一个字的输出,而不是像上面的代码一样,直接全部一起输出,在终端里问问题,模型回应的时候就是用流式输出

from ollama import chat

stream = chat(
    model='deepseek-r1:1.5b',
    messages=[{'role': 'user', 'content': '人工智能是什么?'}],
    stream=True,
)

for chunk in stream:
  print(chunk['message']['content'], end='', flush=True)

输出:

3) Client客户端

可以通过从 ollama 实例化 Client 或 AsyncClient 来创建自定义客户端

所有额外的关键字参数都传递到httpx.Client

from ollama import Client

client = Client(host='http://127.0.0.1:11434')

response = client.chat(model='deepseek-r1:1.5b', messages=[
  {
    'role': 'user',
    'content': '人工智能是什么?',
  },
])

输出:

如果访问是503,需要重启ollama,在终端输入

ollama serve

直到如下图所示启动

(2)使用API

前面的3)方法,实际上也是通过api进行访问

1)ollama serve运行

import requests
import json

# API的URL
url = 'http://127.0.0.1:11434/api/chat'
input_text = "人工智能是什么?"

# 要发送的数据
data = {
    "model": "deepseek-r1:1.5b",
    "messages": [
        {"role": "user","content": " "}
    ],
    "stream": False
}

# 找到role为user的message
for message in data["messages"]:
    if message["role"] == "user":
        # 将输入文本添加到content的开头
        message["content"] = input_text

# 将字典转换为JSON格式的字符串
json_data = json.dumps(data)

# 发送POST请求
response = requests.post(url, data=json_data, headers={'Content-Type': 'application/json'})

# 打印响应内容
print(json.loads(response.text)['message']['content'])

输出:

在参考连接的快速入门 - Ollama 中文文档里有api的参考,可以通过这个,来进行更多的互动,在多模态的大模型中也可以传入图片

(文章后续还会进行更新,针对文档推荐的UI,大家感兴趣可以取看看GitHub或者我下面给的中文文档)

参考链接:

快速入门 - Ollama 中文文档

如何在本地部署Ollama大模型并使用Python进行简单访问_ollama python-优快云博客

GitHub - ollama/ollama-python: Ollama Python library

本文章已经生成可运行项目
### 部署 DeepSeek-R1 蒸馏模型 #### 所需环境准备 为了确保 DeepSeek-R1 模型能够在本地环境中顺利运行,建议先安装并配置好 Python 环境以及必要的库。对于拥有较强推理能力的 PC 本地部署来说,可以选择较大规模的模型版本如 1.5b, 7b, 8b 或者 14b 版本[^1]。 #### 安装依赖项 通常情况下,官方文档会提供详细的依赖列表。一般而言,这可能涉及到 PyTorch、Transformers 库以及其他辅助工具包。可以通过 pip 工具来快速完成这些软件包的安装: ```bash pip install torch transformers datasets ``` #### 获取模型 根据描述中的指导,获取指定型号的方法如下所示: ```bash ollama run deepseek -r1:8b ``` 这条指令将会自动拉取所需的 DeepSeek-R1 模型及其对应的权重文件至本地存储位置。 #### 设置配置文件 创建一个新的 JSON 文件用于保存模型初始化时所需要的参数设置。下面是一个简单的例子: ```json { "model": "deepseek-r1", "version": "8b", "device": "cuda", // 如果 GPU 可用则设为 cuda 否则 cpu "batch_size": 8, "max_length": 512 } ``` 该配置指定了所使用的特定版本(此处假设选择了 `8b`),同时也定义了一些基本选项比如批处理大小和最大输入长度等超参调整空间。 #### 运行服务端口监听脚本 编写一段简短的服务启动代码片段,用来加载上述配置并将模型实例化后开启 HTTP API 接口供外部调用查询: ```python from transformers import AutoModelForCausalLM, AutoTokenizer import json from flask import Flask, request, jsonify app = Flask(__name__) with open('config.json', 'r') as f: config = json.load(f) tokenizer = AutoTokenizer.from_pretrained(config["model"]) model = AutoModelForCausalLM.from_pretrained(config["model"]).to(config['device']) @app.route('/predict', methods=['POST']) def predict(): input_text = request.json.get("text") inputs = tokenizer(input_text, return_tensors="pt").input_ids.to(config['device']) outputs = model.generate(inputs) result = tokenizer.decode(outputs[0], skip_special_tokens=True) return jsonify({"output": result}) if __name__ == "__main__": app.run(host='0.0.0.0', port=5000) ``` 这段程序利用了 Flask 微框架搭建了一个简易 web server 来接收 POST 请求,并返回由给定提示词生成的结果字符串。注意这里假定读者已经具备一定的编程基础以便理解以上实现细节。
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

01bigdata

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值