在本文中,我们将在 Ubuntu 上部署 DeepSeek。并使用 Python API 与其通信。
介绍
人工智能 (AI) 正在快速发展,借助DeepSeek等强大的开源模型,您现在可以在自己的机器上本地运行尖端的大型语言模型 (LLM)。本指南将引导您使用轻量级推理框架Ollama在本地部署 DeepSeek 的最快捷、最简单的方法。
在本教程结束时,您将可以在设备上运行 DeepSeek,通过Python API访问,并准备好进行 AI 驱动的实验。
为什么选择DeepSeek?
DeepSeek 是一个开源 AI 模型,旨在高效处理自然语言任务。它脱颖而出的原因如下:
1、快速高效——针对本地推理进行了优化,使其轻量且响应迅速。
2、开源——没有限制,没有锁定的功能——开发人员可以完全访问。
3、Python API 集成——易于在您的 Python 应用程序中使用。
4、可定制——根据您的需要进行微调和修改。
步骤1:安装Ollama
Ollama 是一个轻量级运行时,可简化本地计算机上的 LLM 部署。要安装它,请运行:
curl -fsSL https://ollama.ai/install.sh | sh
安装后,验证其是否正常工作:
ollama --version
第 2 步:下载小型 DeepSeek 模型
为了在不使用太多系统内存的情况下测试 DeepSeek,让我们下载一个较小的版本:
ollama pull deepseek-r1:1.5b
这将下载DeepSeek 的15 亿参数模型。如果您需要更强大的模型,您可以在 DeepSeek 存储库中探索更大的版本。
步骤 3:在本地运行 DeepSeek
现在模型已经下载完毕,可以直接运行它:
此命令初始化 DeepSeek 模型并使其准备好处理自然语言查询。
ollama run deepseek-r1:1.5b
步骤4:安装Ollama的Python包
要使用 Python 以编程方式与 DeepSeek 交互,请安装Ollama Python 包:
pip install ollama
现在,您可以将其无缝集成到您的 Python 应用程序中。
步骤 5:通过 Python API 访问 DeepSeek
要从命令行与 DeepSeek 聊天,请使用以下 Python 脚本:
import argparse
from ollama import chat
from ollama import ChatResponse
parser = argparse.ArgumentParser(description="User input string")
parser.add_argument("ask_input", type=str, help="The string to be used as input")
args = parser.parse_args()
model = "deepseek-r1:1.5b"
response: ChatResponse = chat(
model=model, messages=[
{
'role': 'user',
'content': args.ask_input,
}
],
stream=True
)
# print(response.message.content)
for chunk in response:
print(chunk['message']['content'], end='', flush=True)
print("\n")
该脚本允许您向 DeepSeek 发送文本提示并实时获得响应。
要运行它,请使用:
python your_script.py "why sky is blue?"
运行更大的模型
如果你的系统有足够的RAM 和 GPU 能力,你可以尝试更大版本的 DeepSeek:
ollama pull deepseek-r1:6.7b
ollama run deepseek-r1:6.7b
这可以实现更高的准确性和更好的响应,但需要更多的计算资源。
DeepSeek 文档:https://api-docs.deepseek.com
DeepSeek GitHub:https://github.com/deepseek-ai
如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。