Python 使用本地部署 DeepSeek 的简单方法

在本文中,我们将在 Ubuntu 上部署 DeepSeek。并使用 Python API 与其通信。 

介绍

        人工智能 (AI) 正在快速发展,借助DeepSeek等强大的开源模型,您现在可以在自己的机器上本地运行尖端的大型语言模型 (LLM)。本指南将引导您使用轻量级推理框架Ollama在本地部署 DeepSeek 的最快捷、最简单的方法。

        在本教程结束时,您将可以在设备上运行 DeepSeek,通过Python API访问,并准备好进行 AI 驱动的实验。

为什么选择DeepSeek?

        DeepSeek 是一个开源 AI 模型,旨在高效处理自然语言任务。它脱颖而出的原因如下:

        1、快速高效——针对本地推理进行了优化,使其轻量且响应迅速。
        2、开源——没有限制,没有锁定的功能——开发人员可以完全访问。
        3、Python API 集成——易于在您的 Python 应用程序中使用。
        4、可定制——根据您的需要进行微调和修改。

步骤1:安装Ollama

        Ollama 是一个轻量级运行时,可简化本地计算机上的 LLM 部署。要安装它,请运行:

curl -fsSL https://ollama.ai/install.sh | sh

安装后,验证其是否正常工作:

ollama --version

第 2 步:下载小型 DeepSeek 模型

为了在不使用太多系统内存的情况下测试 DeepSeek,让我们下载一个较小的版本:

ollama pull deepseek-r1:1.5b

这将下载DeepSeek 的15 亿参数模型。如果您需要更强大的模型,您可以在 DeepSeek 存储库中探索更大的版本。

步骤 3:在本地运行 DeepSeek

现在模型已经下载完毕,可以直接运行它:

此命令初始化 DeepSeek 模型并使其准备好处理自然语言查询。

ollama run deepseek-r1:1.5b

步骤4:安装Ollama的Python包

要使用 Python 以编程方式与 DeepSeek 交互,请安装Ollama Python 包:

pip install ollama

现在,您可以将其无缝集成到您的 Python 应用程序中。

步骤 5:通过 Python API 访问 DeepSeek

要从命令行与 DeepSeek 聊天,请使用以下 Python 脚本:

import argparse

from ollama import chat
from ollama import ChatResponse


parser = argparse.ArgumentParser(description="User input string")
parser.add_argument("ask_input", type=str, help="The string to be used as input")

args = parser.parse_args()
model = "deepseek-r1:1.5b"

response: ChatResponse = chat(
    model=model, messages=[
        {
            'role': 'user',
            'content': args.ask_input,
        }
    ],
    stream=True
)

# print(response.message.content)
for chunk in response:
    print(chunk['message']['content'], end='', flush=True)
print("\n")

该脚本允许您向 DeepSeek 发送文本提示并实时获得响应。

要运行它,请使用:

python your_script.py "why sky is blue?"

运行更大的模型

如果你的系统有足够的RAM 和 GPU 能力,你可以尝试更大版本的 DeepSeek:

ollama pull deepseek-r1:6.7b
ollama run deepseek-r1:6.7b

这可以实现更高的准确性和更好的响应,但需要更多的计算资源。

DeepSeek 文档:https://api-docs.deepseek.com
DeepSeek GitHub:https://github.com/deepseek-ai

如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

csdn_aspnet

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值