nivdia 接入 deepseek r1 免费调用API

最新推荐文章于 2025-03-23 10:56:07 发布

细节处有神明

最新推荐文章于 2025-03-23 10:56:07 发布

阅读量1.1w

点赞数 19

分类专栏： chatgpt 闲话漫谈经验分享文章标签：人工智能经验分享

本文链接：https://blog.youkuaiyun.com/weixin_42984235/article/details/145410582

版权

经验分享同时被 3 个专栏收录

22 篇文章

订阅专栏

chatgpt

14 篇文章

订阅专栏

闲话漫谈

3 篇文章

订阅专栏

1月30日，英伟达在其NIM平台上架了由DeepSeek开源的DeepSeek R1模型，这标志着开发者们现在能够免费利用这一强大的API快速构建各种应用程序。感谢DeepSeek的开源贡献，让我们得以免费体验如此优秀的模型。

获取英伟达 key

首先，登录英伟达官方网站，进入NIM界面，找到DeepSeek R1项目，并点击右侧的“获取API Key”。页面会提供Python调用方法，方便直接测试和集成。

[deepseek-r1 Model by Deepseek-ai | NVIDIA NIM](https://build.nvidia.com/deepseek-ai/deepseek-r1)

以下是英伟达给的调用接口。

from openai import OpenAI

client = OpenAI(
  base_url = "https://integrate.api.nvidia.com/v1",
  api_key = "$API_KEY_REQUIRED_IF_EXECUTING_OUTSIDE_NGC"
)

completion = client.chat.completions.create(
  model="deepseek-ai/deepseek-r1",
  messages=[{"role":"user","content":"Which number is larger, 9.11 or 9.8?"}],
  temperature=0.6,
  top_p=0.7,
  max_tokens=4096,
  stream=True
)

for chunk in completion:
if chunk.choices[0].delta.content is not None:
    print(chunk.choices[0].delta.content, end="")

使用Chainlit框架构建简单页面

之前曾用 streamlit 构建了 deepseek 对话页面，但是其功能略微粗糙，相较于传统Streamlit框架，我们采用Chainlit 实现更高效、简洁的流式交互体验。Chainlit的异步处理架构完美适配大语言模型的流式响应特性，主要技术优势包括：

实时token级渲染（Token-by-token rendering）
WebSocket长连接支持
会话状态管理（Session state management）
多模态输入支持（文本/文件/图像）

今天尝试使用Chainlit框架构建一个简单的交互式页面。新建一个 app.py 文件，并复制以下代码：

# 安装第三方库
# pip install chainlit openai 
import chainlit as cl
from openai import OpenAI 

@cl.on_chat_start
asyncdef start_chat():
    # 初始化客户端（密钥建议通过环境变量管理）
    client = OpenAI(
        base_url="https://integrate.api.nvidia.com/v1",
        api_key=""
    )
    # 将客户端保存到用户会话
    cl.user_session.set("client", client)
@cl.on_message
asyncdef main(message: cl.Message):
    # 获取客户端实例
    client = cl.user_session.get("client")
    # 创建消息对象（支持流式响应）
    msg = cl.Message(content="")
    # 调用NVIDIA API
    completion = client.chat.completions.create(
        model="deepseek-ai/deepseek-r1",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": message.content}
        ],
        temperature=0.6,
        top_p=0.7,
        max_tokens=4096,
        stream=True
    ) 

    # 流式处理响应
    for chunk in completion:
        if chunk.choices[0].delta.content:
            await msg.stream_token(chunk.choices[0].delta.content)
    # 发送完整响应
    await msg.send()

技术参数说明：