测试 NVIDIA NIM部署的 llama-3.2-90b-vision-instruct 大模型图片解析能力

什么是NVIDIA NIM

NVIDIA NIM™ 是 NVIDIA AI Enterprise 的一部分,为跨云、数据中心和工作站的自托管 GPU 加速推理微服务提供容器,用于预训练和自定义 AI 模型。使用单个命令部署后,NIM 微服务会公开行业标准 API,以便轻松集成到 AI 应用程序、开发框架和工作流程中。NIM 微服务基于 NVIDIA 和社区的预优化推理引擎 (包括 NVIDIA® TensorRT™ 和 TensorRT-LLM) 构建,可自动优化运行时检测到的基础模型和 GPU 系统的每个组合的响应延迟和吞吐量。NIM 容器还提供标准的可观察性数据源,并内置支持在 GPU 上的 Kubernetes 上自动扩展。

写个程序测试一下

记得自己注册账号,并到以下链接申请key
https://build.nvidia.com/meta/llama-3.2-90b-vision-instruct

import requests, base64
import gradio as gr

stream = False
def Get_Img_Info(filepath):
    invoke_url = "https://ai.api.nvidia.com/v1/gr/meta/llama-3.2-90b-vision-instruct/chat/completions"

    # with open("D:\\ai_sd_data\\01.jpeg", "rb") as f:
    with open(filepath, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    assert len(image_b64) < 18
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值