测试 NVIDIA NIM部署的 llama-3.2-90b-vision-instruct 大模型图片解析能力

最新推荐文章于 2025-01-25 08:00:00 发布

原创

最新推荐文章于 2025-01-25 08:00:00 发布 · 965 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#llama

文章目录

什么是NVIDIA NIM

NVIDIA NIM™ 是 NVIDIA AI Enterprise 的一部分，为跨云、数据中心和工作站的自托管 GPU 加速推理微服务提供容器，用于预训练和自定义 AI 模型。使用单个命令部署后，NIM 微服务会公开行业标准 API，以便轻松集成到 AI 应用程序、开发框架和工作流程中。NIM 微服务基于 NVIDIA 和社区的预优化推理引擎 (包括 NVIDIA® TensorRT™ 和 TensorRT-LLM) 构建，可自动优化运行时检测到的基础模型和 GPU 系统的每个组合的响应延迟和吞吐量。NIM 容器还提供标准的可观察性数据源，并内置支持在 GPU 上的 Kubernetes 上自动扩展。

写个程序测试一下

记得自己注册账号，并到以下链接申请key
https://build.nvidia.com/meta/llama-3.2-90b-vision-instruct

import requests, base64
import gradio as gr

stream = False
def Get_Img_Info(filepath):
    invoke_url = "https://ai.api.nvidia.com/v1/gr/meta/llama-3.2-90b-vision-instruct/chat/completions"

    # with open("D:\\ai_sd_data\\01.jpeg", "rb") as f:
    with open(filepath, "rb") as f:
        image_b64 = base64.b64encode(f.read()).decode()

    assert len(image_b64) < 18