文章目录
什么是NVIDIA NIM
NVIDIA NIM™ 是 NVIDIA AI Enterprise 的一部分,为跨云、数据中心和工作站的自托管 GPU 加速推理微服务提供容器,用于预训练和自定义 AI 模型。使用单个命令部署后,NIM 微服务会公开行业标准 API,以便轻松集成到 AI 应用程序、开发框架和工作流程中。NIM 微服务基于 NVIDIA 和社区的预优化推理引擎 (包括 NVIDIA® TensorRT™ 和 TensorRT-LLM) 构建,可自动优化运行时检测到的基础模型和 GPU 系统的每个组合的响应延迟和吞吐量。NIM 容器还提供标准的可观察性数据源,并内置支持在 GPU 上的 Kubernetes 上自动扩展。
写个程序测试一下
记得自己注册账号,并到以下链接申请key
https://build.nvidia.com/meta/llama-3.2-90b-vision-instruct
import requests, base64
import gradio as gr
stream = False
def Get_Img_Info(filepath):
invoke_url = "https://ai.api.nvidia.com/v1/gr/meta/llama-3.2-90b-vision-instruct/chat/completions"
# with open("D:\\ai_sd_data\\01.jpeg", "rb") as f:
with open(filepath, "rb") as f:
image_b64 = base64.b64encode(f.read()).decode()
assert len(image_b64) < 18