在Seeed Studio reComputer Jetson Orin使用英伟达最新发布的VLM视觉语言大模型

已于 2024-12-25 16:03:10 修改
阅读量1.1k 收藏 17
点赞数 25
CC 4.0 BY-SA版权
文章标签： 自然语言处理 人工智能 深度学习 transformer 视觉检测 chatgpt DreamFusion
于 2024-08-14 15:24:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_53134931/article/details/141191947

在Seeed Studio reComputer Jetson Orin使用英伟达最新发布的VLM视觉语言大模型

所有教程都免费开源，请动动小手点个小星星https://github.com/Seeed-Projects/jetson-examples

简介

视觉语言模型（VLMs）是支持图像、视频和文本的多模态模型，它们结合了大型语言模型和视觉变换器。基于这一能力，它们能够支持通过文本提示来查询视频和图像，从而实现与视频聊天、定义基于自然语言的警报等功能。VLM AI服务能够快速部署VLMs，以用于视频洞察应用。VLM服务公开了REST API端点，用于配置视频流输入、设置警报并以自然语言询问关于输入视频流的问题。

本教程将指导如何在Seeed Studio reComputer J4012 Jetson Orin NX上运行VLM。

在reComputer Jetson Orin使用英伟达最新发布的VLM视觉语言大模型

要求

在开始设置过程之前，请确保您的系统满足以下前提条件：

立即购买 🖱️
  • 运行Ubuntu 22.04或更高版本的Seeed Studio reComputer J4012 Orin NX 16G。
  • 驱动版本：535.113.01，Jetpack版本：6.0，CUDA版本：12.2。
  • 确保已安装JetPack和相关的Jetson服务包。
    sudo apt-get install nvidia-jetpack
sudo apt install nvidia-jetson-services
  • 可以通过RTSP流传输IP摄像头或本地视频（推荐使用我们的
最低0.47元/天 解锁文章

200万优质内容无限畅学
Ultralytics YOLOv8 英伟达™ Jetson®处理器部署
weixin_46300916的博客
04-22 3510
英伟达™（NVIDIA®）Jetson 是一系列嵌入式计算板卡，旨在为边缘设备带来加速的 AI（人工智能）计算。这些小巧而功能强大的设备围绕英伟达™（NVIDIA®）的GPU架构打造，能够直接在设备上运行复杂的人工智能算法和深度学习模型，而无需依赖云计算资源。Jetson 板卡通常用于机器人、自动驾驶汽车、工业自动化和其他需要在本地以低延迟和高效率执行人工智能推理的应用中。此外，这些板卡基于 ARM64 架构，与传统 GPU 计算设备相比运行功耗更低。英伟达™（NVIDIA®）JetPack SDK。
在Seeed Studio reComputer Jetson Orin上运行一键运行Ultralytics YOLO所有任务模型,支持TensoRt一件转换，带Web UI和HTTP API接口
m0_53134931的博客
08-14 2309
在本项目中，您可以通过一键快速在Nvidia Jetson Orin设备上部署所有YOLOv8任务模型。此设置支持对象检测、分割、人体姿态估计和分类。它支持上传本地视频、图像，使用摄像头，还允许一键转换TensorRT模型。通过访问（在本地机器或同一局域网内），您可以快速开始使用Ultralytics YOLO。此外，还添加了一个HTTP API方法，在显示任何任务的检测数据结果，并提供了一个Python脚本，用于在Docker中读取YOLOv8检测数据。
Jetson orin部署大模型示例教程
weixin_46151178的博客
11-15 5693
LLM指的是Large Language Model（大型语言模型），是一类基于深度学习的自然语言处理技术，其主要目的是让机器能够更好地理解和生成人类的自然语言文本，如文章、对话、搜索等。
为边缘开发由生成式 AI 驱动的视觉 AI 智能体
专注于人工智能领域的小何尚
07-25 1546
可视化 AI 智能体由 VLM 提供支持，您可以在其中用自然语言提出广泛的问题，并获得反映录制或直播视频中真实意图和背景的见解。这些智能体可以通过易于使用的 REST API 进行交互，并与其他服务甚至移动应用程序集成。这种新一代可视化 AI 智能体有助于总结场景、创建各种警报并使用自然语言从视频中提取可操作的见解。
部署本地语音聊天机器人：在Seeed Studio reComputer Jetson上部署Riva和Llama2
m0_53134931的博客
08-14 1148
随着人工智能技术的迅速发展，语音交互已成为人机交互的重要模式之一。尤其是在智能家居、个人助手和客户服务支持等领域，对语音聊天机器人的需求显著增加。然而，大多数现有的语音聊天机器人依赖于云计算服务，这在一定程度上引发了数据隐私和网络延迟的担忧。本项目旨在通过构建一个本地操作的语音聊天机器人来解决这些问题。我们利用和，开发了一个安全、私密、响应快速的语音交互系统。
reComputer J4012 NVIDIA开发板
YYRAN_ZZU的博客
10-05 1606
产品reComputer J4012的模型是Jetson Orin NX 16GB，具体的产品信息页链接在产品说明，产品外观图如下图：产品的电路图和PCB版图。
如何在Seeed Studio reComputer Jetson上使用Jetson平台服务运行零样本检测
m0_53134931的博客
08-14 1067
生成式AI视觉变换器（如CLIP）使得构建零样本检测模型成为可能，这种模型能够进行开放词汇物体检测。这意味着，模型不受预定义类别的限制，可以根据用户在运行时配置的目标进行检测。零样本检测AI服务能够利用Jetson服务快速部署生成式AI，用于视频直播输入的开放词汇检测。该零样本检测AI服务通过REST API端点控制流输入和检测对象。本教程将指导如何在上运行零样本检测。
打开jetson orin 难哦摄像头并显示
04-01
如果您希望进一步简化开发流程或者快速测试不同的模型效果，在 Seeed Studio reComputer Jetson Orin 中集成了 Ultralytics YOLO 工具包的支持方案[^3]。该环境不仅提供了一键部署功能还带有直观易用的 Web UI 及 ...
seeed-studio-relay-board:Seeed Studio中继板的Python库
05-24
当我终于开始使用硬件时，我使用了（或者应该说尝试使用）Seeed Studio的来指导我的工作。 不幸的是，我很快得知这篇文章不完整，没有我与董事会合作所需的一切。 我将板子安装在Raspberry Pi上，加电，运行他们的...
NVidia Jetson Nano适配Seeed CAN FD驱动
01-06
市面上（x宝上）便宜的CAN模块实在是太少了，好在有Seeed和Waveshare两家在做，控制芯片和收发芯片貌似都一样，开源的魅力。 硬件连接 将CAN FD module的pwr/spi/int的pin连接到Nano，由于Nano的40pin和Raspberry Pi...
在开源世界中发现一款强大且易用的实时计算机视觉（CV）与人工智能（AI）管道解决方案——“Jetson Multicamera Pipelines”。这款由NVIDIA AI-IoT团队开发的项目旨在为NVIDIA Jetson平台提供一种简便的方式来构建
gitblog_00013的博客
06-12 461
在开源世界中发现一款强大且易用的实时计算机视觉（CV）与人工智能（AI）管道解决方案——“Jetson Multicamera Pipelines”。这款由NVIDIA AI-IoT团队开发的项目旨在为NVIDIA Jetson平台提供一种简便的方式来构建多摄像头实时处理流程，使得开发者能够轻松地将图像采集、预处理、批处理、深度神经网络处理以及自定义应用逻辑整合到一个高效的工作流中。 项目介绍 J...
NVIDIA JetPack 6.2 为 NVIDIA Jetson Orin Nano 和 Jetson Orin NX 模块带来了超级模式
myboyliu2007的专栏
01-24 1831
如果在此模式下模块的总功率超过了热设计功率（TDP）预算，则模块将被限制到较低的频率，从而在保持在热预算内的同时提供较低的性能。本文讨论了超级模式的细节，包括新的功率模式、针对 Jetson Orin Nano 和 Orin NX 模块的流行生成 AI 模型的基准测试、文档更新以及支持超级模式的 NPN 合作伙伴的见解。表 2 比较了 Jetson Orin Nano 4GB 和 8GB 以及 Jetson Orin NX 8GB 和 16GB 在其原始模式和超模式下的详细规格。
如何在Seeed Studio Nvidia Jetson上安装PyTorch，超详细超全的所有Jetson和Jetpack版本均适用
m0_53134931的博客
08-14 1060
在Nvidia Jetson上安装PyTorch，超详细超全的所有Jetson和Jetpack版本均适用
开源项目常见问题解决方案：Nanosaur机器人项目
gitblog_00393的博客
12-09 893
开源项目常见问题解决方案：Nanosaur机器人项目 1. 项目基础介绍与主要编程语言 Nanosaur 是一个开源的机器人项目，它是一个基于 NVIDIA Jetson Nano 的履带式机器人，使用 ROS 2 (Robot Operating System 2) 构建和控制。Nanosaur 旨在为教育和研究提供一个小型的、全3D可打印的机器人平台。项目包含的核心组件和功能均基于 ROS 2...
探索未来驾驶：Jetson Autonomous RC Car
gitblog_00023的博客
06-02 983
探索未来驾驶：Jetson Autonomous RC Car 在人工智能和自动驾驶技术的快速发展中，我们有幸迎来一款令人兴奋的开源项目——Jetson Autonomous RC Car。这个项目将传统的遥控小车与先进的ROS（机器人操作系统）和深度学习框架Keras/TensorFlow相结合，为你提供了一个实现无人驾驶的实验平台。 项目介绍 该项目灵感源自JetsonHacks，旨在为开发者...
从零打造大语言模型--处理文本数据
qq_45425616的博客
08-02 347
本文介绍了构建大语言模型前处理文本数据的关键步骤。主要内容包括：1）词嵌入将离散 token 映射为连续向量；2）文本分词技术，包含正则表达式切分英文、jieba 处理中文以及混合分词方案；3）建立词表实现 token 与 ID 的双向映射；4）实现简单分词器并处理特殊 token；5）介绍 BPE 算法和 tiktoken 工具的应用；6）展示滑动窗口采样和数据加载器的实现。文章通过代码示例演示了从原始文本到模型可处理数据的完整流程，涵盖了英文、中文及混合文本的处理方法。
大语言模型的解码策略：贪婪解码与波束搜索
最新发布
qq_63117516的博客
08-03 349
以语言模型为例，给定起始 token，比如"<BOS>"
李宏毅NLP-10-语音分离
uncle_ll的博客
08-02 630
摘要 本文系统介绍了语音分离技术，重点分析说话人分离任务。语音分离包含语音增强（降噪）和说话人分离（分离重叠语音）两个方向。说话人分离任务需从混合音频中分离出独立说话人信号，研究集中于单麦克风、双说话人场景，并需解决训练与测试说话人不同的泛化问题。文章详细阐述了评估指标（SNR、SI-SDR、PESQ、STOI）及其优缺点，特别是SI-SDR通过信号投影解决了SNR的幅度作弊问题。针对说话人分离的置换问题，介绍了基于掩码的方法，通过生成时频掩码矩阵从混合信号中分离目标语音。该技术可应用于会议记录、语音识别等
解读LISA：通过大型语言模型实现推理分割
所有专家都曾始于新手
08-01 841
LISA是一种突破性的多模态AI模型，开创性地将大型语言模型(LLM)的推理能力与图像分割任务结合，提出"推理分割"新范式。其核心创新在于"Embedding as Mask"机制，通过特殊_TOKEN将LLM的文本输出引导至像素级分割任务。模型采用高效微调策略，在少量专业数据训练下即展现出强大的零样本能力，在ReasonSeg基准测试中gIoU达64.2%。LISA不仅实现了对复杂语言指令的理解和精确分割，更推动了AI从感知智能向认知智能的跨越，为多模态交互开辟了新
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值