基于 dGPU部署NanoDB，实现基于clip和faiss-gpu的高性能多模态检索

已于 2024-12-23 15:36:59 修改
阅读量237 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： AIGC 文章标签： nanodb clip faiss vectordb 多模态检索 index 向量数据库
于 2024-12-12 16:36:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/space01/article/details/144428589

目录

1 docker环境搭建

2 安装NanoDB

2.1 安装依赖

2.2 启动NanoDB

3 中文CLIP支持

当前 当前 NanoDB - NVIDIA Jetson AI Lab 是基于Jetson实现的，并没有在dGPU上部署的说明。为此， 参考上述的项目实现了在dGPU的NanoDB的部署，如T4。下面是具体的部署过程。

整个部署使用docker实现，因为涉及依赖库较多，普通的物理机部署较为复杂。

1 docker环境搭建

（1）下载docker images

当前的部署过程仅在nvcr.io/nvidia/tensorrt:24.05-py3这个image上测试通过，其余未进行测试。

docker pull nvcr.io/nvidia/tensorrt:24.05-py3

（2）启动创建容器

这里映射了2个端口：一个是22，用于后续通过ssh直接

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Jetson 系列（二十七） faiss-gpu
_yuki_
10-02 2080
Jetson 系列 faiss-gpu
Faiss安装之问题重重
qq_51241339的博客
11-24 1万+
记录一下faiss-gpu和faiss-cpu两个版本的曲折安装历程
Node.js-Nano是一个简约CouchDB客户端
08-10
Nano是一个简约CouchDB客户端
NanoDB:作为学习项目编写SQL数据库
04-03
纳米数据库 SQL数据库，它是一个学习项目，旨在更好地理解数据库的内部结构。 地位 该项目处于活跃的开发状态。 文献资料
使用docker搭建faiss向量数据库
NDF923的专栏
03-18 2188
主要是创建了一个基于centos7的镜像，然后按照miniconda、faiss-gpu 和 pandas，但是奇怪的是在这里不管是执行pip install 还是conda install，都执行不成功，但是把这个放到容器中执行就可以，咱也不知道为啥。-v：指定一个卷（volume），将宿主机的/home/ndf/faiss/data目录映射到容器的/app/data目录；创建一个名为faiss-gpu的镜像，版本为v1；--name：指定了一个名称为ndf-faiss的容器；1、创建文件夹faiss。
Jetson Nano修改系统语言+安装conda+pytorch+pycharm+faiss-cpu+cuda配置
XXBaoHeTang的博客
02-23 2607
该文章为我的可行经验记录，如果能够帮到大家，不胜荣幸。我将在这里简要介绍每个板块的内容，大家看完后可以斟酌该篇文章是否对自己有用~1. 修改系统语言：我没有下载中文输入法，也不想下载，但是系统文件夹名为中文，不太方便，而且有的部分翻译得意义不明。2. 安装conda：Ubuntu18.04，python3.6.9，我安装的是miniforge23.11.0（与conda实现功能一样），用来管理虚拟环境，也可以用virtualenv。
使用FAISS和CLIP构建图像相似性搜索引擎
Warmer_Sweeter
08-28 1591
点击下方卡片，关注“小白玩转Python”公众号主要工作：阐述如何利用文本或图像查询来检索您的图像数据库，借助CLIP模型的嵌入技术与FAISS索引系统。介绍您是否曾面临在庞大的图像数据库中寻找特定图片的难题？本教程将指导您构建一个图像相似性搜索引擎，使您能够通过文本描述或提供参考图片来快速定位所需图像。为方便操作，本教程的完整代码已在文章末尾以Colab笔记本形式提供。流程概述图像的语义信息可以...
faiss-gpu安装方法
tortorish的博客
03-16 2102
faiss-gpu安装方法
Jetson Containers 项目教程
gitblog_00551的博客
08-09 687
Jetson Containers 项目教程 项目介绍 Jetson Containers 是一个为 NVIDIA Jetson 平台设计的机器学习容器系统。该项目提供了一个模块化的构建系统，支持多种 AI/ML 包，如 PyTorch、TensorFlow、ONNX Runtime、DeepStream 等。通过使用 Docker 容器，开发者可以轻松地在 Jetson 设备上部署和运行各种机器...
探索CouchDB的轻量级驱动：nano
gitblog_00059的博客
06-10 371
探索CouchDB的轻量级驱动：nano 项目介绍 nano，一个专为Node.js设计的CouchDB驱动，以其最小化抽象和直接的数据交互方式，让你更接近CouchDB的核心功能。这个库不仅提供了基本的数据库操作，还支持管道、错误处理以及与其他服务同步，是构建CouchDB应用程序的理想选择。 项目技术分析 nano的设计理念在于保持轻便和高效。通过最小化的API接口，它使得开发者能够直接与Co...
faiss-gpu下载
Thomas33的博客
11-25 1329
下载faiss-gpu
Jetson Nano faiss 安装
lianbus的专栏
02-19 1535
faiss的安装，所有的地方都推荐用conda安装，又方便又快捷。but，conda不支持nano这种arm linux环境！也就是说只能git下来编译了。 于是，在jetson nano这样的arm linux平台上，用源码安装faiss步骤记录如下： arm linux上安装faiss第一步：安装BLAS git clone https://github.com/xianyi/Open...
如何安装faiss-gpu ubutnu18 cuda10.1
weixin_44523062的博客
07-05 2211
我透，耗费了我两个下午，在第一台服务器安装踩坑，后来又在另一台服务器安装又踩坑，我服了。特此记录。 使用Anaconda安装faiss是最方便快速的方式，facebook会及时推出faiss的新版本conda安装包，在conda安装时会自行安装所...
安装测试 facebook FAISS（GPU）
u010641294的博客
05-31 7244
在上一篇“安装测试facebook FAISS（CPU）”基础上继续搭建 GPU 版本的 FAISS 开发环境，并进行测试。搭建 GPU 开发环境 – 安装 CUDA 并导入 CuDNN 关联 – 配置环境变量 C++ GPU 开发环境 Python GPU 开发环境 结束 1、搭建 GPU 开发环境 GPU 开发环境是 GPU-FAISS 开发的基础，主要分为安装CUDA并导入CuDNN关
解决安装faiss-gpu失败的问题
qq_38331273的博客
05-27 4739
安装faiss-gpu出现问题： 尝试使用： conda install -c conda-forge faiss-gpu 参考
k8s调用gpu，nvidia-docker使用gpu
热门推荐
flyingbird
03-04 1万+
简单介绍了nvidia-docker，介绍了k8s如何调用gpu
Faiss 向量数据库详解
刘皇叔说Java的博客
07-28 354
Faiss (Facebook AI Similarity Search) 是 Facebook AI 团队开发的高效相似性搜索和稠密向量聚类库，专门用于处理大规模向量数据的最近邻搜索问题。
向量数据库深度解析：FAISS、Qdrant、Milvus、Pinecone使用教程与实战案例
qq_41300350的博客
07-29 309
本文介绍了向量数据库的核心概念、主流技术对比及实践应用。向量数据库专为高维向量数据设计，支持语义理解、实时检索等优势。对比分析了FAISS、Qdrant、Milvus和Pinecone在部署、算法、规模等方面的差异，并提供了FAISS、Qdrant和Milvus的具体代码示例。典型应用包括电商推荐系统和语义搜索，可显著提升业务指标。选型建议：学术研究选FAISS，企业部署用Milvus，快速原型开发推荐Pinecone，语义搜索场景适合Qdrant。
自动驾驶决策规划控制：Matlab与Simulink实现S型道路自动换道场景的深度解析 - RNN
最新发布
07-31
自动驾驶决策规划控制的全流程，涵盖从Matlab工具箱的应用到Simulink动态仿真的各个环节。首先，文章介绍了Matlab自动驾驶工具箱的基础功能，随后深入探讨了S型道路自动换道场景的创建方法，重点讲解了RNN和LSTM网络在轨迹预测中的应用以及模糊逻辑推理在换道决策中的作用。接着，文章对四种换道路径进行了对比分析，并通过多目标评价函数筛选最优的B样条曲线。此外，还讨论了如何利用规划路径和预测轨迹建立ST图，并采用动态规划和平滑算法优化ST曲线。最后，文章比较了几种轨迹跟踪算法，并展示了MPC算法的实际应用效果。整个流程通过Simulink平台实现了完整的动态仿真。 适合人群：对自动驾驶技术感兴趣的初学者和技术爱好者，尤其是希望深入了解Matlab和Simulink在自动驾驶领域的应用的研究人员和工程师。 使用场景及目标：①掌握Matlab自动驾驶工具箱的基本操作；②理解RNN、LSTM在网络轨迹预测中的具体应用；③学会使用模糊逻辑推理进行换道决策；④熟悉多种换道路径的选择标准和优化方法；⑤掌握ST图的建立和优化技术；⑥了解不同轨迹跟踪算法的特点并能实际应用。 其他说明：本文不仅提供了理论知识，还结合了大量的实例和代码片段，帮助读者更好地理解和实践自动驾驶技术。
faiss-gpu
03-16
通过 PyPI 或者从源码编译两种途径来实现 FAISS-GPU 的部署。 ##### 方法一：基于 pip 进行快速安装 如果目标平台已经满足上述所有前提条件，则可以直接利用 Python 包管理工具 `pip` 来获取预构建好的二进制轮子...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

space01

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值