J-Tech & 开源之夏｜什么是比快更快的向量搜索

原创 已于 2022-09-19 23:18:26 修改 · 507 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开源 #搜索引擎 #人工智能

于 2022-09-19 23:02:07 首次发布
Jina AI社区的J-Tech Talk邀请了开源之夏项目成员杨小燕，分享她在DocArray中实现Redis后端存储的经验。DocArray是一种适用于深度学习的可扩展数据结构，通过新增Redis支持，现在能支持更多向量数据库，如Annlite、SQLite等，利用HNSW算法提升检索效率。活动将于2022年9月22日举行。

J-Tech Talk

由 Jina AI 社区为大家带来的技术分享工程师们将深入细节地讲解具体的问题

分享 Jina AI 在开发过程中所积累的经验

本期 J-Tech Talk 邀请到了在开源之夏项目中脱颖而出的杨小燕，分享她负责的项目《支持 Redis 数据库作为 DocArray 的存储后台》帮助更多的开发者高效地进行向量检索。

作为 Jina 生态的底层模块，DocArray 是一种可扩展的数据结构，完美适配深度学习任务。总的来说，DocArray 能够把非结构化数据，统一成同一种数据结构。支持的数据类型包括文本、图像、音频、视频、3D mesh等，并且能够高效地处理、检索、推荐、存储及传输数据。在小燕的贡献下，DocArray 新增了 Redis 数据库的后端存储支持，现在 DocArray 支持了更多向量数据库作为存储后台，如 Annlite，SQLite，Qdrant 以及 Elasticsearch 等。

分享内容

最低0.47元/天 解锁文章
c++入门教程--C++流行的开源框架和库超全总结
甜航一直在的博客
06-13 844
C++标准库，包括了STL容器，算法和函数等。C++通用框架和库 Apache C++ Standard Library：是一系列算法，容器，迭代器和其他基本组件的集合。(http://stdcxx.apache.org/) ASL：Adobe源代码库提供了同行的评审和可移植的C++源代码库。(http://stlab.adobe.com/) Boost：大量通用C++库的集合。(https://github.com/boostorg) BDE：来自于彭博资讯实验室的开发环境。(https://github
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3997
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
在SQLite中实现高效的向量搜索：SQLite-VSS快速入门指南
dgay_hua的博客
02-15 888
SQLite-VSS 是一个专为向量搜索设计的 SQLite 扩展，强调本地优先操作，便于集成到无需外部服务器的应用中。通过利用 Faiss 库，它提供了高效的相似度搜索和聚类功能。本文将介绍如何使用提供的工具，通过向量化文本数据并保存到 SQLite 数据库中进行高效的相似度查询。这不仅能够提升搜索效率，同时还能保证数据的本地化存储，适合嵌入到本地应用中。
深入解析SQLite-VSS：为本地应用引入高效向量搜索
jaioyfpo的博客
11-19 410
SQLite-VSS提供了一个强大的本地向量搜索解决方案，适用于各种应用场合。对于想深入学习向量存储概念的开发者，建议查阅其概念指南和使用指南。
探索SQLite-VSS：在本地执行高效向量搜索
bhawfgrcbtwny的博客
10-07 584
SQLite-VSS是SQLite的扩展，通过集成Faiss库来实现高效的相似性搜索和聚类功能。它支持本地存储，强调“本地优先”操作，且易于与现有应用程序集成，无需借助外部服务器。SQLite-VSS为在本地环境中实现高效向量搜索提供了一种便捷的方法。它特别适合无法使用外部服务器的应用场景。Faiss 官方文档Langchain 社区文档SQLite 官方文档。
探索高效数据存储与检索——hnsqlite
gitblog_00074的博客
06-13 414
探索高效数据存储与检索——hnsqlite hnsqlitehnsqlite integrates hnswlib and sqlite for simple text embedding search项目地址:https://gitcode.com/gh_mirrors/hn/hnsqlite 在大数据时代，如何快速有效地管理和搜索大量嵌入式数据（如文本、向量及其元信息）变得至关重要。hnsq...
Redis 向量搜索
凌虚Blog
07-09 2329
等模块支持了 JSON 数据、查询与搜索（包括全文搜索、向量搜索、GEO 地理位置等）、时序数据、概率计算等等扩展功能。可以看到我们的单条数据使用了约 16 KB 内存，以此类推 1000 条数据需要 16 MB 内存，1 百万数据需要 16 GB 内存。最后，如果我们的数据量并不大，那么使用 Redis 作为向量数据库也是一个很好的选择。为此，我们使用 JSON 格式来保存数据，并使用 FT.CREATE。通过设置 userID 的范围对索引中的部分数据进行向量搜索。示例中，我们使用 JSON.SET。
浅谈向量检索
qq_42828391的博客
08-17 6268
文章目录浅谈向量检索背景什么是向量什么是向量检索距离度量检索方法ANN的基本思路举个容易理解栗子举个正常的例子具体算法树方法KD-TreeAnnoyHash方法LSH 算法矢量量化方法乘积量化码本的建立码字搜索算法倒排乘积量化临近图方法HNSW 算法朴素想法Delaunay算法NSW 主要思想NSW构图NSW查找参考 浅谈向量检索 背景 索引一直被认为是检索引擎最重要的组成部分，之所以数据库能够快速的查询出来结果。系统设计中很多常见的多种数据结构都是为了快速命中索引设计的， 比如 红黑树、跳跃表、倒排索引、
导师制：开启程序人生职业生涯快速成长之门
AI天才研究院
06-28 895
在技术快速迭代的软件开发领域，程序员面临知识过载、职业路径模糊、技术深度不足等挑战。传统自学模式效率低下，而导师制通过结构化知识传递、个性化指导和行业经验传承，成为破解成长困境的关键机制。本文系统阐述导师制的理论基础、实施方法及实战案例，覆盖技术能力培养、职业规划、软技能提升三大核心领域，适用于0-5年经验的技术从业者及技术团队管理者。理论篇：解析导师制核心概念与底层逻辑方法篇：提供算法模型、实施步骤和数学分析实战篇：通过代码案例演示导师匹配系统开发应用篇：覆盖不同职业阶段的落地场景。
Redis也能玩向量：基于Tair Vector实现图文多模态检索
tiaokoutong0701的博客
06-19 1469
下载图片数据。本示例使用的测试数据：图片：为开源的。
Spring Boot集成Redis向量数据库实现相似性搜索
HBLOG
09-24 4090
Redis是一个开源（BSD 许可）的内存数据结构存储，用作数据库、缓存、消息代理和流式处理引擎。Redis 提供数据结构，例如字符串、哈希、列表、集合、带范围查询的有序集合、位图、超对数日志、地理空间索引和流。Redis 搜索和查询扩展了 Redis OSS 的核心功能，并允许您将 Redis 用作向量数据库在哈希或 JSON 文档中存储向量和关联的元数据检索向量执行向量搜索。
Redis的AI时代新利器：深度解析Redis 8向量数据库的相似搜索
qq_38371336的博客
05-15 1700
随着AI大模型的兴起，向量数据库逐渐成为热门技术。Redis近期推出了向量集合（VectorSet）功能，专为向量相似性设计，支持向量相似性和标量过滤搜索。向量搜索的核心是将数据库中的项目和查询词表示为向量，通过计算向量间的相似度来找到最接近的结果。Redis的向量检索通过将字段内容转换为高维向量，并使用嵌入模型生成查询向量，通过余弦相似度或欧几里得距离进行匹配，返回最相似的结果。本文还介绍了如何使用Spring Boot集成Redis实现相似性搜索，包括数据向量化、查询处理和结果返回的完整流程。
利用Redis实现向量相似度搜索：解决文本、图像和音频之间的相似度匹配问题
weixin_2630663675的博客
07-28 3767
向量是数学、物理学和工程科学等多个自然科学中的基本概念，它是一个具有方向和长度的量，用于描述问题，如空间几何、力学、信号处理等。在计算机科学中，向量被用于表示数据，如文本、图像或音频。此外，向量还代表AI模型对文本、图像、音频、视频等非结构化数据的印象。
利用Redis实现向量相似度搜索：解决文本、图像和音频之间的相似度匹配问传统关系型数据库题
hjdh9966666的博客
08-02 383
当鉴权用户更新时
利用Redis实现向量相似度搜索：解快速注入相关的核心决文本、图像和音频之间的相似度匹配问题
ss223ss1s2的博客
02-22 1047
会随机改变
利用Redis实现向量相似度搜索：解决文本、图像和音频之间的相似度匹配问题业务用户和鉴权用户由同步机制关联
UUI88955555的博客
01-28 594
算法能力可视化
【SpringAI】6.向量检索（redis）
最新发布
占星安啦的博客
07-11 496
springai接入redis实现文本向量话和向量检索
利用Redis实现向量相似度搜索：解决文本、快速注入相关的核心图像和音频之间的相似度匹配问题
oplq9866666的博客
02-23 241
快速注入相关的核心
利用Redis实现向量相似度搜索：解决文本、图像和会随机改变音频之间的相似度匹配问题
olkll6659878的博客
08-04 361
赋能技术
微软DeepSpeed-Chat开源：快速训练大型语言模型
资源摘要信息:微软开源了名为DeepSpeed-Chat的“傻瓜式”类ChatGPT模型训练工具，旨在帮助用户以更低的成本和更高的效率训练大型语言模型。这个工具是基于微软自家开发的DeepSpeed深度学习优化库，并集成了强化学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值