Vector Search with OpenAI Embeddings: Lucene Is All You Need

LLM 日更 专栏收录该内容
829篇文章
已下架不支持订阅

本文是LLM系列文章,针对《Vector Search with OpenAI Embeddings: Lucene Is All You Need》的翻译。

使用OpenAI嵌入的向量搜索:Lucence是你所需的一切

摘要

我们在流行的MS MARCO文章排名测试集上使用Lucene提供了一个可复制的、端到端的OpenAI嵌入向量搜索演示。我们工作的主要目标是挑战主流的说法,即专用向量存储是利用深度神经网络应用于搜索的最新进展所必需的。恰恰相反,我们表明Lucene中的分层可导航小世界网络(HNSW)索引足以在标准双编码器架构中提供向量搜索功能。这表明,从简单的成本效益分析来看,似乎没有令人信服的理由将专用向量存储引入现代“人工智能堆栈”中进行搜索,因为这些应用程序已经在现有的、广泛部署的基础设施中获得了大量投资。

1 引言

2 从架构到实现

3 实验

MongoDB 8.0 Hybrid Search 实战:关键词+向量混合搜索落地指南 混合搜索(Hybrid Search)是一种融合关键词匹配与语义向量检索的现代搜索范式,其核心原理在于通过加权融合两种异构分数,平衡精确性与泛化性。技术价值体现在显著提升非结构化、口语化文本(如商品描述、客服对话、电影简介)的召回准确率与抗错能力,尤其适用于多模态、高噪声的真实业务场景。典型应用包括电商商品搜索、智能客服问答、内容平台兴趣推荐等。本文基于 MongoDB 8.0 免费集群,详解如何绕过 `$rankFusion` 限制,利用 `$unionWith` 与 `$group` 实现稳定可控的 h 阅读详情

相关推荐

MongoDB Atlas向量搜索实战:语义检索与RAG集成指南

向量搜索是实现语义检索的核心技术,它将文本、图像等非结构化数据映射为高维嵌入向量,通过余弦相似度或欧氏距离在向量空间中进行近似最近邻(ANN)匹配。其原理依赖于预训练模型的语义编码能力与高效索引算法(如HNSW)的协同,技术价值在于突破关键词匹配局限,支撑精准推荐、智能客服、RAG增强生成等AI应用。在工程落地中,数据一致性、运维复杂度与MVP迭代效率成为关键瓶颈。MongoDB Atlas Vector Search以原生聚合管道集成、ACID事务保障和PyMongo开箱支持,将向量能力深度融入文档数据库

weixin_34032792的博客 362

Pinecone+OpenAI语义搜索实战:从零搭建高精度向量检索系统

语义搜索是一种基于语义理解而非关键词匹配的新型信息检索技术,其核心原理是将文本映射到高维向量空间,通过计算向量相似度实现意图驱动的召回。相比传统全文检索,它具备天然的同义表达识别、上下文感知和跨文档关联能力,显著提升非结构化文本(如PDF、工单、会议纪要)的查全率与查准率。在工程落地中,Pinecone作为专为向量优化的数据库,配合OpenAI text-embedding-3系列嵌入模型,可在低延迟、高并发、实时更新等关键指标上实现远超Elasticsearch等通用引擎的表现。本方案已成功应用于客服知识

xpp02的专栏 515

pgvector:PostgreSQL 原生向量检索实战指南

向量检索是支撑语义搜索、AI推荐与智能问答的核心能力,其本质是通过嵌入向量的相似度计算实现高维空间中的近似最近邻查找。原理上依赖余弦相似度、欧氏距离等度量,并结合IVFFlat或HNSW等索引结构平衡精度与性能。技术价值在于避免多系统协同带来的延迟、一致性与运维负担,显著降低AI应用落地门槛。典型应用场景包括电商对话匹配、内容语义推荐、知识库问答等需融合语义理解与结构化数据的业务。本文聚焦pgvector——PostgreSQL原生向量扩展,详解其零改造集成、VECTOR数据类型、ACID保障下的向量查询及

weixin_34198762的博客 444

MongoDB Atlas向量搜索实战:Python快速构建语义搜索系统

向量搜索是实现语义理解与相似性匹配的核心技术,其原理是将文本、图像等非结构化数据映射为高维空间中的数值向量,通过余弦相似度或欧氏距离量化‘意思’的接近程度。该技术显著提升搜索相关性与跨模态检索能力,广泛应用于电商推荐、知识库问答、文献检索等场景。MongoDB Atlas原生集成向量索引,支持在文档中混合存储结构化字段与embedding向量,避免多系统协同的复杂性;Python凭借其在AI工程链路中的枢纽地位,成为向量化生成、查询编排与结果后处理的理想胶水语言。本文聚焦于MongoDB Atlas + P

weixin_34174422的博客 336

向量数据库选型与实战:Milvus、pgvector、Chroma等8款对比与部署指南

向量数据库作为大模型知识库与语义检索的核心组件,正被越来越多的开发团队纳入技术选型。其基本原理是将文本或图片映射为高维向量,通过近似最近邻搜索实现相似内容召回。成熟的向量数据库能显著降低检索延迟、提升召回精度,并支撑RAG问答、推荐系统等场景。面对Milvus、Qdrant、Weaviate、Chroma、pgvector、OpenSearch、LanceDB、Neo4j等众多选择,团队常因不了解各自架构与适用规模而陷入选型困境。本文从实际部署经验出发,梳理各数据库的底层原理与运维差异,重点解决milvus

weixin_33795806的博客 370

混合检索实战:BM25与向量检索融合提升RAG系统精准度

在信息检索领域,传统的关键词检索与基于深度学习的向量检索是两大核心技术。关键词检索基于精确的词汇匹配,通过倒排索引实现高效查找,擅长处理术语、代码等需要精确匹配的场景。向量检索则通过Embedding模型将文本映射为高维向量,计算语义相似度,能理解查询意图并处理同义、泛化表达。混合检索融合了两者优势,在RAG系统中实现高召回率与高精度的平衡。通过加权融合、级联检索等策略,结合BM25的术语匹配能力和向量检索的语义理解能力,有效解决了单一检索方式在特定场景下的不足。这种技术方案在知识库问答、智能客服、文档检索

weixin_33672109的博客 397

Spring-AI与LangChain4j选型指南:Java企业级AI工程化实践

大模型集成不是简单调用API,而是涉及LLM调用、RAG检索、Agent编排、记忆管理与可观测性的系统工程。其核心原理在于将非结构化AI能力封装为可测试、可监控、可演进的软件组件。技术价值体现在降低胶水代码、统一错误处理、复用Spring生态能力(如Retry、Security、Redis)或保障跨框架可控性(如Token计量、内存定制)。典型应用场景包括智能客服问答、文档摘要生成、销售话术Agent等企业级AI服务。本文基于三个上线项目实证,深入解析Spring-AI与LangChain4j在架构定位、版

dezhen7015的博客 471

.NET本地RAG实战:从PDF解析到向量检索的工业级落地

RAG(检索增强生成)作为当前企业知识管理的核心技术,其本质是将非结构化文档转化为可检索、可推理的语义向量。实现稳定可靠的RAG系统,关键在于理解文本切片的语义保真、嵌入模型的轻量化部署,以及向量检索在资源受限环境下的性能优化。尤其在制造业、金融、政务等强合规场景中,‘本地化’不仅意味着离线运行,更要求全链路(解析→切分→嵌入→检索→生成)在Windows内网、无GPU、低内存(≤2GB)条件下稳定交付。本文聚焦.NET生态下Practical Local RAG的工程实践,深入解析PdfiumSharp文

weixin_30699955的博客 291

Codex 实战 Skills:一键将几百个 Markdown 建立向量索引并提供极速语义搜索的 Skill

特性传统关键词搜索 (BM25/Lucene)语义向量搜索 (Vector Search)匹配原理精确匹配关键词向量空间中的几何距离同义词处理差,需手动构建同义词库好,语义相近的词向量接近上下文理解无,仅基于词频有,基于预训练模型的上下文感知查询意图难以捕捉模糊意图能捕捉模糊和隐含意图性能极快,适合大规模实时检索较快,但依赖硬件加速,需索引构建时间适用场景精确代码搜索、特定编号查询自然语言问答、文档摘要、模糊查询维护成本低,无需额外训练中高,需维护 Embedding 模型和索引。

yueyeguzhuo的专栏 47

【合规领域】【信息科学与工程学】计算机科学与自动化——第五百篇 国产化/XC解决方案 第二篇 海光CPU/DPU芯片适配01

信创软件与海光CPU/DCU(深算单元,常被统称为海光GPU加速卡)的适配,核心思路是:海光CPU兼容x86指令集、海光DCU兼容"类CUDA"环境,因此绝大多数x86应用和CUDA生态组件可以通过"轻量迁移"而非"重写"的方式落地。本条目的目标是把"海光x86 CPU + 海光DCU加速卡 + 统信UOS/银河麒麟 + 国密算法"串成一条可验收的链路。海光CPU(C86系列):兼容x86指令集(完整x86-64及SSE、AVX等主流扩展),基于AMD Zen1微架构深度定制的国产路线,国内唯一获得x86指

weixin_49199313的博客 113

《YOLOv8实例分割实战:训练自己的数据集 》(视频课程)

本课程将手把手地教大家使用labelme标注和使用YOLOv8训练自己的数据集,完成一个多目标实例分割实战项目。

bai666ai的博客 790

Ubuntu20.04浏览器上网慢解决方法——体验优化

一、问题描述 ubuntu上网慢的原因可能有多种: 1.主机网络慢 2.客户机下载网络占用 3.域名解析慢 本文仅代表本人配置过程,网络配置需谨慎小心 二、使用本地DNS服务器解决问题 1.安装 dnsmasq sudo apt-get install dnsmasq 2.配置dnsmasq ——终端输入: sudo gedit /etc/dnsmasq.conf ——文本中查找 : #resolv-file= ——将之替换为: resolv-file=/etc/resolv.dnsm

nofear的博客 1万+

ASP.NET MVC5 C# Entity Framework 连接 Oracle 数据库

ASP.NET MVC5 C# Entity Framework 连接 Oracle 数据库创建数据库安装 Entity Framework配置数据库连接字符串添加实体模型类添加数据库上下文类添加控制器类运行测试 创建数据库 创建【全局数据库名】为 demodb 的Oracle数据库,用 SYSTEM 用户连接成功后创建【用户名】为 DJIANG 的用户,并授予该用户 DBA 角色 安装 Enti...

idjiang的博客 2538

挑战第七天:Llamaindex RAG 实践

安装python 依赖包,并安装 Llamaindex和相关包以及Sentence Transformer 模型。进入开发机后,创建新的conda环境,命名为。镜像,然后在资源配置中,使用。的选项,然后立即创建开发机器。后,点击 选择镜像 使用。然后安装相关基础依赖。

weixin_53579823的博客 728

使用CUDA进行按流排序的内存分配的示例程序

在GPU编程中,按流排序的内存分配是一种常见的优化技术,它可以提高内存访问的效率。通过将内存分配与特定的CUDA流相关联,可以确保在GPU上的并发操作期间,内存分配操作与其他GPU计算操作同时进行,从而减少了潜在的内存访问延迟。请注意,上述示例中的代码仅供参考,并可能需要根据实际需求进行修改和调整。此外,为了完整性,我们省略了一些细节,例如主机指针的分配和释放,以及错误处理和错误检查等。在该示例中,我们创建了4个CUDA流,并使用内存池进行内存分配。然后,我们在每个流上执行了相应的内存访问操作,并使用。

Byte_O_O的博客 282

【腾讯小龙虾WorkBuddy专栏05】深度解析WorkBuddy连接器(Connector)

深度解析WorkBuddy连接器(Connector)

AI人人懂 1318

嵌入式开发板OpenClaw部署:ESP32-S3与RISC-V平台性能评估

ESP32-S3与RISC-V平台在OpenClaw部署中的性能评估 本文对比分析了ESP32-S3和RISC-V两种嵌入式平台在OpenClaw部署中的性能表现。ESP32-S3凭借240MHz双核Xtensa LX7处理器和专用AI加速器,特别适合轻量级AI推理任务;而RISC-V凭借开源架构和模块化设计,可实现更高的能效比。文章详细介绍了ESP32-S3-DevKitC-1、SiFive HiFive1等典型开发板的硬件规格,推荐了ESP-IDF和FreeRTOS等操作系统,并提供了完整的开发环

博客 1128

JSON 与 JSON-RPC 的区别

JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,基于文本,采用人类可读的语法来表示结构化数据。它起源于JavaScript,但如今已被几乎所有主流编程语言支持。标准文档:RFC 4627数据类型:支持 String、Number、Boolean、Null、Object、Array 六种基本类型格式示例"name": "张三","age": 30,JSON-RPC(JSON Remote Procedure Call)是一种远程过程调用(RPC)协议。

h a 6 6 6 c k 为 你解决复杂难题! 148

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning
下一篇: Giraffe: Adventures in Expanding Context Lengths in LLMs
UnknownBody
博客等级 码龄16年 5601粉丝 4744原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值