当BM25遇见LLM:传统检索算法在现代AI架构中的新角色

RAG——RAG检索(混合检索) 本文探讨了RAG(检索增强生成)中的混合检索技术,结合向量检索和关键词检索的优势提升搜索效果。向量检索擅长语义匹配,但在精确匹配、短词搜索等场景表现欠佳;关键词检索则能有效处理产品编号、低频词等特定查询。混合检索通过多路召回策略(如BM25算法+向量检索)综合不同检索结果,并采用重排序技术(如RRF算法)优化结果排序。实验数据表明,混合检索结合重排序能显著提升召回率和准确性。文章还提供了Python实战代码,演示如何集成BM25和jieba分词实现中文混合检索。这种技术组合为RAG系统提供了更全面、精准的检 阅读详情

当BM25遇见LLM:传统检索算法在现代AI架构中的新角色

在人工智能技术日新月异的今天,大型语言模型(LLM)已成为自然语言处理领域的明星技术。然而,在这些"新贵"光芒背后,传统检索算法如BM25正以全新的姿态重新定义自身价值。本文将深入探讨BM25这一经典算法如何在大模型时代找到独特定位,特别是在检索增强生成(RAG)等混合架构中发挥关键作用。

1. BM25的现代重生:从传统检索到AI协同

BM25(Best Matching 25)算法诞生于20世纪70-80年代,作为信息检索领域的经典算法,它曾长期主导搜索引擎的核心排序逻辑。其核心优势在于通过词频饱和处理和文档长度归一化两大机制,有效克服了传统TF-IDF算法的局限性:

  • 词频饱和机制:通过参数k1控制高频词的影响,避免常见词过度影响结果
  • 长度归一化:通过参数b平衡不同长度文档的检索公平性
  • IDF加权:突出稀有词的重要性,抑制常见词的干扰

在大模型时代,BM25的价值不仅没有被削弱,反而因其独特的优势获得了新生。当GPT-4等LLM在理解语义方面表现出色时,BM25在精确关键词匹配、计算效率和资源消耗方面的优势使其成为理想的"召回层"解决方案。特别是在以下场景中,BM25展现出不可替代性:

  • 资源受限环境:BM25作为稀疏检索算法,计算开销远低于密集向量检索
  • 精确术语查询:法律条文、技术文档等需要精确匹配的场景
  • 冷启动问题:在缺乏足够训练数据时,BM25提供稳定可靠的基线性能

2. BM25在RAG架构中的核心作用

检索增强生成(Retrieval-Augmented Generation)已成为连接大语言模型与外部知识库的主流架构。在这个框架下,BM25通常扮演着第一阶段的"召回"角色,其核心价值体现在三个维度:

2.1 高效召回:速度与精度的平衡

在典型RAG流水线中,BM25首先从海量文档中快速筛选出候选集,再由语义检索模型进行精细排序。这种两级架构实现了效率与效果的完美平衡:

指标BM25召回阶段语义排序阶段
响应时间毫秒级秒级
计算资源CPU即可胜任需要GPU加速
匹配方式字面匹配语义匹配
结果数量50-100篇3-5篇
# 典型RAG架构中的BM25应用示例
from rank_bm25 import BM25Okapi
from sentence_transformers import CrossEncoder

# BM25快速召回
tokenized_corpus = [doc.split() for doc in documents]
bm25 = BM25Okapi(tokenized_corpus)
top_n = bm25.get_top_n(query, documents, n=50)

# 语义模型精细排序
cross_encoder = CrossEncoder('cross-encoder/ms-marco-MiniLM-L-6-v2')
scores = cross_encoder.predict([(query, doc) for doc in top_n])
final_results = [doc for _, doc in sorted(zip(scores, top_n), reverse=True)][:3]

2.2 与语义检索的互补效应

BM25与语义检索并非竞争关系,而是形成优势互补:

  • 召回多样性:BM25确保不遗漏关键术语匹配的结果
  • 语义深度:向量检索捕捉概念相关性
  • 混合评分:结合两者分数可提升整体效果

实验数据显示,在MS MARCO等标准测试集上,BM25与语义检索的混合方案相比单一方法可获得15-30%的效果提升。

2.3 参数调优实战技巧

BM25的性能高度依赖参数配置,以下是在实际系统中的调优经验:

k1参数(默认1.2):

  • 增大k1:增强词频影响,适合长文档、技术文档
  • 减小k1:降低词频影响,适合短文本、社交媒体

b参数(默认0.75):

  • 增大b:加强长度惩罚,避免长文档主导
  • 减小b:弱化长度影响,适合均匀长度文档集
# Elasticsearch中的BM25参数配置示例
{
  "settings": {
    "similarity": {
      "custom_bm25": {
        "type": "BM25",
        "k1": 1.5,    # 增强术语重要性
        "b": 0.6,     # 适度长度归一化
        "discount_overlaps": true
      }
    }
  }
}

3. 实战案例:客服知识库的混合检索系统

某金融科技公司构建智能客服系统时,采用BM25+LLM的混合架构实现了显著效果提升:

3.1 系统架构设计

  1. 索引阶段:

    • 文档分块(512 tokens/块)
    • 构建BM25倒排索引
    • 生成向量嵌入(Ada-002)
  2. 查询阶段:

    • BM25召回Top 50结果
    • 向量检索召回Top 50结果
    • 混合去重后保留Top 80
    • 交叉编码器精细排序
    • LLM生成最终回答

3.2 性能对比数据

指标纯BM25纯向量检索混合方案
首结果准确率68%72%85%
前3命中率82%88%94%
响应延迟(ms)120850220
CPU利用率15%95%35%

3.3 关键优化点

  • 领域词典增强:添加金融术语到BM25分析器
  • 动态参数调整:根据查询长度自动调节b参数
  • 结果混合策略:BM25与向量分数加权融合

4. BM25的未来演进方向

随着AI技术的发展,BM25也在持续进化,主要趋势包括:

4.1 与神经网络的深度结合

  • Term Weighting预测:使用小型BERT模型预测BM25中的词项权重
  • 动态参数学习:基于查询上下文自动优化k1和b参数
  • 混合表示:将BM25分数作为特征输入LLM

4.2 新兴变种算法实践

  • BM25F:处理多字段文档(标题、正文、标签等)
  • BM25+:引入查询词频加权
  • BM25L:改进长文档处理能力

4.3 在边缘计算中的应用

BM25的低计算需求使其成为边缘设备上理想的检索方案:

  • 移动端本地搜索
  • IoT设备的知识查询
  • 离线环境的文档检索
# 微型设备上的BM25实现示例
import numpy as np

class LiteBM25:
    def __init__(self, docs):
        self.docs = [d.split() for d in docs]
        self.avgdl = np.mean([len(d) for d in self.docs])
        self.idf = self._compute_idf()
        
    def _compute_idf(self):
        df = {}
        for doc in self.docs:
            for word in set(doc):
                df[word] = df.get(word, 0) + 1
        return {word: np.log(len(self.docs)/(freq+1)) for word, freq in df.items()}
    
    def score(self, query, doc, k1=1.2, b=0.75):
        score = 0
        for word in query.split():
            if word not in self.idf: continue
            tf = doc.count(word)
            score += self.idf[word] * (tf*(k1+1)) / (tf + k1*(1-b+b*len(doc)/self.avgdl))
        return score

在技术选型时,开发者需要根据具体场景在精度与效率之间寻找平衡点。对于需要毫秒级响应、高吞吐量的生产系统,BM25仍然是难以替代的基础组件;而在对语义理解要求极高的场景,结合LLM的混合方案则展现出明显优势。

AI Agent结构化记忆架构:Memori+Gradient实现持久化可检索记忆 AI Agent的记忆能力已从临时上下文演进为独立、持久、可管理的数据服务。其核心原理在于解耦记忆存储与模型推理,通过带元数据、版本和权限的结构化记忆对象(Memory Object)构建事实网络,替代易衰减的注意力机制长程依赖。该技术显著提升多轮对话一致性、跨会话任务连续性及语义检索准确率,广泛应用于智能客服、SaaS协作工具与个人知识助理等需长期用户关系的场景。本文基于Memori Labs的记忆即服务(MaaS)范式与DigitalOcean Gradient™ AI的确定性推理底座,详解如何落地高并 阅读详情

相关推荐

2024年对于RAG技术的梳理

RAG技术,全称Retrieval-Augmented Generation,中文译为“检索增强生成”。它是一种结合了信息检索与文本生成技术的新型人工智能框架。RAG技术的核心理念在于将传统信息检索系统的优势与生成式大语言模型的功能相结合,使大型语言模型(LLM)能够充分利用外部知识库中的信息,撰写更准确、更具时效性且更贴合具体需求的文字。RAG技术的工作流程主要包括检索、增强和生成三个步骤:1.检索(Retrieval):模型先从外部知识库或文档库中检索与输入问题相关的信息。

baidu_39502385的博客 2130

当向量数据库遇见大模型:Milvus索引在RAG架构中的进化论

本文探讨了Milvus向量数据库在大模型RAG架构中的创新应用,重点分析了其BM25+HNSW双引擎索引技术如何提升检索增强生成的效率与精度。通过实际案例展示了混合索引策略在智能客服系统中的显著效果,包括37%的准确率提升和82%的响应时间降低,为AI应用开发提供了高效解决方案。

weixin_29229055的博客 351

工程实践分析:面向精准医疗的混合增强检索架构(Hybrid RAG)实现路径与关键技术(下)

摘要 本文系统分析了面向精准医疗的混合增强检索架构(Hybrid RAG)的技术实现与临床应用。第六章重点探讨了技术选型与系统整合,通过构建量化评估矩阵,对比分析了向量数据库、Embedding模型等核心组件的性能指标与医疗场景适配性,推荐Milvus作为向量数据库首选。同时提出混合云架构的三层隐私防护体系,结合Mayo Clinic的联邦学习实践案例,验证了"隐私优先、性能适配"的工程原则。第七章通过三组对比实验证明混合RAG架构在糖尿病合并心衰等复杂诊疗场景中的显著优势,其F1分数达

AllenLV的博客 879

RAG 检索大升级:BM25 与 RRF 助力 LLMs 精准破局

BM25(最佳匹配25)和RRF(倒数秩融合)是两种在检索增强生成(RAG)系统中用于改进大型语言模型(LLMs)检索步骤的技术。以下将详细介绍它们的工作原理及其在RAG流程中的作用。BM25是一种概率信息检索模型,它基于与查询的相关性对文档进行排名。作为传统TF-IDF模型的扩展,BM25在许多检索任务中表现出色,因此被广泛应用。:指一个术语在文档中出现的次数。BM25通过考虑文档长度来调整这一指标,避免较长的文档由于术语频繁出现而被错误地赋予更高权重。:衡量一个术语在所有文档中出现的稀有程度。

m0_59164520的博客 2124

Qlib数据获取避坑指南:从CSV导入到自定义数据源的完整解决方案

本文详细解析了Qlib数据获取的完整解决方案,从CSV导入到自定义数据源,涵盖了股票数据处理的关键技巧和常见陷阱。特别针对Qlib平台的数据格式要求和复权处理提供了实用指南,帮助量化投资者高效整合Wind等第三方数据源,确保数据质量与模型性能。

weixin_29047919的博客 306

i.MX RT1064引脚配置与BGA封装选型实战指南

在嵌入式硬件设计中,引脚配置与PCB布局是连接芯片手册与物理实现的关键桥梁,直接影响系统的稳定性与信号完整性。其核心原理在于理解处理器的IOMUX(输入/输出多路复用器)系统与多电源域架构,前者通过软件配置实现引脚功能的灵活复用,后者则为不同外设接口提供独立的电压基准,是保障电源稳定性的基石。从技术价值看,合理的引脚规划能规避信号干扰、电源不稳等潜在风险,提升设计一次成功率。在应用场景上,无论是连接SDRAM、USB、SDIO等高速外设,还是配置UART、I2C等中低速接口,都需要遵循特定的布局布线规则。本

weixin_33217202的博客 315

【LangChain】LangChain 中的检索器(Retrievers)

在 LangChain 中,检索器(Retrievers) 是用于从外部数据源(如文档、数据库或网页)中获取与用户查询相关内容的组件。类型:VectorStoreRetriever:语义搜索。BM25Retriever/TFIDFRetriever:关键词搜索。MultiQueryRetriever:多查询增强。ContextualCompressionRetriever:结果压缩。EnsembleRetriever:混合搜索。SelfQueryRetriever:结构化查询。WebResearchRetr

彬彬侠的博客 2575

浮点数运算的陷阱与启示:FP16加法器/乘法器开发中的常见误区

本文深入探讨FP16加法器和乘法器开发中的常见误区,包括FP16格式解析、阶码对齐陷阱、尾数运算风险及规格化处理。通过Verilog实战代码展示防御性编程技巧,帮助开发者避免边界条件处理和异常状态管理中的错误,提升硬件设计的可靠性和效率。

dell8的博客 252

百度最新RAG综述:当RAG遇见LLM,面向检索增强的大语言模型

检索增强生成(Retrieval-augmented generation,简称 RAG)是一种前沿的人工智能技术,在多个应用领域中取得了显著成功。本文从架构、训练策略和应用的角度,全面回顾了 RA-LLMs,为研究人员提供了深入的理解。此外,由于 RA-LLMs 的研究仍处于早期阶段,本文还讨论了当前的局限性和未来研究的几个潜在方向。那么,我们该如何学习大模型?作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。

程序员鑫港的博客 1410

DESeq2实战:如何用LRT检验分析基因表达随时间变化的模式(附完整代码)

本文详细介绍了如何使用DESeq2中的LRT检验分析基因表达随时间变化的模式,包括实验设计、数据预处理、模型构建、结果提取与可视化等完整流程。通过实战案例和完整代码,帮助生物信息学研究者掌握时间序列RNA-seq分析的核心技术,特别适合需要快速上手的实践者。

weixin_42620255的博客 475

【win11+vs 2017+OpenCV4.5.5+Qt5.12配置】详细安装过程+小问题解决

由于Qt5无法与最新的vs2022兼容,扩展工具中一直显示不可用,所以将vs降级成vs2017。在安装Qt的过程中,会选择安装Qt套件,其中就的MCVS 2017,说明vs2017是与qt兼容的。当然也可以用qt creator这一原生IDE。OpenCV版本目前是最新的4.8.0,使用过程中没有什么问题,但是还是安装低版本大概率避免一些玄学问题。

qq_45306739的博客 3352

解决 LLM 幻觉问题!RAG 技术原理、4 大检索策略及 AI 知识库问答系统实战(附代码)

解决 LLM 幻觉问题!RAG 技术原理、4 大检索策略及 AI 知识库问答系统实战(附代码)

youmaob的博客 1106

SYSU-MM01数据集评估避坑指南:从RGB/IR图像理解到Python评估脚本调优

本文详细解析了SYSU-MM01数据集在跨模态行人重识别(ReID)评估中的关键技巧与常见陷阱。从RGB/IR图像理解到Python评估脚本优化,提供了数据评估模式选择、single-shot/multi-shot差异分析、特征文件处理规范等实用指南,帮助研究者避开指标异常问题,提升评估效率与准确性。

weixin_29044713的博客 197

[人工智能]ML、DL、RL、AI、LLM、RAG与Agent:概念与架构概览

本文从工程实践角度,对机器学习(ML)、深度学习(DL)、强化学习(RL)、人工智能(AI)、大语言模型(LLM)、检索增强生成(RAG)以及智能体(Agent)进行整体性概述。重点关注常见架构模式、典型工作流和评估指标,并通过示意图和表格进行说明,适合作为多页技术参考材料。

TechEdu2026的博客 864

【即插即用模块】Transformer篇 | CVPR 2025 | SADA:多尺度+可变形采样,完美替换自注意力实现涨点!

文章摘要 本文提出了一种尺度自适应可变形注意力模块(SADA),用于处理图像修复中的结构化伪影问题。SADA通过多尺度多头机制捕获远程依赖关系,并引入可变形采样偏移来有效处理非均匀空间分布的模式。该模块适用于底层视觉任务,可替代ViT自注意力,实验证明能显著提升性能。代码已开源,支持即插即用集成。 核心特点: 多尺度头适应不同大小的重复模式 可变形偏移优化非均匀分布采样 轻量级设计,易于集成到现有架构 适用场景:图像去噪、超分辨率等底层视觉任务。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 1432

【VS Code插件开发】通用功能(二)

本篇主要从command(命令)、menus(菜单)、快捷键三个方面讲解,都归于通用功能。

编码世界 1万+

基于大语言模型与BM25混合检索的法律案例智能检索系统设计与实现

信息检索是计算机科学中处理海量文本数据的关键技术,其核心原理是通过算法模型计算查询与文档之间的相关性。传统基于词频统计的BM25算法虽然高效,但在处理语义复杂、表述多样的专业领域时,常面临词汇不匹配和上下文理解不足的挑战。大语言模型(LLM)凭借其强大的语义理解能力,为检索系统带来了范式转变,通过查询重写和语义重排显著提升精度。这种混合检索架构在工程实践中极具价值,尤其在法律、医疗等高要求领域,能实现从海量文档中精准定位目标信息。本文聚焦于法律案例检索场景,探讨如何构建一个融合BM25高效召回与LLM深度理

weixin_33875839的博客 486

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

生产级RAG检索架构:混合搜索与业务规则驱动的精准召回

RAG(检索增强生成)的核心瓶颈往往不在大模型,而在检索层——传统向量搜索难以应对时效性、权限控制、结构化语义和查询意图漂移等真实业务挑战。Advanced Retrieval Techniques 本质是融合稀疏检索(BM25)、稠密检索(微调向量)、元数据路由与重排序的分层架构,其技术价值在于将模糊的‘相似匹配’转化为确定性的‘业务应召’。典型应用场景包括金融合规问答、医疗文档权限检索、制造业SOP精准定位等Production RAG Systems落地场景。本文聚焦可工程化部署的混合检索设计、参数调

weixin_33811539的博客 486

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

RAG架构解析:前端如何高效处理向量数据库检索与结果重排?

RAG架构的竞争,早已不是简单的“谁接入了大模型”,而是数据链路优化的竞争。对于前端和全栈开发者而言,理解向量检索与重排机制,不仅能提升应用的AI智商,更能为职业发展带来新的增长点。几点实战经验总结:不要迷信向量:纯向量检索在专业领域(如医疗、法律)往往表现不佳,务必结合关键词检索。重排是必需品:如果预算允许,建议引入专门的Rerank模型(如Cohere或BGE-Reranker)。如果受限于资源,应用层的规则重排也是低成本的高效手段。关注Token经济学。

marshmallow0206的博客 548

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

WeKnora RAG框架核心技术架构解析:从向量检索到知识图谱的完整解决方案

WeKnora是一个基于LLM技术的开源知识平台,专为企业级文档理解、语义检索和自主推理而设计。作为一款现代化的RAG(检索增强生成)框架,它通过模块化架构、多模态处理能力和知识图谱集成,解决了传统知识管理系统中信息孤岛、检索精度低和上下文理解不足的技术挑战。本文将深入解析WeKnora的核心技术架构、混合检索实现机制以及知识图谱构建流程,为技术决策者和中级开发者提供全面的技术实现洞察。 ##

gitblog_00125的博客 500

程序员AI转型实战:从Prompt工程到RAG架构

大模型技术正在重塑软件开发范式,其核心在于理解提示工程(Prompt Engineering)与检索增强生成(RAG)两大关键技术。提示工程通过结构化输入控制AI输出质量,典型应用包括电商推荐系统和智能客服;RAG架构则结合向量检索与大模型生成能力,在知识密集型场景如法律咨询、医疗问答中展现优势。掌握这些技术能使开发效率提升3倍以上,特别是在金融、教育等高适配性行业。当前AI开发岗位需求激增170%,薪资涨幅超40%,而传统CRUD岗位持续萎缩。学习路径建议从LangChain框架入手,逐步深入行业解决方案

weixin_30598225的博客 378

超越传统RAG:RAG-Fusion的多模态检索增强方案

检索增强生成(RAG)技术的出现重塑了人工智能与信息检索的交互范式,它创造性地将向量检索与生成式模型相结合。然而这一技术仍存在固有局限:其核心检索环节面临诸多挑战,包括向量召回精度提升困难等关键问题。为此,业界通常采用混合检索策略,结合传统BM25算法与向量搜索技术,但即便如此,仍难以完全解决目标信息漏召回的问题。

yihanss的博客 1374

圣塔克拉拉大学打造“算法育种师“:AI自动发现信息检索新方法

圣塔克拉拉大学打造"算法育种师":AI自动发现信息检索新方法

weixin_49122920的博客 922

人机共读:AI时代下阅读与写作的新可能

【摘要】探讨生成式AI对阅读与写作的重塑。分析AI在提升信息获取效率的同时,如何挑战人类的深度思考与原创能力,并提出人机协同下的新范式与应对策略。

欢迎来到运通链达的官方博客!我们深度探讨人工智能技术与应用,贯彻科技向善理念,推动科技进步与社会福祉和谐共生。 1155

万字详解LLM大模型技术:RAG&Agent是什么?一文带你搞懂AI大模型原理!

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓RAG/Agent原理架构LangChain经典架构图langchain框架中使用chunk_size(字符长度),voerlap(字符前后重叠长度)两个参数控制文档切分。Langchain最重要的模块:模型(Models):各种模型类型的接口。

qq_41314882的博客 1899

RAG检索核心:吃透语义与关键字检索,构建高效混合检索系统

在信息检索领域,语义检索和关键字检索是两种核心范式。语义检索基于向量空间模型,通过嵌入模型将文本转换为稠密向量,计算余弦相似度来理解深层语义,能有效跨越词汇鸿沟,处理同义词和上下文意图。关键字检索则基于符号匹配,利用TF-IDF或BM25等算法,通过计算词频和逆文档频率来衡量文本相关性,对专有名词和精确术语的查找效率高、可解释性强。这两种技术各有优劣,语义检索长于理解和泛化,关键字检索精于精确和可控。在RAG(检索增强生成)系统中,检索质量直接决定了生成内容的上限。为了兼顾精确性与语义理解能力,混合检索策略

weixin_33725239的博客 343
上一篇: 从零到一:YOLOv8模型训练与LibTorch部署全流程实战
下一篇: 跨平台构建的隐形战场:CMake如何智胜静态/动态库命名冲突
随身带U盘
博客等级 码龄4年 31粉丝 1526原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值