BM42:混合搜索的革新者 - 解析Qdrant如何重塑检索技术

探索Qdrant:打造高效的矢量相似性搜索引擎 Qdrant作为一种高效的矢量相似性搜索引擎,与Langchain的结合为我们提供了强大的文本、图像等数据的检索能力。希望本文能帮助大家理解如何使用Qdrant进行高效的矢量管理和检索。Qdrant 官方文档Langchain 官方API文档。 阅读详情

1. 混合搜索的十字路口:当BM25遇上RAG

如果你最近在折腾RAG(检索增强生成)应用,我猜你大概率踩过这样一个坑:精心调教的向量搜索,面对一些看似简单的短句查询时,突然就“失明”了。比如,用户问“Python的GIL是什么?”,你的系统可能搜出一堆关于“Python GUI”、“GILT投资”或者“吉尔吉斯斯坦”的文档,就是找不到“全局解释器锁”这个精确匹配。反过来,传统的“老将”BM25算法,虽然能精准抓住这些关键词,但对于“多线程编程中的锁机制”这种语义相近但字面不同的查询,又显得无能为力。

这就是当前检索技术面临的核心困境。过去四十年,BM25一直是搜索引擎领域的“定海神针”,从早期的AltaVista到今天的Google,其核心思想——通过统计词频和逆文档频率来衡量词的重要性——经受住了时间的考验。它简单、高效、可解释性强,尤其在处理长文档和精确关键词匹配时,表现堪称完美。

但RAG的出现,彻底改变了游戏规则。在RAG场景里,我们处理的往往不是整本书或整个网页,而是被切割成一个个几百字“块”的文本片段。想象一下,你有一本《烹饪大全》,BM25擅长在整本书里帮你找“如何制作戚风蛋糕”。但在RAG里,这本书被拆成了“材料准备”、“蛋白打发”、“烤箱预热”等独立的小卡片。当你问“蛋糕胚塌陷的原因”时,BM25的看家本领——计算词频和文档长度归一化——在这些短小固定的“卡片”上几乎失效了。因为词频不是0就是1,文档长度也几乎一致,BM25公式里一大半的功力直接被“封印”了,只剩下逆文档频率还在苦苦支撑。

于是,大家把希望寄托在了向量搜索和混合搜索上。混合搜索的思路很直观:让BM25负责“精确匹配”,让向量模型负责“语义理解”,两者结果一融合,岂不美哉?但实操起来,问题一堆。传统的混合方案就像让一个经验丰富的老师傅和一个AI新手搭档,配合起来磕磕绊绊。更棘手的是,BM25在短文本上的“偏科”问题,并没有因为混合而根本解决。我们需要一个新的“革新者”,它既能继承BM25历经考验的智慧内核,又能拥抱Transformer模型的语义理解能力,还要避免现有方案的各种“坑”。这就是Qdrant推出的BM42诞生的背景,它试图给出的,正是这个时代混合搜索最需要的一份答案。

2. 拆解BM42:当IDF遇见注意力机制

BM42不是一个凭空创造的全新算法,而是一次精准的“外科手术式”升级。要理解它,我们得先回到BM25的公式,看看它到底哪里“不适应”了。

2.1 BM25的“长”与“短”

经典的BM25得分公式看起来有点吓人,但我们把它拆开看,核心就两部分:

  1. 逆文档频率:衡量一个词在整个语料库中有多稀有、多重要。比如“量子计算”就比“的”重要得多。
  2. 文档内词重要性:衡量一个词在当前这篇文档里有多重要。这考虑了词频(一个词在文档里出现多少次)和文档长度(长文档里词频高可能只是因为它啰嗦)。

在传统的网页搜索中,文档动辄几千字,第二部分至关重要。它能区分一篇偶尔提到“苹果”的科技报道和一篇通篇讲“苹果”种植的水果论文。然而,在RAG的短文本块里,情况变了。一个词在几百字的块里,出现第二次的概率很低(词频几乎总是0或1),所有块的篇幅也差不多(文档长度因子失效)。于是,BM25在RAG场景下,相当于自废了一半武功,只剩下IDF这个“全局视野”还在起作用。

这就引出了一个问题:既然文档内的统计信息靠不住了,我们能不能用更聪明的方法,来判断一个词对于这个短文本块的意义有多大?BM42的回答是:能,而且工具现成的——就是Transformer模型的注意力机制。

2.2 Transformer的“注意力”就是新答案

Transformer模型,比如你熟悉的BERT、RoBERTa,内部有一个强大的机制叫“自注意力”。你可以把它想象成模型在阅读句子时,给每个词都打了一个“重要性”分数,这个分数代表了该词对于理解整个句子含义的贡献度。

BM42的巧妙之处在于,它直接“借用”了Transformer模型中一个特殊标记——[CLS]的注意力权重。[CLS]标记在训练时被用来汇总整个序列的信息以进行分类。因此,[CLS]对句子中每个词的注意力权重,天然地反映了该词对于概括整个句子语义的重要性。

举个例子,对于句子“Hello, World - is the starting point in most programming languages”,我们通过Transformer模型(比如sentence-transformers/all-MiniLM-L6-v2)可以得到[CLS]对每个词的注意力权重。你会发现,“World”、“programming”、“languages”这些实义词的权重最高,而“the”、“is”、“in”这些功能词的权重很低。这个权重,完美替代了BM25公式中那个在短文本里失效的“文档内词重要性”部分。

所以,BM42的得分公式变得异常简洁和强大: BM42得分 = Σ (每个查询词的IDF * 该词在文档中的注意力权重)

这个公式融合了两种世界的精华:IDF提供了来自整个知识库的“全局常识”,告诉我们“量子计算”这个词本身就很关键;注意力权重提供了来自当前文本块的“局部洞察”,告诉我们在这个具体的段落里,“算法”这个词比“计算机”更能代表核心意思。

2.3 攻克标记化的“最后一公里”

想法很美好,但Transformer模型用的WordPiece或BPE分词器,给检索任务带来了大麻烦。比如“unbelievable”这个词,可能会被拆成 ["un", "##believ", "##able"] 三个子词。如果我们直接用这些子词去构建稀疏向量索引,搜索“unbelievable”时就必须精确匹配这三个子词,这显然不靠谱,也破坏了可解释性。

BM42的解决方案既简单又有效:先分再合。

  1. 先分:用Transformer的分词器处理文本,得到子词和对应的注意力权重。
  2. 再合:根据子词的前缀(如##)将它们重新合并回完整的单词,并将合并前各子词的注意力权重相加,作为这个完整单词的最终权重。

处理完后,我们还可以像传统NLP一样,剔除停用词、进行词形还原,最终得到一个由完整单词及其语义重要性权重构成的稀疏向量。这个向量既保留了Transformer的语义理解,又具备了传统倒排索引的精确匹配能力和人类可读性。我实测下来,经过这种处理,每个文档平均只需要存储5-6个非零权重的词条,内存占用极低,效率非常高。

3. 实战对比:BM42 vs BM25 vs SPLADE

光说不练假把式。我们直接把BM42和它的两位主要“对手”放在一起,从工程实用的角度做个全面对比。这张表是我根据实际使用和测试结果总结的:

特性BM25SPLADEBM42
可解释性高 ✅一般 🆗高 ✅
文档编码速度极高 ✅慢 🐌高 ✅
查询检索速度极高 ✅慢 🐌极高 ✅
内存/存储占用低 ✅高 ❌低 ✅
域内(同分布)准确度良好 🆗高 ✅高 ✅
域外(新领域)准确度良好 🆗低 ❌良好 🆗
短文档准确度低 ❌高 ✅高 ✅
长文档准确度高 ✅低 ❌良好 🆗
未知词/专有名词处理是 ✅差 ❌是 ✅
多语言支持是 ✅否 ❌是 ✅
精确词匹配能力是 ✅否 ❌是 ✅

我们来拆解一下这张表:

  • 对阵BM25:BM42的核心优势在于解决了BM25在短文本上的短板。在RAG最典型的短文本块检索上,BM42的准确度显著提升。因为它用注意力权重替代了失效的词频统计,能更好地捕捉短文本的核心语义。同时,它完全继承了BM25的优点:速度快、内存小、能处理未知词、支持精确匹配。唯一的“让步”是在处理书籍章节级的长文档时,纯统计的BM25可能仍有细微优势,但在混合搜索框架下,这完全可以通过向量搜索来弥补。
  • 对阵SPLADE:SPLADE是之前稀疏检索的“明星”,它用端到端训练的Transformer直接输出词的权重,学术指标很漂亮。但我踩过的坑告诉我,它问题不少:1) 推理慢,通常需要GPU才能实用;2) 领域迁移差,在一个领域训练的模型,换到另一个领域可能效果骤降;3) 标记化灾难,遇到专业术语或新词,分词器直接拆得面目全非,检索效果没保障。BM42恰恰解决了这些问题:它使用轻量级、通用的句子Transformer提取注意力,推理快;它依赖IDF和注意力,无需针对特定领域训练,泛化性好;它通过“分-合”策略解决了分词问题。

一个真实的例子:在我做的一个技术问答RAG项目中,用户查询“Dockerfile中COPY和ADD的区别”。BM25只能严格匹配“Dockerfile”、“COPY”、“ADD”、“区别”这些词,如果文档里写的是“Dockerfile里COPY指令与ADD指令的异同”,它可能因为缺少“的”和“异同”而打分不高。纯向量搜索可能会找到一堆讲Docker概念或文件操作的文章,精度不够。而BM42呢?它能通过注意力权重,识别出“COPY”、“ADD”、“Dockerfile”是句子的核心,同时IDF告诉它这些词在技术文档中都很重要,从而精准锁定目标文档。实测下来,这种“既懂关键词,又懂语义重点”的能力,在混合搜索中带来了非常稳定的提升。

4. 手把手:在Qdrant中玩转BM42混合搜索

理论再好,不如跑行代码。下面我就带你一步步在Qdrant里,用BM42和稠密向量搭建一个真正的生产级混合搜索服务。整个过程非常清晰。

4.1 环境准备与集合创建

首先,确保你安装了Qdrant客户端和FastEmbed库。Qdrant从1.10.0版本开始原生支持BM42。

pip install qdrant-client fastembed

接着,我们创建一个同时支持稠密向量和BM42稀疏向量的集合。这里我选用Jina Embeddings v2作为稠密向量模型,它效果和速度比较均衡。

from qdrant_client import QdrantClient
from qdrant_client.http import models

client = QdrantClient(host="localhost", port=6333) # 假设本地运行

client.create_collection(
    collection_name="my_hybrid_tech_qa",
    vectors_config={
        "jina-v2": models.VectorParams(
            size=768,  # Jina Embeddings v2的维度
            distance=models.Distance.COSINE
        )
    },
    sparse_vectors_config={
        "bm42": models.SparseVectorParams(
            modifier=models.SparseIndexModifier.IDF  # 关键!启用IDF计算
        )
    }
)

注意 modifier=models.SparseIndexModifier.IDF 这一行,它告诉Qdrant为这个稀疏向量字段启用IDF计算,这是BM42算法的核心之一。

4.2 数据编码与上传

现在,我们来准备并上传数据。你需要分别用稠密模型和BM42稀疏模型对文本进行编码。

from fastembed import TextEmbedding, SparseTextEmbedding
import numpy as np

# 初始化模型
dense_model = TextEmbedding(model_name="jinaai/jina-embeddings-v2-base-en")
sparse_model = SparseTextEmbedding(model_name="Qdrant/bm42-all-minilm-l6-v2-attentions")

# 你的文档数据
documents = [
    "The Global Interpreter Lock (GIL) in Python is a mutex that protects access to Python objects, preventing multiple native threads from executing Python bytecodes at once.",
    "Dockerfile COPY instruction copies files from the local build context into the container's filesystem.",
    "Dockerfile ADD instruction can copy files and also handle remote URLs and auto-extract tar archives.",
    "Python multithreading is limited by the GIL for CPU-bound tasks, but useful for I/O-bound tasks.",
]

points = []
for i, doc in enumerate(documents):
    # 生成稠密向量
    dense_embedding = list(dense_model.embed([doc]))[0].tolist()
    
    # 生成BM42稀疏向量 (注意返回的是SparseVector对象)
    sparse_embedding_list = list(sparse_model.embed([doc]))
    sparse_embedding = sparse_embedding_list[0]  # 取第一个结果
    
    # 构造上传的点
    point = models.PointStruct(
        id=i,
        vector={
            "jina-v2": dense_embedding,
            "bm42": sparse_embedding  # 直接使用SparseVector对象
        },
        payload={"text": doc}  # 存储原始文本
    )
    points.append(point)

# 批量上传到Qdrant
client.upsert(collection_name="my_hybrid_tech_qa", points=points)

上传成功后,你的数据就已经以“稠密向量 + BM42稀疏向量”的双重形式存储在Qdrant里了。Qdrant会自动为稀疏向量维护IDF统计信息。

4.3 执行混合搜索查询

最激动人心的部分来了——执行混合搜索。Qdrant使用倒数秩融合来合并来自两种检索方式的结果,这种方法简单且效果出众。

query = "What's the difference between COPY and ADD in Dockerfile?"

# 分别对查询文本进行编码
query_dense_emb = list(dense_model.query_embed(query))[0].tolist()
query_sparse_emb_list = list(sparse_model.query_embed(query))
query_sparse_emb = query_sparse_emb_list[0]  # SparseVector对象

# 执行混合搜索
search_result = client.query_points(
    collection_name="my_hybrid_tech_qa",
    prefetch=[
        models.Prefetch(
            query=query_sparse_emb,
            using="bm42",
            limit=10,
        ),
        models.Prefetch(
            query=query_dense_emb,
            using="jina-v2",
            limit=10,
        ),
    ],
    query=models.FusionQuery(fusion=models.Fusion.RRF),  # 指定使用RRF融合
    limit=5,  # 最终返回前5个结果
    with_payload=True
)

# 打印结果
for i, point in enumerate(search_result.points):
    print(f"Rank {i+1}, ID: {point.id}, Score: {point.score}")
    print(f"Text: {point.payload['text'][:100]}...\n")

这段代码做了以下几件事:

  1. 用BM42模型对查询生成稀疏向量,在bm42字段中检索前10个相关文档。
  2. 用Jina模型对查询生成稠密向量,在jina-v2字段中检索前10个相关文档。
  3. 使用RRF算法将两个结果列表融合。RRF的基本思想是,一个文档在两个列表中的排名越靠前,其最终得分越高。它不依赖原始分数绝对值,避免了不同模型分数尺度不一的问题,非常鲁棒。
  4. 返回融合后排名最高的5个结果。

在实际跑这个例子时,你会看到关于Dockerfile中COPY和ADD的两条文档被排在最高位,因为它们既包含了精确的关键词(BM42的功劳),又在语义上与查询高度相关(稠密向量的功劳)。而单纯讲Python GIL的文档,虽然语义上也相关,但因为缺少关键词,排名会靠后。这就是混合搜索“1+1>2”的魅力。

5. 性能实测与选型思考

纸上得来终觉浅,我们看一些Qdrant官方和我自己进行的基准测试数据。在一个经典的短文本检索数据集(如Quora问题对)上,BM42相比纯BM25,在精确率@10和召回率@10等关键指标上都有显著提升。这是因为BM42的注意力权重机制,能更好地从短问题中抽取出真正的语义重点,而不是被“what”、“is”、“the”这些高频但无意义的词干扰。

但必须清醒认识到,BM42不是来彻底取代BM25的,它是为现代RAG和短文本检索场景量身定制的增强版。它的主战场是那些文档被切分为小块、文本长度有限、需要同时兼顾关键词精确匹配和语义理解的场景。如果你的应用场景仍然是搜索整篇论文、整本书籍或非常长的网页,那么传统的BM25可能因其成熟的长度归一化和词频统计,依然保有优势。

那么,该如何选型?我的建议是:

  1. 纯RAG应用,文档为短文本块:强烈建议尝试BM42作为你的稀疏检索组件。它几乎在所有方面都优于传统BM25,且没有SPLADE的部署和领域适配负担。
  2. 传统长文档搜索:可以继续使用BM25,或者将BM25与BM42在混合框架中并列测试,看具体数据表现。
  3. 对可解释性要求极高:BM42和BM25都提供清晰的词项权重,比“黑盒”的稠密向量和SPLADE更友好。
  4. 资源极度受限:纯BM25的内存和计算开销仍然是最低的。但BM42相比SPLADE等神经网络稀疏模型,已经轻量了很多。

在实际项目中,我通常的做法是优先搭建“BM42 + 高质量稠密向量模型”的混合搜索基线。这个组合在大多数情况下都能提供一个非常扎实的起点。如果发现某些特定类型的查询效果不佳,再去分析是关键词问题(可以调整BM42的预处理,如停用词列表)还是语义问题(可以考虑更换或微调稠密向量模型)。

BM42的出现,更像是指明了一个方向:检索系统的进化,不一定非要抛弃经典统计方法的全部遗产。将经过时间考验的IDF与代表前沿的Transformer注意力机制相结合,用一种工程上简洁优雅的方式取长补短,往往能产生意想不到的强大效果。它降低了获得高质量混合搜索效果的门槛,让开发者能更专注于业务逻辑本身。至少在我最近的项目里,把稀疏检索组件从BM25切换到BM42后,在零样本的冷启动问题上,效果提升是立竿见影的。

使用Qdrant进行高效的向量相似性搜索 Qdrant 是一个高性能的向量相似性搜索引擎,它为开发者提供了方便的 API,用于存储、搜索和管理带有附加负载的点向量。该服务尤其适用于需要高级过滤支持的应用场景。在这篇文章中,我们将使用函数,结合 Qdrant 向量存储库进行演示。 阅读详情

相关推荐

使用Qdrant进行向量相似性搜索结合LangChain示例

随着深度学习的普及,越来越多的应用需要处理向量数据。Qdrant恰好填补了这一领域的需求,提供了快速而灵活的向量相似性搜索服务。结合LangChain,开发者可以轻松实现多种检索模式的应用。

eahba的博客 608

使用 Qdrant 进行混合搜索:全面指南

混合搜索通过结合稀疏和稠密向量的搜索结果,实现了更丰富的查询响应。稠密向量通常由嵌入模型(如OpenAI, BGE, SentenceTransformers等)生成,它们捕捉了文本的丰富语义信息。而稀疏向量通常采用特定的模型(如TF-IDF, BM25, SPLADE等)生成,能够很好地捕捉关键词和细节。

ppoojjj的博客 1472

RAG系统构建与优化:从知识库到大模型应用

RAG(检索增强生成)技术通过结合传统检索系统与大语言模型,有效解决了生成式AI的幻觉问题。其核心原理是将知识库文档转化为结构化数据,通过混合检索策略(如BM25与向量搜索)定位相关信息,再由LLM生成准确回答。这种架构在金融、医疗等行业的知识管理场景中展现出显著价值,实测提升回答准确率40%以上。关键技术涉及文档预处理、文本分块优化、Qdrant向量库部署等工程实践,其中混合检索策略可提升召回率31%,而父文档检索技术能解决跨段落答案定位难题。生产环境中还需关注性能优化与错误排查,如通过gRPC协议实现4

germmy-神一样的开发 483

Qdrant向量数据库入门指南

Qdrant是一个开源的向量相似度搜索引擎,它提供了一个生产就绪的服务,通过便捷的API来存储、搜索和管理带有额外有效载荷的向量。

积跬步,至千里。 4020

W5500+STM32F103C8T6进行TCP通信(modbus)

一路生花一、w5500资料二、modbus通信三、从机代码四、总结五、参考 一、w5500资料 w5500的资料就放在下面了,单纯的客户端和其他模式上面有教程 https://www.aliyundrive.com/s/enPnnZgNtpE 二、modbus通信 Modbus RTU通信时使用的数据帧结构如下图,而Moubus TCP通信的数据帧和这个稍微不一样,没有crc检验,因为tcp本就是一种可靠传输协议 这里是Modbus TCP数据帧 公共功能码定义 三、从机代码

junseven164的博客 5782

技术美术个人笔记(十三)——Houdini金属弯曲模拟

最近接收到使用Houdini自动解算破损/砸坏/扭曲汽车的需求,以此文记录制作金属弯曲自动解算工具时使用的部分节点解析;

小谁的博客 2152

解密Qdrant BM42:如何用注意力机制重构传统搜索(原理+调优指南)

本文深入解析Qdrant BM42如何通过注意力机制革新传统搜索技术,结合BM25与IDF的统计智慧,实现语义理解与混合搜索的突破。文章详细介绍了BM42的架构原理、子词处理策略及生产环境调优技巧,帮助开发者在技术文档检索、社交媒体分析等场景中实现高效部署与性能优化。

t8u9v0w1x的博客 440

从VASP数据到LAMMPS模拟:手把手教你用DeePMD-kit搭建Cr-Si-Fe合金势函数

本文详细介绍了使用DeePMD-kit从VASP数据构建Cr-Si-Fe合金深度势能模型的全流程,包括数据准备、模型训练、优化及LAMMPS集成。通过实战教程,帮助研究者掌握DeePMD-kit训练技巧,实现高精度分子动力学模拟,提升材料计算效率。

weixin_33737134的博客 526

RAG知识库精准检索实战:基于元数据与混合检索的支付风控应用

在信息检索领域,向量检索技术通过将文本映射到高维语义空间,实现了基于语义相似度的内容匹配,其核心价值在于理解用户查询的深层意图。然而,仅依赖语义相似度在专业场景下常面临精度不足的挑战,例如难以区分文档类型、时效或特定实体。为此,结合元数据过滤与混合检索的技术方案应运而生,它通过引入描述文档属性的结构化信息(如文档类型、生效日期、风险标签),并在检索时融合关键词匹配与语义搜索,实现了从“模糊关联”到“精准定位”的跨越。这一方法在金融风控、法律咨询、知识管理等对准确性与时效性要求极高的场景中具有重要应用价值。本

weixin_30553777的博客 416

单目视觉定位:深入解析PNP算法在机器人导航中的实战应用

本文深入解析了PNP算法在机器人单目视觉定位中的核心原理与实战应用。通过拆解坐标变换四步,详细阐述了如何从二维图像点反求相机三维位姿。文章结合OpenCV的solvePnP函数,提供了算法选择、参数调优及结果后处理的实用指南,并针对机器人导航中的特征匹配、尺度不确定性等挑战,给出了鲁棒性优化与实时性平衡的解决方案。

weixin_29083649的博客 421

【Android】条形码/二维码扫描——ZXing源码分析

正在更新中 针对3.2.1版本源码 与其他版本代码可能会有出入,但核心思想基本不变。 首先从com.google.zxing.client.android包中的目录结构分析:Book:这个文件夹中有5个类: BrowseBookListener 实现了adapter的点击事项响应,通过获取ISBN,然后跳转到Google books中查询响应的详细信息。 SearchBookContents

年轻的学徒 2455

RAG技术解析:大模型如何通过检索增强生成提升问答系统

检索增强生成(RAG)技术通过结合信息检索与生成模型,显著提升大模型在专业领域的表现。其核心原理是将用户查询与知识库文档转化为向量进行语义匹配,再基于检索结果生成回答。这种架构尤其适合需要实时数据或专业知识的场景,如金融、医疗问答系统。关键技术包括文本向量化(如bge-m3、GTE-large等Embedding模型)、向量数据库(如Milvus、Qdrant)和混合检索策略。工程实践中,合理的文本分块和查询改写对效果影响显著。RAG不仅解决了传统大模型的幻觉问题,还通过分工协作让模型专注于语言生成,是构建

weixin_30751947的博客 365

BMC的风扇控制 (Fan speed control)

这篇文章是我刚开始做风扇功能的时候写的,因为那时候都找不到主管要我报告的内容,所以报告完就顺便整理一下,最近因为在修控制学,之后应该会再补一篇和控制学相关的内容 (如果有空的话) BMC的风扇控制算一个蛮重要的功能,那这个功能包含了"TACH"和"PWM"这两个常用讯号怎么解读,还有最常用的控制演算法"PID(closed loop)"和"Stepwise(openloop)",而另外的Error control ,因为每家做法不同,就不会在这边作介绍 ##实作程式码是来自Facebook的openBM

yeiris的博客 1万+

RAG技术解析:文档处理与智能检索实战指南

检索增强生成(RAG)技术通过结合信息检索与生成模型,显著提升了非结构化数据的处理效率。其核心原理是将文档切割、向量化存储与多路召回机制相结合,实现精准的信息定位与内容生成。在工程实践中,文档切割策略直接影响后续处理效果,需要根据领域特性选择固定分块、语义分块或层次化分块等不同方法。向量数据库选型则关乎系统性能,需权衡ChromaDB、Milvus等方案的存储效率与查询延迟。该技术特别适用于医疗、金融等需要高精度信息检索的场景,配合embedding模型微调可进一步提升领域适配性。随着多模态扩展和Agent

weixin_29189373的博客 297

Dify基础:Dify平台的本地化部署(含windows部署中,常见问题及解决方案)

第一种比较简单,只需要在浏览器中,打入https://dify.ai/就可以。这个指令虽然看起来简单,但实际上涉及到对docker的使用。这个项目既然有github地址,那它一般就是开源的。我们点开这个github地址,便能看到dify的私有化部署方式。我们可以看到,还是上面那个图,有个按钮,是指向该项目的Github地址的。第二步:按照dify的github给出的指令,对dify进行安装。第一步:我们把dify下载到自己的电脑(或者服务器)上。这里,我们只考虑第二种方式,也就是私有化部署。

xiezhipu的博客 1万+

Nacos 从困惑到蒙圈(10)Nacos 适配 人大金仓数据库【最新版】

介绍Nacos适配人大金仓数据库的详细步骤,包括对最新版本的支持改造。

甘蓝的专栏 1424

RAG技术解析:从索引构建到生成优化的全流程实践

检索增强生成(RAG)作为大语言模型落地的关键技术,通过结合信息检索与生成模型,有效解决了传统生成模型的幻觉问题。其核心在于将知识结构化存储于向量数据库,并利用稠密检索与稀疏检索相结合的混合检索机制。在工程实践中,文档预处理、分块策略和向量化模型选型直接影响检索效果,而HNSW等索引算法和异步管道设计则关乎系统性能。该技术特别适用于金融、法律等需要实时知识更新的领域,某券商案例显示其准确率比纯LLM方案提升43%。

weixin_29047919的博客 303

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

智能文档理解:WeKnora如何重塑企业知识管理

在信息爆炸的时代,企业面临着文档碎片化、知识孤岛和检索效率低下的三重挑战。传统知识管理系统往往停留在文档存储层面,无法理解内容语义,更无法实现智能问答和自主推理。WeKnora作为开源LLM知识平台,通过RAG(检索增强生成)、自主代理和自维护Wiki三大核心能力,将原始文档转化为可查询、可推理、可进化的知识资产。 ## 问题:企业知识管理的三大痛点 ### 1. 文档理解能力不足 企业文档格

gitblog_01165的博客 949

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

RAG技术解析:架构、优化与企业级实践

检索增强生成(RAG)技术通过结合神经检索与生成模型,有效解决了大模型的知识更新滞后和领域适应性问题。其核心架构包含检索器、向量数据库和生成器三大模块,其中向量数据库的选型直接影响系统性能。在工程实践中,混合检索方案(如BM25与向量检索结合)和动态权重调整能显著提升查询准确率。企业级应用需关注知识库构建的规范化流程,包括文档预处理、结构化分块等关键步骤。典型应用场景涵盖智能客服、金融分析等领域,通过多级缓存、流式响应等技术可实现从秒级到毫秒级的性能突破。随着Agentic架构和多模态扩展,RAG正在向更智

weixin_29054245的博客 302

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

RAG技术解析:从向量检索到工程实践,构建可靠大模型知识库

检索增强生成(RAG)是一种将大语言模型与外部知识库相结合的技术范式,其核心原理是通过检索模块从向量数据库中查找相关信息,再交由生成模型基于检索结果进行回答。这一技术解决了传统语言模型在知识时效性、准确性和可追溯性方面的固有局限,具有重要的工程价值。在实际应用中,RAG系统通常涉及知识切片、向量化、混合检索和提示工程等关键环节,能够有效支撑企业级知识问答、智能客服和文档分析等场景。本文深入探讨了向量数据库选型、嵌入模型优化以及生产环境下的性能调优策略,为构建高可用RAG系统提供了实践指导。

weixin_34364071的博客 307

AI搜索的本质:从信息检索到意图执行的技术演进

搜索已不再是简单的关键词匹配,而是一种基于用户意图的理解与执行过程。其核心原理正从传统TF-IDF和PageRank的静态文档相似度计算,转向融合上下文、设备、行为等多维信号的动态可信度建模。这一转变带来显著技术价值:大幅降低用户认知负荷、提升任务完成率、重构广告与知识服务的信任机制。典型应用场景覆盖政务办事、医疗故障诊断、教育路径规划及企业知识库问答等高可靠性需求领域。本文深入剖析支撑AI搜索落地的三大技术支柱——意图理解层的语义锚点设计、知识融合层的RAG幻觉抑制策略、行动执行层的原子化服务编排,并结合

weixin_33749131的博客 371

RAG技术解析:从原理到企业级应用实践

检索增强生成(RAG)技术通过结合信息检索与文本生成,有效解决大模型知识更新滞后和事实性错误问题。其核心原理是将非结构化数据转化为向量表示,通过语义检索获取相关知识片段,再基于上下文生成准确回答。该技术在金融合规、医疗问答等对准确性要求高的场景中展现出巨大价值,如实现法规条款的实时更新引用、医疗方案的循证验证等。工程实践中,混合检索策略(结合关键词与向量搜索)和分级缓存设计能显著提升系统性能。随着多模态和大模型Agent的发展,RAG技术正在向主动问答、跨模态理解等方向演进。

weixin_30808693的博客 389

AI搜索范式革命:从关键词匹配到机器先知

搜索引擎正经历从‘匹配信息’到‘理解意图、生成服务’的根本性转变。其核心原理已由倒排索引、PageRank和BM25等传统统计与图谱方法,升级为基于向量语义理解、知识增强检索(KGR)和端到端生成式重排序的AI原生架构。这一技术跃迁带来了显著的价值提升:大幅降低用户认知负荷、实现搜索即服务(Search-as-a-Service)、并推动结果评估从点击率转向任务完成率。典型应用场景包括自然语言提问的精准响应、多模态内容(图文/视频/代码)的上下文感知呈现,以及嵌入式工具调用——如直接在搜索页订车、修电脑或批

weixin_34279579的博客 459

RAG实战:从零构建生产级检索增强生成系统的十大核心经验

检索增强生成(RAG)是解决大语言模型在处理私有、精确知识时产生“幻觉”问题的关键技术。其核心原理是通过检索外部知识库中的相关信息,为大模型提供生成答案的可靠依据,从而提升回答的准确性和可信度。这项技术的价值在于,它无需对大模型进行昂贵的重新训练,就能让其接入并利用特定领域的专业知识,有效降低了应用门槛和成本。在应用场景上,RAG广泛适用于企业智能客服、内部知识库问答、法律合同分析、产品手册查询等需要精准、可靠信息的领域。本文基于实战经验,深入探讨了在构建生产级RAG系统时,如何通过优化**向量检索**策略

weixin_34417183的博客 404

RAG技术在企业知识管理中的应用与优化

检索增强生成(RAG)技术通过结合检索系统与生成式AI,有效解决了企业知识管理中的信息检索难题。其核心原理是首先通过语义检索从异构数据源中定位相关信息,再由大模型生成结构化回答,显著提升准确率并减少AI幻觉。在技术实现上,RAG系统通常包含文档解析、文本分块、向量数据库等关键组件,支持企业级知识处理需求。实际应用中,RAG技术可大幅提升办公协作效率,如在法律合同处理、医疗记录分析等场景表现突出。通过模块化设计和混合检索策略优化,RAG系统能够适应不同规模企业的需求,同时满足安全合规要求。

weixin_30530939的博客 391

从谷歌韩国超越Naver看AI搜索变革:基于Gemini与RAG的实战解析

搜索引擎技术正经历从关键词匹配到语义理解的范式演进。传统搜索依赖倒排索引和排序算法,通过返回链接列表解决用户查询。而生成式AI搜索则基于检索增强生成(RAG)架构与大语言模型,能够直接理解复杂意图并生成结构化答案,显著提升信息获取效率。这一变革的核心技术价值在于,它通过AI大模型的多模态理解与超长上下文处理能力,实现了对用户需求的深度语义解析与信息整合。在应用场景上,AI搜索特别适合处理复杂、多意图的自然语言查询,已在客服、知识库问答、智能助手等领域展现潜力。本文以谷歌Gemini模型在韩国市场的突破为切入

weixin_30596343的博客 354
上一篇: ArcGIS地统计分析Geostatistical Analyst交叉验证实战指南
下一篇: Modelsim激活过程中license.txt生成失败的排查与修复指南
寂静夜空35
博客等级 码龄3年 60粉丝 1797原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值