FAQ问答项目代码细节————BM25+BERT句子相似度

最新推荐文章于 2025-11-03 22:54:22 发布
原创 最新推荐文章于 2025-11-03 22:54:22 发布 · 2.4k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#FAQ问答系统 #BERT相似度 #BM25

本文介绍了如何建立FAQ问答库，利用BM25和BERT模型进行句子相似度计算。首先，建立包含多个问题形式的FAQ库，接着初始化BM25，计算相关值并构建倒排索引。当输入问句时，通过分词和倒排索引找到相关文档，计算BM25和BERT相似度，选取最匹配的回答。最后，概述了BERT相似度模型的训练过程。

一、建立FAQ库

一个问题三个形式，

数据增强之后问题和答案一一对应，19MB的ask.txt，答案保存在answer0-424中，每个文件1000个回答。节省处理时间。

二、BM25初始化

目的：计算bm25公式中需要的值

1、self.titles  <list> len=424043 eg：['什么是发票？','发票是什么？','发票的概念']

2、self.segTitles <list> len=424043 eg:[ ['什么', '是', '发票'],['发票', '是', '什么'], ['发票', '的', '概念']]

3、self.df <dict> len=28387 eg:{"什么":131898,"是":136367,"发票":13734}

4、self.idf <dict> len =28387 eg:{"什么":0.7952192784285401,"是":0.7464831376894789,"发票":3.3970008374344935}

5、self.D = 424043,self.b=0.75 ,self.k1=1.5 (人为设定一般值）

最低0.47元/天 解锁文章
MS MARCO Passage Ranking Leaderboard —— BM25 + monoBERT + duoBERT + TCP
qq_43183860的博客
04-13 2660
    本文对MS MARCO Passage Ranking 榜单的 BM25 + monoBERT + duoBERT + TCP 进行解读，原文地址请点击此处。 1. 背景介绍     这个模型在MS MARCO上的最好成绩是0.38，和目前的SOTA 0.45有一定差距，但由于作者 Rodrigo Nogueira 等人在此前的一篇论文《Passage Re-ranking with BERT》中首次将BERT用于检索中的重排序任务，是将BERT作为重排序器的鼻祖，因此他的 BM25 + monoB
文本相似度计算-bm25算法详解
sir_TI的博客
03-04 3405
1 bm25 说到bm25算法，那么就不得不说一下TF-IDF了，关于TF-IDF，解释如下： 1.1 TF-IDF介绍 TF：Term Frequency即词频，是文本中某个词出现的次数 IDF:Inverse Document Frequency即逆文本频率，那么关键是理解IDF的含义,首先我们给出IDF的计算公式： ...
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
09-18
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
【万文超详总结】深入总结检索技术演进，对比稠密嵌入（BERT、BGE-M3）和稀疏嵌入（TF-IDF、BM25）的优劣，并验证混合检索策略的优越性。进一步总结RAPTOR和GraphRAG处理复杂知识
最新发布
2402_87515571的博客
11-03 1596
摘要：本文系统梳理了RAG（检索增强生成）技术的核心概念及应用实践。首先介绍RAG的基本原理和系统架构，分析其通过实时检索外部知识库增强生成模型能力的特点。随后深入探讨检索技术演进，对比稠密嵌入（BERT、BGE-M3）和稀疏嵌入（TF-IDF、BM25）的优劣，并验证混合检索策略的优越性。进一步探讨结构化索引方法（RAPTOR和GraphRAG）在处理复杂知识时的表现。最后提出Agentic RAG范式，通过"思考-行动-观察"循环实现智能检索，为复杂问题提供更精准的解决方案
BM25实现两个句子的相似度
bingheshidai_1234的博客
06-06 2311
代码：https://gitee.com/zhoubingbing/BM25 参考链接：https://blog.youkuaiyun.com/u010483897/article/details/83010426
基于词向量的faq问答（附代码）
weixin_64017116的博客
06-15 267
模型保存可以有很多种格式，根据格式的不同可以分为2种，一种是保存为.model的文件，一种是非.model文件的保存。这两种方式的加载在获取词向量的时候应该是差别不大，区别就是.model可以继续训练，但是考虑到存在这样的场景，模型训练以后，会有新的语料，也就存在新词，这个时候新词用。里面的每一个question分词，并且过滤掉停用词，并把过滤之后的词放到。并不可视，它们的内存占用要少一些，加载的时间要多一点。相当于用户提出的问题，按照上面的方式进行分词，文件中的问答卷，将其中的。(貌似这样的，反正就是。
基于文本语义的智能问答机器人——工业应用
xiaomi5410的博客
10-31 1199
基于文本语义的智能问答-Bert
FAQ式问答系统
qq_44193969的博客
04-26 4578
FAQ式问答系统 最终效果： 系统架构 项目描述 对话系统（Dialogue Systems）又可以称之为聊天机器人（ChatBot），主要是实现自动与用户进行对话的功能。帮助用户完成某些具体的任务（下单、打车、订座等）的对话系统可以称之为任务导向型（Task-oriented）的对话系统；解答用户的某些问题（询问天气、股价、交通等）的对话系统可以称之为问答型（QA-based）的对话系统；除此之外，还有和用户聊天的闲聊型（Chatting) 对话系统。大多数的对话系统都是混合了几种类型的功能。 对话系
基于深度学习的FAQ问答系统实现与应用
其中，Sentence-BERT因其在句子级语义相似度计算上的优异表现，常被用于FAQ系统的语义匹配模块。通过将问题编码为固定长度的稠密向量（embedding），系统可在高维空间中进行快速近似最近邻搜索（ANN），如使用Faiss...
基于深度学习的FAQ问答系统设计与实现
从标题“精品--基于深度学习的FAQ式问答系统”可以看出，该系统并非简单的关键词匹配或规则驱动型问答模型，而是采用了当前先进的人工智能技术——深度学习，来提升系统的语义理解能力与匹配准确率。传统的FAQ系统多...
faq 项目使用教程
gitblog_00067的博客
05-17 412
faq 项目使用教程 1. 项目介绍 faq 是一个格式无关的 jq 工具，旨在支持更多格式的处理。它通过将各种格式转换为 JSON，然后使用 libjq 进行处理。支持的格式包括 BSON、Bencode、JSON、Property Lists、TOML、XML 和 YAML。 2. 项目快速启动 安装 你可以通过以下几种方式安装 faq： 通过 Homebrew 安装 brew install...
基于FAQ问答系统的设计与实现
01-11
关于FAQ问答系统的设计与实现，包括索引结构、候选问题集的建立。以及相似度算法的实现等
FAQ管理全源代码源码整理
08-05
FAQ管理全源代码源码整理（解压密码：https://hao.360.cn/?src=lm&ls=n527fd66b97）
Siamese-based-BERT-FAQ-retrieval
03-30
基于暹罗语的BERT-FAQ检索
代码生成FAQ（翻译）
01-10 1378
原文见我在博客园的blog：http://www.cnblogs.com/dahuzizyd/archive/2006/01/26/323637.html终于在下班前赶完了，略去了一些不重要的地方。感觉很多地方都没有翻译明白，不过倒是自己在翻译的过程中有了更多的理解。翻的不好，大家见谅了，还请大家多多指教。先祝大家新年好原文见：Code Generation FAQ  注：本文翻译未经过任
搭建一个FAQ智能问答系统/服务
Neleuska的博客
01-29 5574
FAQ智能问答系统。 实现FAQ的问题-模板匹配功能。 部署轻量级的Web服务应用。
FAQ智能问答系统设计与实现
热门推荐
lerry的博客
04-02 2万+
FAQ（FAQ，frequently-asked questions）问答系统表示常见问题问答系统，常用于一些特定领域的智能客服，将用户经常问到的高频问答对索引起来，当新的提问命中时可以快速回答，准确而高效。 本文介绍一个简单的FAQ问答系统实现。基于检索和排序的两阶段框架，检索阶段基于Elasticsearch检索引擎、排序阶段基于语义匹配深度学习模型。后端基于SpringBoot系列框架。该系统实现了人机对话功能，可以进行单轮或者多轮的问答，同时提供了微服务版本，增加了一些知识库管理功能。
kotaemon排序算法：BM25+向量混合评分
gitblog_00121的博客
09-03 847
在现代RAG（Retrieval-Augmented Generation，检索增强生成）系统中，单一的检索方法往往难以满足复杂查询的需求。传统的关键词匹配方法（如BM25）擅长处理精确的术语匹配，但在语义理解方面存在局限；而向量搜索虽然能够捕捉语义相似性，但对特定术语的精确匹配能力较弱。 kotaemon作为一款开源的RAG工具，采用了**BM25+向量混合评分**的先进算法，实现了两种检索方...
BERT为何无法彻底干掉BM25？？
夕小瑶科技说
06-28 374
文 | QvQ近些年来，相比传统检索模型，大规模预训练式transformers结构的引入在各类任务上都有显著的提升。而这种提升在不同的数据集上有着特殊的模型设置，而当前依旧无法充分理解这些模型为什么以及如何可以更好的工作。古人云：知己知彼，方能百战不殆。而现在的NN模型尚不能做到知己，又怎么进行下一步的升级迭代呢？今天让我们来看一下信息检索任务上,基于Bert的交叉编码...
深度学习FAQ文本问答项目原型
04-11
<think>好的，用户想了解如何构建一个基于深度学习的FAQ文本问答项目原型。我需要先理清项目的基本步骤，然后结合用户提供的引用内容来组织答案。 首先，用户提到的引用[1]提到了大模型问答机器人的开发流程，包括安装工具库，这可能涉及环境搭建。引用[2]介绍了使用Hugging Face的Transformers库加载预训练模型，比如GPT-2，这对模型选型有帮助。引用[4]提到了知识库配置的参考链接，这可能涉及数据处理部分。 接下来，我应该按照项目构建的流程来分步骤说明。第一步是数据准备，需要收集FAQ数据，并进行预处理，比如分词、清洗。然后选择模型，这里可以使用预训练模型如BERT或GPT，如引用[2]中的示例。接着是训练模型，可能需要微调，引用[3]的Keras示例可能有帮助。之后构建知识库，引用[4]的链接可能提供配置方法。最后是部署和优化，引用[1]提到的其他库如Pandas可能在数据处理中使用。 用户可能需要示例代码，特别是使用预训练模型的部分。引用[2]中的代码可以用来展示如何加载模型和生成回答。同时，要确保回答结构清晰，分步骤讲解，每个步骤都有具体方法和注意事项。 另外，用户的问题可能涉及性能优化和实际应用，所以在相关问题上可以提到这些方面，比如使用更高效的模型或部署到服务器。需要检查引用内容是否覆盖了这些点，并适当引用。 最后，确保所有数学公式和代码块符合格式要求，比如行内公式用$...$，代码用三个反引号包裹。同时生成的相关问题要覆盖数据处理、模型选择、优化和部署等方面。</think># 基于深度学习的FAQ文本问答项目原型构建指南 ### 一、核心构建流程 1. **数据准备阶段** - 构建FAQ语料库：收集高频问答对，建议使用$n$≥500组数据 - 数据预处理：通过正则表达式清洗文本，建立词向量映射关系$f(w_i)→\mathbb{R}^d$ - 格式转换：将问答对转换为JSON格式，包含`{"question":..., "answer":...}`字段[^4] 2. **模型选型** 推荐使用预训练语言模型架构： $$ \text{BERT}(Q) \rightarrow \text{[CLS] embedding} \xrightarrow{\text{softmax}} \text{Answer Index} $$ 或使用双塔结构的Sentence-BERT进行语义匹配[^2] 3. **示例代码（模型训练）** ```python from transformers import BertForQuestionAnswering, BertTokenizer # 加载预训练模型 model = BertForQuestionAnswering.from_pretrained('bert-base-uncased') tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') # 输入编码 inputs = tokenizer(question, return_tensors="pt", padding=True, truncation=True) start_pos = torch.argmax(output.start_logits) end_pos = torch.argmax(output.end_logits) + 1 ``` 4. **知识库构建** - 使用ElasticSearch建立索引，设置BM25相似度算法： $$ \text{score}(Q,D) = \sum_{t \in Q} \text{IDF}(t) \cdot \frac{f_{t,D} \cdot (k_1 + 1)}{f_{t,D} + k_1 \cdot (1 - b + b \cdot \frac{|D|}{\text{avgdl}})} $$ - 配置增量更新机制[^4] ### 二、关键优化策略 1. **混合检索模式** 结合字面匹配与语义检索，设置权重参数$\alpha \in [0,1]$： $$ \text{FinalScore} = \alpha \cdot \text{BM25} + (1-\alpha) \cdot \text{SemanticScore} $$ 2. **服务部署** 使用FastAPI构建服务接口，通过Docker容器化部署： ```python @app.post("/ask") async def answer_question(question: str): embedding = model.encode(question) results = es_client.search(index="faq", body={ "query": { "script_score": { "query": {"match": {"question": question}}, "script": {"source": "cosineSimilarity(params.query_vector, 'embedding') + 1.0"}, "params": {"query_vector": embedding.tolist()} } } }) return results["hits"]["hits"][0]["_source"]["answer"] ``` ### 三、效果评估指标 - 准确率：$Accuracy = \frac{\text{正确回答数}}{\text{总查询数}}$ - 响应时间：控制$t \leq 500ms$ - 使用混淆矩阵评估分类效果： $$ \text{F1-Score} = \frac{2 \times Precision \times Recall}{Precision + Recall} $$
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值