Retrieval Question Answering paper

最新推荐文章于 2025-09-22 16:43:43 发布
原创 最新推荐文章于 2025-09-22 16:43:43 发布 · 461 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文探讨了层次Transformer在多文档摘要中的应用，以及检索辅助生成在知识密集型NLP任务中的作用。REALM和RAG是两种检索增强的预训练模型，其中RAG包括Sequence和Token模型。此外，还介绍了能够跨数据格式问答的UNIFIEDQA系统。

目录

层级Transformer多文档摘要

Hierarchical Transformers for Multi-Document Summarization

段落排序-> 取top段落 -> encoder -> decoder -> summary

BART：在长文建模效果不好，主观性、事实一致性好
GPT：事实性、忠实度、一致性差。
改进：层次的多文档编码器。

检索辅助生成

REALM: Retrieval-Augmented Language Model Pre-Training

同时预训练检索器和语言模型，可以联合训练。两个模型的更新：检索用Maximum Inner Product Search MIPS; 每训练几百步异步更新索引和embedding系统。更新后的索引和embedding系统可以更好的支持模型。

1. 预训练时，使用无监督的数据MASK部分数据。先从检索器中根据MIPS检索出相关的paragraph，把句子和相关paragraph送到encoder中，预测被[MASK]的数据。 2. finetune时，使用有监督的QA数据集。先从检索器中根据MIPS检索出相关的paragraph，把句子和相关parag
最低0.47元/天 解锁文章
【CS224n】(lecture11)Question Answering
发现问题，并解决问题，批判性思维
01-14 1233
学习总结 文章目录学习总结一、QA介绍1.1 QA的分类：1.2 QA的框架1.1 QA在深度学习领域1.2 Beyond textual QA problems二、阅读理解2.1 reading comprehension2.2 SQuAD数据集（1）SQuAD evaluation, v1.1（2）SQuAD 2.02.3 神经网络模型（1）LSTM-based vs BERT models（2）带注意力机制的seq2seq模型（3）BiDAF: the Bidirectional Attention
15.5 基于 RetrievalQA 的销售话术增强系统实战：构建智能销售大脑
yonggeit的博客
02-28 181
RetrievalQA 应用实战、销售知识增强、语义检索优化、上下文感知问答、多源知识融合。
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 论文笔记
qq_42791848的博客
01-28 1208
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 2019年，EMNLP，Google， 本文是IR-based的方法来解决KBQA任务，属于是GRAFT-Net工作的延续和改进。 Overview 本文作者将open-domain问题概括为三大类别：基于文本回答，基于KB回答、两者结合回答。而本文在GRAFT-Net的基础上，提出了一种迭代的信息检索方法，并结合使用KB和
Adaptive Document Retrieval for Deep Question Answering
Forlogenの解忧杂货铺
11-21 411
EMNLP 2018 Adaptive Document Retrieval for Deep Question Answering 背景 阅读理解模型的处理过程可以分为两步： 从文档集中根据问题检索可能包含答案的文档 从检索到的文档中寻找包含答案的具体区域 现有的方法在以上的两步各自都可以取得不错的效果，但是很少有人思考针对于不同的数据集到底应该检索多少文档。如果按照某种经验来做，往往会带来...
《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》读书笔记
weixin_46081608的博客
09-22 691
使用同一组检索到的文档生成整个序列。对所有检索到的文档进行边际似然加权。RAG-Token每个token可以基于不同的文档生成。更灵活，适合需要多源知识的生成任务。RAG 是一种创新的混合记忆模型，成功将检索机制与生成模型结合，在多项知识密集型NLP任务上取得SOTA结果。其核心优势在于：生成更事实、具体、多样的文本支持知识动态更新提供生成过程的可解释性参数效率高该模型为构建更可靠、可控制、可更新的NLP系统提供了重要方向。
Question Retrieval with Distributed Representations and Participant Reputation in Community QA论文笔记
Suan2014的博客
10-10 415
原文下载地址 摘要 社区问题的难点在于：重复性问题 解决上述问题要采用Query retrieval(QR)，QR的难点在于：同义词汇 本文算法：1）采用continuous bag-of-words(CBoW)模型对词（word）进行 Distributed Representations(分布式表达，词嵌入)；2)对given query和存档的query计算tile域和descrip...
【LangChain】对话式问答(Conversational Retrieval QA)
热门推荐
山鬼谣的专栏
07-09 1万+
它首先将聊天记录（显式传入或从提供的内存中检索）和问题组合成一个独立的问题，然后从检索器中查找相关文档，最后将这些文档和问题传递到问答链以返回一个响应。这样会有一个非常大的好处：我们可以使用更便宜、更快的模型来完成问题的凝练工作，然后再使用昂贵的模型来回答问题。首先，它将当前问题和聊天历史凝练为一个独立的问题。声明性特性的部分强大之处在于，您可以轻松地为每个调用使用单独的语言模型。之后，它进行检索，然后使用单独模型的检索增强生成来回答问题。在下面的示例中，我们将从向量存储创建一个，该向量存储可以从。
【LangChain】Retrieval QA
山鬼谣的专栏
07-09 9452
您可以传入自定义prompt来进行问答。这些提示与您可以传递到基本问答链的提示相同。{context}Answer in Italian:""" PROMPT = PromptTemplate(template = prompt_template , input_variables = [ "context" , "question" ]) # 自定义 chain prompt chain_type_kwargs = {
【AI论文精读2】RAG的重要基础DPR（Dense Passage Retrieval for Open-Domain Question Answering）
AI完全体
10-03 5281
本论文首次提出了稠密段落检索技术（DPR，Dense Passage Retrieval），是RAG（检索增强生成）的重要基础。这是我对该论文的详细解读。
论文-《MUREL: Multimodal Relational Reasoning for Visual Question Answering Remi》重点翻译+扩展
Vivinia的博客
10-25 895
论文笔记 Multimodal attentional networks are currently state-of-the-art models for Visual Question Answering (VQA) tasks involving real images. 多模态注意力网络是目前最先进的涉及真实图像的VQA任务模型。 In this paper, we propo...
论文-《Visual Question Answering as Reading Comprehension Hui》笔记
Vivinia的博客
11-17 550
论文下载 摘要： Visual question answering (VQA) demands simultaneous comprehension of both the image visual content and natural language questions. In some cases, the reasoning needs the help ofcommon sen...
从RetrievalQA迁移到LCEL:提升LangChain问答系统的灵活性与性能
qq_29929123的博客
08-13 545
从RetrievalQA迁移到LCEL可以显著提高问答系统的灵活性和可定制性。虽然初始的代码可能更为复杂,但这种方法为高级功能和优化提供了更多可能性。LangChain官方文档LangChain Expression Language (LCEL) 指南LangChain GitHub仓库。
基于深度神经网络的自动问答系统概述
08-13
问答系统的实现机制多种多样，基于信息检索 (IR: Information Retrieval) 的、基于问答知识库 (KB: Knowledge Base) 的、基于知识图谱 (KG: Knowledge Graph) 的等等，一个相对完善的问答系统往往是多种机制的组合。
利用PebbloRetrievalQA实现身份感知的RAG
shuoac的博客
03-13 332
PebbloRetrievalQA是一种检索链，通过在问答过程中对身份和语义进行约束，确保信息的请求和返回是安全且符合授权的。这一功能特别适用于需要高等级数据保密和合规性的应用场景，如金融报告、员工记录等。
ChatGPT | 修改RetrievalQA推荐答案的数量
hellogv的专栏
07-19 949
知识库经常遇到一个问题会在一个文件的多处或者多个文件出现，这时候如果只回答一个结果就欠佳了，最理想的做法是仿推荐功能，把合适的多个答案及其出处汇总给用户。
索引构造与信息检索：让 ChatGPT 成为 Selenium 问答助手
测试萌萌
04-21 1902
让chatgpt给我写个总结。这篇文章提出了使用生成式AI ChatGPT和LangChain库训练一个Selenium知识问答机器人的想法。机器人需要灌入最新的Selenium知识并使用向量化存储和检索来搜索相关材料以回答用户的问题。文章介绍了实现流程，包括爬取Selenium数据、向量化存储和检索、信息检索和生成内容。这项技术非常适合构建专有领域的知识库，比如法律咨询，医疗咨询等。另外配合一些代码切片的库还可以实现代码生成功能。
LangChain 基于 ChatGPT 构建本地知识库问答应用
小毕超博客
06-25 1万+
ChatGPT 非常强大，但是对于一些特有领域的内容会有些吃力，通过构建构建本地知识库丰富ChatGPT的能力。
langchain 入门指南 - LangChainRetrieval
rubys007的博客
07-29 2465
本文介绍了如何使用Chroma向量数据库来保存向量化结果，以及如何使用 langchain 结合本地文档做查询。具体来说，就是使用结合Chroma向量数据库和 LLM，实现对本地文档的查询。
技术动态 | 知识图谱的自监督学习与逻辑推理
开放知识图谱
12-07 1218
分享嘉宾：胡子牛 UCLA PHD编辑整理：weiai-fir出品平台：DataFunTalk导读：知识图谱是一种多关系的图结构，每个节点表示一个实体，每个边表示连接的两个节点之间的关系，可以将图谱中建模的节点和边表示为三元组。知识图谱有很强的符号化表征能力，但是还是会有不完整性，很难直接用于问答系统、语音助手等场景。神经网络可以自动抽取高语义的表征，可以更好地帮助解决各类问题。但是，神经网络缺...
dense passage retrieval
最新发布
11-17
### 介绍 Dense Passage Retrieval（DPR）是一种用于开放域问答系统的高效段落检索方法。在传统的信息检索系统中，基于词袋模型或TF - IDF等方法往往难以捕捉语义信息，而DPR通过学习文本的密集向量表示，能够更好地进行语义匹配，从而提升检索性能。 ### 原理 DPR主要由两个编码器组成：问题编码器（Query Encoder）和段落编码器（Passage Encoder）。 - 问题编码器负责将输入的问题映射到一个低维的向量空间中。 - 段落编码器则将文档中的段落同样映射到相同的向量空间。 在训练过程中，使用对比学习的方法。给定一个问题和一组正例段落（包含问题答案的段落）以及负例段落（不包含答案的段落），目标是让问题向量和正例段落向量在向量空间中的距离尽可能小，而和负例段落向量的距离尽可能大。通过这种方式，模型可以学习到有效的语义表示。在检索时，对于一个新的问题，将其编码为向量，然后在预编码好的段落向量集合中寻找与之距离最近的向量，对应的段落即为检索结果。 ### 应用 - **开放域问答系统**：在开放域问答场景中，DPR可以从大规模的文档集合中快速准确地检索出与问题相关的段落，为后续的答案抽取提供基础。例如，在智能客服系统中，用户提出问题后，DPR可以从知识库中找到相关的解答段落。 - **信息检索**：在搜索引擎等信息检索系统中，DPR可以提升检索的准确性和召回率，帮助用户更快地找到所需的信息。 ### 实现方法 以下是一个简单的基于Python和Hugging Face Transformers库实现DPR的示例代码： ```python from transformers import DPRContextEncoder, DPRContextEncoderTokenizer, DPRQuestionEncoder, DPRQuestionEncoderTokenizer # 加载预训练的模型和分词器 question_tokenizer = DPRQuestionEncoderTokenizer.from_pretrained('facebook/dpr-question_encoder-single-nq-base') question_encoder = DPRQuestionEncoder.from_pretrained('facebook/dpr-question_encoder-single-nq-base') context_tokenizer = DPRContextEncoderTokenizer.from_pretrained('facebook/dpr-ctx_encoder-single-nq-base') context_encoder = DPRContextEncoder.from_pretrained('facebook/dpr-ctx_encoder-single-nq-base') # 示例问题和段落 question = "What is the capital of France?" passages = [ "Paris is the capital and most populous city of France.", "London is the capital city of the United Kingdom." ] # 编码问题 question_inputs = question_tokenizer(question, return_tensors='pt') question_embedding = question_encoder(**question_inputs).pooler_output # 编码段落 passage_embeddings = [] for passage in passages: passage_inputs = context_tokenizer(passage, return_tensors='pt') passage_embedding = context_encoder(**passage_inputs).pooler_output passage_embeddings.append(passage_embedding) import torch # 计算相似度 similarities = [] for passage_embedding in passage_embeddings: similarity = torch.nn.functional.cosine_similarity(question_embedding, passage_embedding) similarities.append(similarity.item()) # 找到最相似的段落 most_similar_index = similarities.index(max(similarities)) print("Most similar passage:", passages[most_similar_index]) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值